Hürriyet Gazetesi'nin iddiasına göre , son dönemlerde kulislerde en çok konuşulan konuyu, Erdoğan’la yakın ilişki içinde olan Görmez’in görevden ayrılması oluşturdu. Görmez’in Diyanet İşleri Başkanlığı yaptığı 7 yıl boyunca, daha çok Tayyip Erdoğan’a direkt bağlı bir kurumun başkanı gibi çalıştığı biliniyor. Bu durum, daha önce başbakan yardımcılığı yapan diğer bakanlarla pek sorun oluşturmasa da Numan Kurtulmuş’un Diyanet’ten sorumlu bakanlık görevine getirilmesinin ardından problemlere yol açtı. Görmez’in, kendisine bağlı bir bürokrat gibi davranmadığını düşünen Kurtulmuş ile zaman zaman sıkıntı yaşandığı, makamda karşılama, görüşme, kurum tarafından yapılan açıklamalarla ilgili farklı düşündüklerinin ortaya çıktığı öğrenildi. Kurtulmuş’un kurumun faaliyetlerinden haberdar edilme sorunu yaşadığı da iddia edildi.