İlk liderleri kimlerdi? 2006’da yayınlanan bir videoda Zerkavi, “Mücahitler Şurası Konseyi”ni kurduklarını açıkladı. Irak’taki Zerkavi, 7 Haziran 2006’da ABD güçlerince düzenlenen bir operasyonda öldürüldü. Yerine Ebu Hamza el Muhacir geçti. 2006 yılının sonlarında El Kaide’ye yakın Ebu Ömer el Bağdadi ise liderliğini yaptığı “Irak İslam Devleti”ni kurduklarını açıkladı.