25 Mayıs 2007'de Rize'den bağımsız milletvekilliği adaylığını açıkladı. 22 Temmuz 2007 tarihinde yapılan genel seçimlerde Rize'den bağımsız milletvekili olarak meclise girmeye hak kazandı. 2009 yılında Anavatan Partisi ile Doğru Yol Partisi'nin birleşmeleri sonucu kurulan Demokrat Parti'ye geçti.Namık Kemal Zeybek'in genel başkan seçilmesinin ardından Demokrat Parti'den istifa etti. Yılmaz ayrıca Cumhuriyet tarihinde Yüce Divan'da yargılanan ilk başbakan oldu