1951 yılında Samsun’da doğdu. İstanbul Devlet Mimarlık ve Mühendislik Akademisi’ni bitirdi. 1999 yerel seçimlerinde Büyükşehir Belediye Başkanı seçilen Yılmaz,28 Mart 2004 yerel seçimlerinde ikinci, 29 Mart 2009 yerel seçimlerinde de üçüncü kez Büyükşehir Belediyesi Başkanlığına seçilmiştir.