Haziran 2008'de Yılmaz, Fenerbahçe'ye 4 yıllığına transfer oldu. Ancak Luis Aragones tarafından forma şansı bulamadı. Ligin ilk yarısında 6 maçta forma giyen Yılmaz bunların sadece birinde ilk 11'de sahada yer almıştı. Fenerbahçe formasını giydiği son lig maçı 9 Kasım 2008'deki 4-1'lik Galatasaray galibiyeti olmuştu. Türkiye Kupası'nda da 3 maç şans buldu. Gruplarda iki maç şans bulan Yılmaz'ın son Fenerbahçe maçı 3 ay aradan sonra sahaya çıktığı Sivasspor kupa yarı finali maçı oldu. Ancak bu maçta da 90. dakikada oyuna girdi. Fenerbahçe kupayı finalde Beşiktaş'a 4-2 yenilerek kaybetti.