Jean Tigana'nın ısrarlı isteği sonucu 14 Haziran 2006'da Beşiktaş'a transfer oldu. 30 Temmuz 2006'da Beşiktaş sezona Süper Kupa galibiyeti ile başlarken Yılmaz, ilk 18'de yer almamıştı. 6 Ağustos 2008'de Manisaspor ile oynanan maçta ilk kez resmi olarak Beşiktaş forması giydi. 25 Ağustos 2006'da Konyaspor'u 3-1 yendikleri maçta 2 gol atarak Beşiktaş'taki ilk gollerini atmış oldu.