8 Kasım 1937 tarihinde Eskişehir'de dünyaya gelen Yılmaz Büyükerşen, Eskişehir Atatürk Lisesi'ni tamamladıktan sonra 1962'de Eskişehir İktisadi ve Ticari İlimler Akademisi'nin ilk mezunlarından biri oldu. 1966 yılında doktorasını tamamlayan Büyükerşen, 1968 yılında doçent 1973 yılında profesör oldu.
1982'de Anadolu Üniversitesi rektörlüğüne getirilen Yılmaz Büyükerşen 1987'de aynı göreve tekrar atandı. Eskişehir'de ikinci üniversitesinin kurulmasına ve dünyada tek olan açıköğretim fakültesinin kurulmasına da öncülük eden Büyükerşen, 2 dönem Radyo Televizyon Yüksek Kurulu başkanlığı görevinde de bulunmuştur. Türkiye'nin ilk Sinema ve Televizyon Okulu'nu Eskişehir'de açan Yılmaz Büyükerşen aynı zamanda bir sanatçıdır.
Anıtkabir müzesinde Mustafa Kemal Atatürk'ün birebir boyutlardaki balmumu heykeli yapan Büyükerşen, resim ve heykel gibi güzel sanatlara yatkınlığını rektörlüğü döneminde üniversitelere açtığı bölümler ve özel yaşamında da özellikle yaptığı balmumu heykellerde göstermiştir. Kendi adını taşıyan Türkiye'nin ilk balmumu heykel müzesini 19 Mayıs 2013 tarihinde açmıştır.
1999 yılında siyasete atılan Yılmaz Büyükerşen, 18 Nisan 1999 Seçimleri'nde Demokratik Sol Parti'den Eskişehir Belediye Başkanlığı için aday olmuş ve oyların %44'ünü alarak Eskişehir Büyükşehir Belediye Başkanı seçilmiştir. 28 Mart 2004 yerel seçimlerinde yine aynı partiden aday olan Büyükerşen, oylarını %45'e çıkararak aynı göreve tekrar seçildi.
2009 yerel seçimlerinde DSP'den tekrar aday olarak %50 üzeri oy ile yeniden büyükşehir belediye başkanı seçildi ve 2011 yılında partisinden istifa ederek CHP'ye katıldı. 2014 yılında yapılan yerel seçimlerde CHP'nin adayı olarak seçimlere katılan Büyükerşen, %45 oy alarak 4. kez aynı göreve seçildi.
Prof. Dr. Yılmaz Büyükerşen evli, iki çocuk ve iki torun sahibidir.