1922 yılında Rize'den İzmit'e göç eden eski Karamürsel Müftüsü Ali Efendi'nin (r.a.) oğlu Şevki Yılmaz; 1955`de İzmit`te doğdu. İlkokulu 1967`de İzmit`te bitirdi. 1973 yılında İzmit İmam-Hatip Lisesi'nden mezun olduktan sonra, Derince Lisesi`ni de dışardan bitirdi. 1974 yılında MSP-CHP koalisyonunda, Adalet Bakanlığı Özel kalemi olarak görev yaptı. Şevki Yılmaz, İstanbul Yüksek İslam Enstitüsü`nden 1980 yılında mezun oldu. Fakülte yıllarında Kartal Müftülüğünde Murakıp olarak memuriyet hayatına devam etti.