1993 yılında 3 çocuk annesi eşinin İstanbul’da tren kazasında hayatını kaybettiğini ifade eden Yılmaz, 15 yıl sonra ikinci evliliğini yaptığını söyledi. 2013 yılında eşi Latif Yılmaz ile İstanbul’dan memleketleri Tokat’a dönen Yılmaz, oğlunun adına tapu yaptırdığı villada ikamet etmeye başladığını ileri sürdü. Yaklaşık 1,5 yıl önce eşinin hayatını kaybetmesi ile birlikte yalnız yaşamaya başlayan Yılmaz, oğlunun evi satmak istediğini belirterek, “Ben ölünceye kadar bu evi sattırmamak istiyorum. Ben öldükten sonra ne yaparsa yapsın. Zaten onun üzerine tapulu. Bu evi 3 çocuğumun en küçüğüydü, başarılıydı. Sevdiğim için onun üzerine tapu yaptırdım. Kanunda sevmek suçmuş demek ki. Şimdi de devletim beni suçlu buldu, hukuk elimden aldı ona sattırıyor” dedi.
