A kastélyt építtető koltai Vidos család régi Vas vármegyei nemesi família, kiknek őseit V. István király emelte nemesi rangra 1272-ben. A család már a XVI. század közepén rendelkezett Mihályfán birtokokkal. A kastélyt első formájában Vidos Zsigmond emeltette a XIX. század első negyedében, klasszicista stílusban. Fia, Dániel, aki Vas vármegye alispánja lett, 1870-ben historizáló (eklektikus) stílusban átalakíttatta, bővíttette. Itt őrizték a család ősi levéltárát, melyben több régi, pergamenre jegyzett irat is volt. A mai, kibővített L-alakját az 1911-es átépítés során kapta a kastély. Ekkor épült a rövidebb szárnyra az emelet, a terasz fölé pedig a torony, melyben toronyszobát alakítottak ki. A hosszabb szárny utca felőli végére terasz került, melyhez kovácsoltvas korláttal díszített lépcső vezet fel. Szintén ekkor alakították ki az alagsor lakószobáit. A kastély homlokzatai az átalakítás során teljesen új, szecessziós jellegű architektúrát kaptak. Vidos József halála után az államosításig fia, (VI.) József cs. kir. kamarás, huszárezredes, johannita lovag lakta az épületet. A II. világháború végén orosz csapatok sajátították ki legénységi szállás céljára, jelentős károkat okozva. Az 1950-es években toldalékkal bővítették, teraszát beépítették. Egy ideig általános iskola és tsz-major, majd óvoda működött benne, a rendszerváltást követően varrodát helyeztek el falai között. Jelenleg üresen áll a 2002-ben magántulajdonba került kastély. Vidos-kúria (ősi Vidos-kastély) A mai kúria nagyobb része a XVIII. század közepén készült. Amíg az új kastély (lásd feljebb) fel nem épült, a család ebben az épületben lakott. A família legismertebb tagja, Vidos (II.) József, későbbi nemzetőr főparancsnok, kormánybiztos itt, a kúriában született. Az épület mai formáját egy XIX. század közepi átalakítás során kapta, mikor az árkádos folyosót beépítették, és a főhomlokzat elé két, belül szobával ellátott rizalitot emeltek. Az államosítás után is lakóházként szolgált, majd a rendszerváltás után Szuhay Balázs színművész felesége vásárolta meg, aki maga is Vidos-leszármazott volt. Ekkor teljesen helyreállították a kúriát, amely ma is magánkézben van