A kastély történetéről annyit tudunk, hogy már 1336-ban Ivánc északi végén, az akkor még a Rába által alámosott dombon Ajakas (Ivánczy) Miklós földesúr udvarháza állt. Ezt a középnemesi udvarházat, kúriát oklevelek említik 1337-ben, 1419-ben, 1463-ban. A mohácsi vész után 1543-ban "curia nobilitaris"-nak - nemesi kúriának - mondják, s ekkor Ivánczy Péter, Vas megye alispánja a tulajdonosa. A török harácsszedők megjelenése -kb.1580 - után az Ivánczy család Surányba költözött, épületük romba dőlt. A Sigray-birtok az 1670-es években még református mint az Őrség része. A rekatolizáció Bosikő plébános nevéhez fűződik. 1714-ben a plébánia mégújult. A meglevő alapok felhasználásával Ivánc új földesura, báró Sigray Károly 1767-re felépítette egyemeletes barokk kastélyát, apja híres surányi kastélyának mintájára, csak szerényebb kivitelben. Sigray József után fia Fülöp viszi tovább a család birtokait, majd fia (1879-1946) a 20.századi gróf Sigray Antal nevéhez fűződik. 1870 körül a külsőt eklektikus, a belsőt pedig 1920-ban szecessziós stílusban építették át. A déli homlokzat a nyugati és keleti oldalon négytengelyes rizalittal formált. Bejárata a középtengelyben van. Keleti rizalitján régebben egy teraszon keresztül a kápolnába lehetett bejutni. Az épület homlokzatait öv- és főpárkány tagolja vízszintesen, az ablakok és ajtók szalagkeretesek. A rizalit emeleti ablakai egyenes szemöldökpárkánnyal kiemeltek. Az államosítást követően 1951-ben Sigray kastély elme-szociális működik. Minden földtulajdonuk az állam kezelésébe került. A 20 kat. hold közepén álló kastélyt park övezi. A Megyei Tanács a parkot 1986-ban védetté nyilvánította. Legismertebb fája a tulipánfa, valóságos famatuzsálem. Ezenkívül jó néhány kocsányos tölgy, óriásfenyő, óriás bükkfa, amerikai vöröstölgy és platánfa érdemelnek említést.