A kastélyépület rangját nem a méretei adják. Ez a kastély sosem lehetett túlságosan díszes. Oromzatos középrizalitja, a többi helyiségben található teknősbéka-boltozatok, a déli rész helyiségeinek kályhafülkéi igényes kialakításról tanúskodik. A kastély rangját a Fáy család hazánkhoz fűződő története hangsúlyozza. Fáj községet IV. Béla adományozta a Fáy család őseinek a muhi csatában tanúsított helytállásukért. A középnemesi családban volt 1848-as honvéd, a család kiemelkedő tagja Fáy András író, publicista, műpártoló, a Hazai Első Takarékpénztár alapítója. A kastélyban lakó grófi ág utolsó képviselője, gróf Fáy István (1809-1862) műpártoló volt, aki évente háromszor jeles zenei találkozókat szervezett. www.civertan.hu A kastély ma is kiemelkedő ékessége, a díszteremben látható Marco Casagrande olasz szobrász (egri és esztergomi székesegyház szoborkészítője) által 1844-45-ben készített három gipszdombormű. A domborművek témái: Pán nimfákkal, Auróra, és Lukrétia története. A főbejárat feletti oromzaton látható máltai kereszt, Fáy István máltai lovagrendi tagságára utal.Az 1939-es felújításkor a korábbi zsindelytetőt palára cserélték le. Valószínűleg a két világháború között készült a déli homlokzat előtt húzódó mai terasz és lépcső. Az épület és parkja (1 Ha) A kastély 1995. óta a Műemlékek Nemzeti Gondnoksága kezelésében van. A felújítási munkák alatt is látogatható a kastély. előzetes egyeztetéssel.