A szép klasszicista stílusú, egyemeletes épület 1783-ban épült. Az épület középrizalitos, felette háromszögű timpanon emelkedik, az ablakok kőkeretesek. Az emeleten sima könyöklő- és szemöldökpárkányok vannak. Az udvari homlokzat dísze a szép kertre néző ión oszlopokon nyugvó ballusztrádos erkély. Eredetileg az emeleten volt a nagyterem és 6 szoba, a földszinten pedig öt szoba és a mellékhelyiségek helyezkedtek el. Az 1800-as évek végén átalakították. Az épületben régen a napközi otthonos iskolának adott helyet. Akkoriban nyitotta meg kapuit a könyvtár (1200 db. könyv), ami mai napig is működik a kastélyban. Most a kastély a falu-múzeumnak ad helyet.

Könyvtárnak rendezték be Szany kastélyát is, amely eredetileg a győri püspökök nyári rezidenciájának épült. Most helytörténeti múzeum működik benne, amely bejelentkezéssel a könyvtári nyitva tartás alatt látogatható. Részben múzeum, részben polgármesteri hivatal Kapuvár pompás állapotban fennmaradt Esterházy-várkastélya.