Károlyi Sándor a Dóczi-féle építményeket és azok maradványait felhasználta kastélya 1726-28-as építésekor. Az épület előzményekre visszavezethetőségre lehet következtetni Bél Mátyás 1730-ban készült leírásából. A múlt kutatói abban nem értenek egyet, hogy a ma látható épület, mely 1773 és 1883 között megyeközpont volt, a Károlyi-kastély átépítése során jött létre 1768-73 közt vagy egy teljesen új épületet emeltek e célra. A kastély funkciója sűrűn változott. A XVIII. század első felében Károlyi Sándor birtokának központja, 1773-tól 1883-ig pedig vármegyeházaként muködtette a Szegvárra helyezett megyeközpont. A XIX. század végén óvoda, majd gyermekmenhely működött falai közt, 1902-től párhuzamosan apácazárdaként is funkcionált. A barokk kor hangulatát leginkább a kovácsoltvas rácsozatú földszinti ablakok és a mögöttük található boltozatos termek idézik vissza. Az épületet manzárdtető fedi, ezt két szép kémény díszíti. A volt megyeközpont földszintjén boltozatos, emeletén síkmennyezetes, nagyobb belmagasságú helyiségek sorakoznak.