Az U alakú épület barokk és copf stílusú. A főbejárati homlokzat a tér felé néz. A középrész földszintes, a két oldalszárny emeletes. A kastélyt Podmaniczky I. János építtette Antonius Murarius-szal. 1767-ben Jung Józsefet bízta meg a család, hogy a kastélyt oldalszárnyakkal bővítse. Jung a középső épületszárny hátsó részéhez árkádos folyosót is épített. A nyugati szárny dísztermének falképeivel Kracker János Lukács és Zách József 1776-ban készült el. A freskó a Hit, a keresztény erények diadalát ábrázolja. Podmaniczky-család 1870-ig lakta a kastélyt. 1891-től a II. világháború végéig az Evangélikus Egyház Leánynevelő Intézete, majd általános iskola és levéltár működött az épületben. Jelenleg üresen áll, ablakai betörve, az eső levezető csatornák újnak néznek ki, az épület lepusztúlt állapotot mutat, a parkja elhanyagolt állapotban van.

Zöld kastély építésére a XVIII. század végén került sor. Az U alakú kastélyhoz bővítményként Podmaniczky II. Sándor építette. A falakat korábban zöldre festették, innen származik a neve. A széles főhomlokzat földszintjén 6+3+5 tengelyes osztással kosáríves árkádnyílások vannak mögötte zárt folyosó. Az emeleten 7+6+7 ablaktengellyel, négyszögletes, szalagkeretes ablakokat találunk. A timpanonban kettős (Podmaniczky és Wartensleben) címerfaragvány található. A Podmaniczkyak 1920-ig lakták a kastélyt, majd Széchenyi Gyula gróf vásárolta meg, aki 1945-ig élt itt. Ezt követően csirkekeltető működött az épületben, majd kollégium.
Jelenlegi kerti kapuja az Unikornis kapu, ahol a pilléreken a címereket tartó egyszarvú szobor áll. A "Zöld - kastély" tér felőli bejáró kapujának két pillérén, amelyeket egy-egy toszkán oszlop tagol, Podmaniczky- és Osztrolucky-címert tartó egyszarvú szobrok állnak. Az unikornis szerepel Aszód város 1761. évi pecsétjében, a jelenlegi városcímernek is főalakja.