A Kőkapun található Károlyi kastély története szorosan összekapcsolódik az építtető Károlyi család történetével. Károlyi László királyi adományként jutott a füzéri várhoz és a hozzá tartozó javakhoz 1686-ban. A füzéri vár mellett további 14 település került a család birtokába. A térségben erdőgazdálkodással foglalkozó család előbb fűrészmalmot épít, majd 1888-ban megépíti a mai Magyarország legrégibb erdei kisvasútját. A pálházai fűrészmalom és kőkapui kastély között közlekedő kisvasút eleinte a Kemence-patak völgyében található erdővagyon kiaknázását szolgálta, a személyforgalom csak jóval később, 1958-ban indult meg.

A Károlyi vadászkastély az 1880-as években épült, míg az un. Alsó épületet 1902-ben építették svájci mintára. A Kemence-patak vizéből felduzzasztott tó előterében álló, sziklaszirtre épült kastély jellegzetes fatornyokkal és a völgyre néző panorámás erkélyekkel rendelkezik. A kastély alatti 37 m hosszú alagutat 1903-ban építették meg, mely a szomszédos völgyek bejáratáig hosszabbította meg a kisvasút vonalát. A kastély egyik érdekessége a társalgóban található kandalló előtti burkolatból induló titkos ajtó, mely ma is az alatta lévő szoba szekrényébe vezet. A kastély toronyszobájából csodálatos kilátás nyílik a patakvölgy mindkét irányába. A szalonját kandalló és különféle trófeák díszítik.

A kastély jelenleg magántulajdonban van és kastélyszállóként üzemel, jelenleg 5 lakosztálya áll a vendégek rendelkezésére. A kastély alatt lévő egykori alsó épületben egy 22 szobás hotel lett kialakítva.