A Károlyi-kastély a 15–16. századi vár helyén, Joseph Bitthauser tervei alapján 1794-ben, késő barokk stílusban épült. 1847-ben Ybl Miklós végzett benne átalakításokat, 1893–1896 között a szászországi Meinig Arthur tervei alapján, néhol neogótikus stílusú héttornyos, árokkal körülvett lovagvárrá építik át. A négyzetes belső udvar lefedésével létrejött a mai átrium, ami szintén a historizmus jellegzetességeként, kétszintes központi hallként jelenik meg. Ma városi múzeum, kiállítóterem, 80 ezer kötetes könyvtár és kultúrház működik benne. Középső bástyájának teteje kilátó. 12 hektáros parkja arborétum, mai formájában 1877-ben képezték ki. Legidősebb fája egy 1810-ben ültetett platán. Szélén 33 m magas, 1888-ban épült romantikus stílusú víztorony áll. A kastély egykori lovardájában a 80-as és 90-es években mozi működött, majd diszkónak használták, végül a 90-es évek végén összedőlt. Azóta felújították.