Károlyi Mihály feleségével, Lapispataki Seghnyey Borbálával a 17. század elején visszatért a katolikus hitre, ekkor építtet a várkastélyban egy nagyobb, díszes kápolnát. Amikor II. Rákóczi Ferenc 1708-ban a város vendége, ebben a kápolnában celebrálják az ünnepi misét, 1726-ban pedig Károlyi Ferenc és Csáky Krisztina esküvoi miséjét tartják itt. Henyei László 1794-ben így ír az épületrészrol: „Földszinten, az épület dél-keleti részében van elhelyezve a teljesen fölszerelt tágas udvari kápolna, a melyet eloször báró Károlyi Mihály emeltetett és melynek falai az emelet mennyezetéig nyulnak föl. Az emeleten, az oratorium falán függ egy symbolikus festmény a XVII. századból. Ez a családi ereklye báró Károlyi Lászlót a szent áldozáshoz járuló egész családjával (nejével és húsz gyermekével) ugyanezen kápolna oltára elott térdepelve ábrázolja...”