Kláštorný komplex, pozostávajúci z kolégia, kostola a gymnázia vznikal vo viacerých etapách. Základný kameň týchto budov bol položený 9. júna 1701 za biskupa L. Maťašovského. Spočiatku sa začalo so stavbou kláštora s kaplnkou v ľavom krídle a školy v pravom krídle. Pre veľký počet rehoľníkov kaplnka už nestačila, preto sa medzi oboma krídlami uprostred dal postaviť prvý kostol. Keď rektor Adolf Nemčéni zadovážil potrebné finančné prostriedky, kostol dal zbúrať. V roku 1742 sa začalo s výstavbou terajšieho dvojvežového chrámu. V roku 1759 celý komplex vyhorel, no po nadobudnutí finančných prostriedkov sa začalo s jeho opravou a dobudovaním. V roku 1789 bol vysvätený nitrianskym biskupom Františkom Fuchsom.

Celý komplex tvorí dominantu Dolného mesta a skladá sa z niekoľkých častí. V rokoch 1701 – 1702 bola vybudovaná kláštorná časť, ako kláštor rádu piaristov. Budova kláštora je dvojposchodová a čiastočne podpivničená. Objekt je prístupný z námestia dvoma hlavnými a dvoma vedľajšími vstupmi. Architektúra budovy vytvára vo vnútri dvorný priestor, ktorý je obstavaný zo všetkých strán.

Kostol sv. Ladislava je ranobarokovou dvojposchodovou stavbou, ktorá je umiestnená v strede budovy kláštora. Vstup do kostola je situovaný v strede. Hlavné priečelie kostola má mohutné postranné veže, na vrchole s ozdobnými medenými vežami. V južnej veži sa nachádzajú tri nové zvony z roku 1928, pričom najstarší zvon pochádza z roku 1429.

Vedeli ste, že v piaristickom gymnáziu sa uskutočnilo stretnutie s Matkou Terezou?