Kostel sv. Vavřince byl postaven knížetem Antonínem Florianem z Lichtenštejna v letech 1683-1690. Klášterní budova byla dokončena r. 1684, kostel 1686. Slavnostní vysvěcení kostela proběhlo 9. dubna 1690 biskupem litoměřickým Jaroslavem hrabětem ze Šternberka. Obraz na hlavním oltáři představuje diakona Vavřince, který byl umučen v Římě r. 258. Pochází od španělského malíře Juana Ferdinandeze Navaretta (1526-1579). Získal ho ještě hrabě Eusebius z Pottingu za částku 6000 tolarů. Hlavní oltář byl postaven r. 1905 rumburským stolařem Josefem Wunschem, výzdoba pochází od Rudolfa Kassnera, rovněž z Rumburku.Na levé straně je umístěn oltář sv. Františka. Obraz na něm ukazuje, jak sv. František z Assisi v r. 1224 obdržel na hoře Alverna stigmata. Byl namalován r .1890 Josefem Maškem z Jablonného v Podještědí. Vpravo je oltář Matky Boží. Oltářní obraz představuje přijetí P. Marie do nebe. Byl namalován v šedesátých letech devatenáctého století malířem Josefem Neumannem z Hor. Jindřichova. Velký kříž nedaleko kůru je vyřezán od Jakuba Kroha z Rumburku (1894). Proti němu visí obraz "Obětování Ježíše v chrámě". Je to umělecké dílo zhotovené polským královským malířem Antonínem Kernem(1747). Na bočních stěnách kostela je 12 křížů, v místech, kde byl kostel označen při svěcení biskupem. Říká se jim apoštolské kříže. Kazatelna byla postavena r. 1906 Josefem Wunschem z Rumburku, varhany pak varhaníkem Jindřichem Schiffnerem také r. 1906. Nad hlavním vchodem do kostela se nachází obraz mučedníka sv. Vavřince, zdejšího patrona.
V boční kapli kostela se nachází oltář sv. Antonína. Oltářní obraz znázorňuje sv. Antonína Paduánského (1231). Pochází od Jana Birnbauma z Jiřetína. Na pravé straně tohoto oltáře stojí socha sv. Alžběty Tyrinské (1231), na levé straně socha sv. Františka z Assisi (1226). Olejomalba na pravé straně kaple znázorňuje útěk sv. rodiny do Egypta. Je od neznámého malíře.
Pod náhrobním kamenem této kaple je schodiště, které vede do kostelní krypty. Ta se rozprostírá pod celým kostelem přibližně v šířce kaple sv. Antonína. Je zde pochováno 26 členů kapucínského řádu a několik dalších významných občanů z řad Lichtenštejnů, mezi nimi kněžna Anna Terezie princezna Anna Kristina Sasko-Weissenfels.
