Nadomak bedema Kalemegdanske tvrđave nalaze se Crkva Ružica, Kapela Svete Petke i konak sa tremom. U neposrednoj blizini je i kosturnica.
Crkva Ružica
Hram je posvećen Rođenju Presvete Bogorodice i od osnivanja poznat kao Crkva Ružica.
Nastanak hrama vezuje se za predaju ključeva grada Beograda 1857.godine. Stari barutni magacin je arhitektonski i funkcionalno preuređen u hramovni prostor koji je, za razliku od većine hramova, usmeren u pravcu sever-jug.
Crkva Ružica u Beogradu se pominje u narodnim pesmama Ženidba Todora Jakšića i Deoba Jakšića i pretpostavlja se da je, zbog istih, inicijativa za izgradnju podstaknuta u XIX veku, dok je tvrđava još uvek bila u rukama turskog garnizona.
Polijelej
Crkva je razorena 1915. god. i prilikom obnove 1921. god. Vojno-tehnički institut iz Kragujevca je izradio tri velika polijeleja, tri velika čiraka i ikone Rođenja Presvete Bogorodice i Svetog Đorđa od puščanih i revolverskih metaka, granatnih čaura i sablji. Pored njih, crkva ima i prepoznatljive statue vojnika ispred bočnog ulaza iz istog doba.
Crkva Ružica predstavlja jedinstveni primer na teritoriji Srbije transformacije funkcije objekta iz vojnog u sakralni. Ovo delo pokrenuto dubokim narodnim uverenjem da je reč o srednjovekovnoj crkvi Ružici oko koje su isprepletane legende i koja je sačuvana u pesmama predstavljalo je novo svetilište u oslobođenom Beogradu, i to ono koje vodi poreklo od srednjovekovne srpske države. Od trenutka osvećenja do završetka Drugog svetskog rata, crkva je bila u funkciji vojničkog hrama. Tek nakon rata u njoj su službovali pridvorni sveštenomonasi, profesori Bogoslovskog fakulteta i pripadnici visoke crkvene administracije.
Kapela Svete Petke
Pored Prepodobne mučenice Paraskeve Rimljanke i Svete mučenice Paraskeve iz Ikonije, srpski narod poštuje i slavi Svetu Petku Carigradsku kao svoju veliku svetiteljku. Uz ime dodavana su joj i pomensa imena: Mlađa, Epivatska, Trnovska, Beogradska, Jaška ili zbirno Balkanska, shodno mestu gde su joj se nalazile mošti.
Početak poštovanja kulta Svete Petke u Srbiji vezuje se za knjeginju Milicu koja je izdejstvovala od turskih vlasti da se mošti prebace u dvorsku crkvu u Kruševcu 1398. god, da bi po premeštanju srpske prestonice despot Stefan preneo mošti u Beograd. Po predanju, mošti su bile položene u hram Svete Petke koji je knjeginja Milica sagradila u Beogradu. Od Crkva Svete Petke sagrađene početkom 15. veka, nije ostao nikakav vidljiv spomen. Verovatno su Turci i taj hram razorili odmah po osvajanju Beograda.

Sadašnja Kapela Svete Petke sagrađena je 1937. godine zauzimanjem patrijarha Varnave. Prilikom kopanja temelja za novu kapelu nađeni su u zemlji ostaci zidova nekog ranijeg hrama, možda baš hrama Svete Petke iz 15. veka. Osvećenje kapele izvršio je episkop vikar Sava (Trlajić), u sredu 27. oktobra 1937. godine, „uz ogromno učešće pobožnog naroda“. Episkop Sava je sa sveštenicima odslužio Svetu Arhijerejsku Liturgiju u Ružici, a potom je sišao u Kapelu i osvetio nju i izvor.
Zapadno od Kapele je iste te godine sagrađen crkveni dom sa svečanom salom. Kapela i dom bili su povezani sa severne strane tremom pod koji se narod sklanjao od kiše i sunčane žege, a sa južne strane porta je bila ograđena visokim zidom. I dom, i trem, i zidovi uništeni su eksplozijom nemačke municije na Vaskrs 1944. godine, za vreme savezničkog bombardovanja Beograda; kapela je ostala neoštećena.
Izvor Svete Petke
Pre postojeće ozidane kapele, bila je kapela – zemunica, na padini nešto iznad današnje. Spolja su se videla samo vrata i nad njima krst. Na kraju ulaza, mali hodnik je vodio do izvora bistre i hladne vode. Zidovi sa obe strane ulaza bili su ukrašeni ikonama. Predanje govori da je još u 15. veku izvor bio lekovit i pretvoren u kapelu, a da su se mošti čuvale odmah do izvora sprovedenog ka velikoj dvorani mitropolitskog dvora na samom rubu platoa Donjeg grada.
Ovaj istočnik Svete Petke do 19. veka ostaje sačuvan u pobožnosti naroda i obnovom crkvenog zdanja svedoči njegov identitet i ideju zlatnog doba oslobođenjem Beograda.
Mošti
U Kapeli Svete Petke nalaze se delovi moštiju:
- Ruke Svete Petke
- Svetog velikomučenika Pantelejmona
- Svetog i prepodobnog oca Grigorija Gornjačkog
U crkvi Ružici nalaze se delovi moštiju:
- Svetog sveštenomučenika Elefterija
- Svetog sveštenomučenika Haralampija
Ikonopis i freskopis
Ikonostas Crkve Ružice je urađen u drvetu sa pozlaćenim duborezom oko 1926. godine. Rezbariju je radio stolar Kosta Todorović, a ikone jeromonah Rafailo Momčilović – Sveti Rafailo Šišatovački. Unutrašnjost crkve je oslikana 1938. godine rukom ruskog slikara emigranta Andreja Bicenka, a restauracija je izvršena 1998. godine.
Današnja Kapela Svete Petke je dva puta živopisana. Godine 1948. akademski slikar Vladimir Predojević oslikao je unutrašnjost freskama koje su ubrzo propale zbog vlage i slabe obrade. Beogradski slikar Đuro Radlović načiniko je mozaik koji je osvetio patrijarh German 1983. godine.
U freskodekoraciji oba zdanja naglašen je hor nacionalnih svetitelja koji zastupa srpski narod pred Bogom. Predstave su inspirisane duhom Karlovačke mitropolije u kome ovakav ikonografski koncept ukazuje na vremenski i istorijski kontinuitet Srpske Crkve i na dugu tradiciju srpske državnosti. Sveta Petka je u crkvama dobila posebno mesto i tradicionalno predstavljena uz dodatak pozadine sa istočnim podgrađem, čime je ikonografski predstavljena kao srpska i beogradska svetiteljka.
Kosturnica
Tokom ratnih sukoba u Beogradu veliki broj srpskih vojnika sahranjen je u nizu manjih grobnica na području grada. S obzirom da je Crkva Ružica bila vojna crkva i da se tu vojska pričestila pre odlaska u rat, predlog je bio da se na platou iznad crkve podigne veličanstveni mauzolej.
Zbog nedostatka sredstava zemni ostaci poginulih boraca sahranjuju se u kosturnici kod današnjeg restorana Kalemegdanska terasa, odakle se, zbog radova na restoranu, kosturnica premešta ispod Jakšićeve kule. Nova kosturnica je dovršena 1937. godine, kada je vršena rekonstrukcija kule i podignuta kapela Svete Petke.
U nju su položeni posmrtni ostaci boraca nađenih na prostoru Beogradske tvrđave i drugih privremeno ekshumiranih boraca koji su se nalazili u kapeli vojne bolnice. Poseban značaj spomen kosturnici daje i podatak da je njenom izgradnjom završena koncentracija vojnih grobalja na teritoriji Beograda.