Istraživanja su pokazala da se neka vrsta utvrđenja na ovom mjestu nalazila još od najranijih vremena antike kada su ovim prostorima upravljali Heleni. Vjeruje se da je nastala u 4. ili 5, vijeku prije naše ere i da je bila neka vrsta akropolisa sa glavnim gradskim svetilištem.



Oblik ovog zdanja se kroz istoriju mijenjao, kao i njegova namjena, a današnji izgled nastao je na osnovama građevine iz ranog srednjeg vijeka da bi konačan izgled dobila nakon što je djelimično porušena i spaljena od strane Austrougara koji su 1937. godine dozidali kasarnu kroz koju se ulazi u ovo, danas uglavnom srednjevjekovno zdanje. Dugo je na tom mjestu stajao pokretni most, a danas su tu kamene stepenice. Na zidinama iznad ulaza stoji ploča koja govori o tome kada je i ko izgradio kasarnu.



Citadela je nekada bila poznata pod nazivom Kaštel Svete Marije, kraće samo Kaštel ili po svom italijanizovanom nazivu Castello di Santa Maria.

Kaštel Svete Marije
Austrougarska kasarna dominira sjevernim dijelom Citadele. Mnogi će reći da je to grub objekat koji svojom arhitekturom remeti unutrašnji sklad ove građevine. Sa druge strane i ona je već dovoljno dugo dio ovog mjesta tako da je teško i zamisliti Citadelu bez nje. Osim za smještaj vojnika služila je i kao vojni zatvor.



Na drugom spratu kasarne nalazi se biblioteka antikvarnih knjiga, jedna od najkvalitetnijih te vrste na Balkanu, što predstavlja poseban užitak za ljubitelje starina i posebno starinskih spisa.
Kad se prođe kasarna/Citadela, ulazi se u srednjevjekovno zdanje gdje postoje istočna i zapadna kula i ostaci crkve Santa Maria in Castelo i gdje su čak na jednom mjestu vidljivi ostaci neke freske. Na tom nivou su se ranije često održavale i predstave Grada teatra, čuvenog budvanskog festivala. Tokom istorije ovo mjesto u gradu je često služilo i kao sklonište za stanovništvo od raznih napadača na grad i funkcionisala je kao grad u gradu.

Budvanski hroničar iz 17. vijeka Krsto Ivanović, koji je svoju karijeru nastavio u Veneciji i tamo bio kapelnik crkve Sv. Marka i istaknuti umjetnik zapisao je:

„Na Kaštel se nadovezuje sa sjevera ograđen prostor, zvan Barbakano, koji služi za smiono povlačenje i sigurno sklonište u slučaju ako padne grad. Ovaj prostor ima prema jugu jednu kulu koja, i pored toga što štiti zidine prema istoku, uspješno brani kopno i luku. Grad ima dovoljno topova i bacača da se brani“.



Na najvišem platou Citadele mogu se uočiti ostaci i nekih drugih građevina koje svjedoče o tome da je ovo mjesto bilo tokom srednjeg vijeka veoma živo. Kratko vrijeme je u Budvi stolovao i zetski mitropolit koji se odatle premjestio pod naletom Venecije u Vranjinu na Skadarskom jezeru. Pretpostavlja se da je upravo crkva Santa Maria di Castello bila središte njegovih aktivnosti.

Ostaci crkve Santa Maria in Castello
Crkva je danas gotovo potpuno uništena, od nje je ostalo samo nekoliko zidova koji se nisko podižu od temelja. Izgrađena je u vremenu između 12. i 14. vijeka, a unutrašnjost joj je bila freskopisana. Freske su sredinom 19. vijeka uništili Austrijanci zajedno sa ćiriličnim natpisima, pregrađujući je i rušeći neke od zidova i na taj način joj promijenili i namjenu i izgled. Dodatna oštećenja je pretrpjela u katastrofalnom zemljotresu 1979. godine, tako da se danas mogu naslutiti samo konture nekadašnje građevine.