Kostel Panny Marie patří mezi nejvýznamnější památky raného středověku v Čechách, neboť představuje počátek křesťanství na pražském hradišti. Historici jeho vznik datují na základě analýzy václavských legend do let 882–884, krátce po Bořivojově přestěhování z Levého Hradce, kde si již dříve nechal vystavět kostel svatého Klimenta. Kostelík stál na místě, kde později vznikl Pražský hrad, a postupem času jej na jeho křesťanském akropoli nahradila bazilika svatého Jiří a rotunda svatého Víta.

Nejstarší stavba byla jednoduchou podélnou stavbou bez dělení vnitřního prostoru. Vyzděná z kvádrů bělohorské opuky dosahovala rozměrů 7,5 × 6 metrů a měla odstupňovaný presbytář se zaoblením. Do její podlahy byla vybudována větší hrobka pro samotného Bořivoja, která však údajně zůstala prázdná. Antropolog Emanuel Vlček soudil, že kníže byl nakonec pohřben v uvedené rotundě svatého Víta. V 11. století pak byl kostel značně přestavěn. Nový kostelík s menšími rozměry 7,4 × 5,9 metrů měl vyvýšenou apsidu na polygonálních základech s oltářem uprostřed. V této době sem byla umístěna také menší hrobka určená pro knížete Spytihněva I., který zde byl roku 915 pohřben, a jeho manželku, která zemřela roku 918. Právě v tomto období se zde údajně konaly také postřižiny mladého Václava.

Kostelík dlouhá staletí sloužil jako první křesťanská svatyně pražského hradiště, přičemž se kolem něj postupně rozrůstalo pohřebiště. Vzhledem k jeho omezené velikosti se sakrální centrum postupem času přesunulo na vyšší polohu hradu. Písemné zmínky o kostele mizí ze zdrojů po 13. století; poslední nepřímá zmínka pochází z roku 1255 a jeho definitivní zánik lze klást do roku 1278 nebo krátce poté.

Zbytky stavby byly vědecky objeveny v padesátých letech 20. století archeo­logem Ivanem Borkovským na základě jeho předpovědi z roku 1949. Podrobný průzkum v letech 1950–1952 zdokumentoval zachované části obou stavebních fází, včetně obou hrobek, zbytků olřiště a fragmentů dlažby. Pozůstatky byly upraveny pro jejich prezentování na místě a v roce 1958 otevřen průhled z objektu Obrazárny Pražského hradu. V rámci úprav Pražského hradu za prezidenta Václava Havla pak architekt Bořek Šípek v roce 1997 rozšířil tento pohled dvěma okny v moderních měděných rámech. Do dnešních dnů se zachovala především severní část zdiva mladší, jedenáctistolletí stavby do výšky přibližně 1,5 metru, a také zbytky středních i mladších podlah, základů vítězného oblouku a fragmenty oltářů.

Návštěvník Pražského hradu si tak může učinit představu o nejstarších kořenech křesťanství v České zemi a spatřit ve skutečnosti více než tisíc let starý kamenný svědek raného českého státu.