Na nízkém návrší v místech, kde dříve stávala středověká ves Byšičky, stojí osaměle kostel zasvěcený svatým Petrovi a Pavlovi. Obec je poprvé písemně doložena roku 1318, ale třicetiletá válka ji smetla; zachoval se jen kostel. Ten sám je ještě starší – první písemná zmínka o něm pochází z roku 1267, kdy na návrší stál románský kostelík. Dnes je kostel chráněn jako kulturní památka České republiky a náleží do farnosti Lázně Bělohrad v okrese Jičín.

Nejstarší dochovanou částí stavby je románská apsida, datovaná do počátku 13. století. Gotická loď a kněžiště vznikly na počátku 14. století. Výraznější barokní zásah přišel roku 1718, kdy byly upraveny jižní i západní portál a okna. Roku 1850 přibyla k západnímu průčelí hranolová věž, která dnes dominuje siluetě kostela. V letech 1851 až 1880 žil v jeho těsném sousedství Augustýn Hoření, označovaný za posledního z českých poustevníků. Na sklonku 20. století proběhla celková rekonstrukce a opravena byla i křížová cesta vedoucí ke kostelu; roku 1988 byly střechy přetaženy pozinkovaným plechem namísto dřívější břidlice. V letech 2010–2011 bylo provedeno odvodnění, zaceleny vnější i vnitřní trhliny a staticky zajištěn severní opěrný pilíř.

Kostel je jednolodní orientovaná stavba. K dvoupatrové věži na západě přiléhá loď, na niž navazuje užší pětiboký presbytář podepřený dvěma opěrnými pilíři; z východní strany k presbytáři přisedá rovněž pětiboce formovaná apsida. Fasáda je hladká, členěná jen soklem a korunní římsou. Střecha lodi je sedlová s valbou, věž nese osmibokou jehlancovou střechu, obojí kryté pozinkovaným plechem. Jižní stěnu prolamuje pět obloukem uzavřených oken se širokými šambránami; věž osvětlují okna půlkruhová, v apsidě je okno pravoúhlé. Barokní věž je členěna římsami a lizénovými rámy s vpadlými poli.

Interiér lodi má téměř čtvercový gotický půdorys – 7,8 × 7,55 metru – s plochou stropní konstrukcí ve výšce 5,15 metru. Od kněžiště ji odděluje hrotitý triumfální oblouk; v západní části nesou kruchtu dva čtyřboké pilíře. Gotické kněžiště je rovněž plochostropé, 6,9 metru široké a 4,9 metru hluboké. Na východě se otvírá obloukem do nejstarší části celé stavby – románské apsidy zaklenuté konchou.

Na přilehlém hřbitově jsou pochováni hudební skladatel Karel Moor, spisovatelka Leontina Mašínová a herec Jiří Letenský. Byšičky jsou také tradičně spojovány s básníkem Karlem Jaromírem Erbenem: podle jedné hypotézy ho zdejší místo inspirovalo k napsání balady Svatební košile, i když jiná hypotéza jako možný vzor uvádí hřbitov u kostela svaté Maří Magdalény ve Velharticích na Klatovsku.

Každý rok v červnu se u kostela konají hojně navštěvované poutě. Pro návštěvníka jsou Byšičky lákavou zastávkou nejen pro architektonické vrstvy sahající od románského přes gotické až po barokní, ale i pro tiché místo, jež si zachovalo atmosféru zaniklé středověké vsi.