Na místě dnešního zámku stávala gotická tvrz, připomínaná v roce 1377, ačkoli byla zřejmě založena někdy mezi lety 1318 a 1339. O jejích zakladatelích se však nic neví – zakládací listiny neznáme, protože shořely v roce 1642 během třicetileté války. Původní stavba byla jednoduchou budovou obehnána hradbami, valy a vodním příkopem na jižní straně, která se vstupu bránila padacím mostem. Stopy minulosti se zachovaly dodnes: v podzemí se nachází okrouhlá hladomorna hluboká sedm metrů vytesaná zčásti ve skále, nad níž jsou dvě vězeňské kobky. Tvrz sloužila jako sídlo zemanů – vladyků, jejichž dvůr představoval středisko vrchnostenského podnikání.

V patnáctém století za Kokorských z Kokor prošla tvrz pozdně gotickou přestavbou. Od roku 1437 se začalo pro ni používat označení hrad, od roku 1514 a zvláště od roku 1529 se pak nazývala zámkem. Nejdůležitější byl rok 1532, kdy došlo k významné renesanční přestavbě, která sjednotila oba jižní paláce v jediné křídlo. V roce 1568 se stala majetkem olomouckého biskupství. Od roku 1581 až do roku 1848 sloužila jako sídlem církevní vrchnosti a úřední budova, v níž byl umístěn vrchnostenský úřad s úředníky různých funkcí. Roku 1830 ji zachránili před požárem opravou, ale roku 1848 byla úřední činnost ukončena.

Po zrušení úřadu si zámek pronajímali kanovníci a preláti k letnímu pobytu až do roku 1918. V roce 1919 osiřel, když zemřel vrchní Ignác Tomáš Grimmenstein. O tři roky později jej pronajala charita z Olomouce pro těžce postižené děti, které zde pečovaly řádové sestry svatého Norberta ze Svatého Kopečka až do roku 1946. V roce 1948 se stal zámek majetkem místního národního výboru a opravili jej v letech 1975 až 1976.

Stavebně tvoří zámek jednopatrovou budovu ve tvaru podkovy situovanou okolo nádvoří. Vstup vede klenutým vjezdem od jihu přes most, který kdysi překračoval vodní příkop zdobený dvěma sochámi. Východní stranu zaujímá obdélníková budova s pěti okny, v níž se otevírají velké arkády do nádvoří. Západní strana je postavena nad bývalým příkopem s středovým rizalitem. Na severní straně nádvoří stojí obdélníková jednopatrová budova, k níž se připojuje čtvercová stavba situovaná na skále nad rybníkem. Místnosti v přízemí jsou klenuté, v patře plochostropé. Ozdobou interiéru je nástropní malba v chodbě prvního patra, kterou v roce 1876 vytvořil olomoucký malíř Rabenalt. Zachycuje českého knížete Václava v zlatém brnění s čapkou, mečem a praporcem, u jeho nohou jsou umístěny tři španělské štíty s erby. Tuto malbu restaurovali v roce 1984. Dochován také zůstal gotický vstupní portál a částečná hladomorna v podzemí bývalé správní budovy.

Dnes zámek obklopuje park volné krajinářské kompozice. V jeho prostorách najdeme obecní úřad, obřadní síň, místní knihovnu a malé vesnické muzeum. Od roku 1958 je chráněn jako kulturní památka.