Zámek v Jaroslavicích má hluboké kořeny sahající do středověku. Na místě dnešní stavby se původně nacházela dřevěná tvrz, která se později přeměnila v hrad. Ten je historicky doložen v roce 1249, kdy sloužil jako sídlo znojemského purkrabího Bočka z Obřan. Hrad postupně vlastnili páni z Lipé, až jej v roce 1567 nechal hrabě Scipio z Archu zásadně přestavět na rozlehlý čtyřkřídlý renesanční zámek.

Stavba se však nezastavila. Během 17. století ji přeformoval italský stavitel Domenico Martinelli, který jej opatřil barokními prvky. Nejmladší barokní tvář dostala stavba v letech 1730–1736, kdy byl přestavěn podle návrhu Josepha Emanuela Fischera von Erlacha, jednoho z předních barokních architektů své doby. Až do roku 1790 zámek vlastnil rod Althannů, který jej byl nucen opustit.

V 19. století se střetly osudy několika rodů. V roce 1835 zámek koupil hrabě Wilhelm Hompesch-Bollheim. Z jeho rodu pocházel i Ferdinand Hompesch-Bollheim, který se narodil roku 1843 a zemřel v Jaroslavicích roku 1897. Na konci 19. století byl poslancem Říšské rady. Posledním majitelem z tohoto rodu byl Pius Hompesch-Bollheim, který žil v letech 1878–1914. Od roku 1919 zámek vlastnil hrabě August von Spee, poslední soukromý vlastník před druhou světovou válkou.

Po válce se osud zámku změnil zásadně. Připadl státu a v důsledku politických změn se stal местом utisků. V letech 1949–1951 jej využívalo Ministerstvo národní bezpečnosti jako Tábor nucené práce pro ženy, kde bylo internováno kolem sta žen. Později objekt obsadila armáda. Až v roce 1990 jej převzala místní obec.

Nový majitel se objevil kolem roku 2004, kdy zámek odkoupil rakouský lékař Sigurd Hochfellner. Pokusil se zahájit obnovu a částečně zrekonstruoval místní kapli. Vedení stavby jej však od ambicióznějších plánů odradilo. Potomci hraběte von Spee, nejprve jeho dcera Felicita von Spee a později její děti, se domáhají restituce. Tento dlouhodobý právní spor značně komplikuje jakékoli investice do opravy.

Dnes je zámek charakterizován stavem, který si vyžádá komplexní generální obnovu. Stavebně je si vědomo, že ve schodištní chodbě mezi kostelem sv. Jiljí a zámkem se zřítila klenba. Přestože jde o stavbu s bohatou historií a architektonickými kvalitami, jejich možné zachování se stává čím dál nejistějším.

Zajímavostí je, že zámek přitahoval v posledních dvaceti letech filmové tvůrce. Sloužil jako lokace pro seriál Černí baroni, pohádku Tři srdce a sérii dalších audiovizuálních projektů včetně nedávného snímku Ve víně je pravda. Přestože je zámek technicky přístupný jako kulturní památka, jeho chátrající stav a právní nejistota jej činí jedním z nejohroženějších objektů českého kulturního dědictví.