amek zbudowany został w 1445 roku przez księcia zatorskiego Wacława. Pierwotny jego wygląd to piętrowy, prostokątny budynek ceglany z dużą dwukondygnacyjną wieżyczką na froncie. 
Z tego okresu do dnia dzisiejszego zachowały się grube, 1,5 metrowe mury, fundamenty, na parterze duże sale z gotyckim, ostrołukowym sklepieniem a także dwukondygnacyjne głębokie piwnice. Służyły one jako więzienie zarówno w czasach gdy na zamku przebywali starostowie jak i później gdy mieścił się tam sąd ziemski.
  Od 1494 roku zamek  znajduje się w rękach królów polskich aż do 1778 roku kiedy to po pierwszym rozbiorze Polski Austria sprzedaje go razem ze starostwem zatorskim ostatniemu staroście zatorskiemu Fryderykowi Duninowi za kwotę 82 042 złr 10 kr.
  W pierwszej połowie XVIII wieku Piotr Dunin herbu Łabędź dookoła stojącej wieży dobudowuje niskie drugie piętro szpecąc tym samym starą, stylową budowlę.
  Od 1794 roku zamek należy do rodziny Tyszkiewiczów a z początkiem XIX wieku nowym właścicielem zostaje napoleoński generał Stanisław Wąsowicz herbu Gozdawa. Jego żona Tekla, z domu Potocka, wyremontowała mocno zniszczoną i zaniedbaną budowlę.
  W 1817 roku zamek wraz z dobrami zatorskimi i miastem przechodzi w ręce rodziny Potockich.
   W 1836 roku zamek zostaje przebudowany według projektu F. M. Lanciego. Dawny ostrołukowy dach wieżyczki zamieniony zostaje na płaski a wnętrza pierwszego i drugiego piętra -  przebudowane. Dawny zamek nabiera teraz charakteru bogatej magnackiej rezydencji, niedużego pałacu. Znajdują się tam różne historyczne eksponaty i obrazy a także bogaty księgozbiór zawierający między innymi cenne starodruki. Są obrazy Leonarda da Vinci, Velasqueza, Canaletta, Zurbarana oraz dwa wielkie płótna Baccierellego ze scenami z życia w zamku warszawskim. Z cenniejszych pamiątek można było oglądać: dwa rzędy końskie Stefana Batorego, rząd Jana III Sobieskiego, srebrną tacę królowej Bony, róg myśliwski z kości słoniowej Augusta II Mocnego czy pas do ładownicy księcia Jana Poniatowskiego. Oprócz tego znajdowały się też rzeźby, mozaiki, meble artystyczne, greckie i egipskie posążki, zbroje, arcydzieła złotnictwa oraz wiele innych cennych i rzadkich pamiątek i eksponatów.
   Podczas drugiej wojny światowej Niemcy doszczętnie obrabowali zamek i ulokowali w nim obóz dla niemieckich przesiedleńców ze wschodu.
   Po wojnie zamek przeszedł w posiadanie Instytutu Rybackiego UJ i mieścił się tam Rybacki Zakład Doświadczalny. Obecnie stoi pusty i zamknięty na cztery spusty.