ierwotny, drewniany zamek zbudowany został w XIII wieku przez rycerski ród Gryfitów. Wzniesiony został na wzgórzu - w Czarnym Lesie - niedaleko ujścia rzeki Skawy do Wisły. Obecnie miejsce to leży pomiędzy wsiami Babice, Zagórze i Wygiełzów.
  W 1243 roku zamek zakupił biskup krakowski Jan Prandota i od tego czasu aż do XVIII wieku a ściślej do 1789 roku był własnością biskupstwa. W początku XIV wieku zamek należał do biskupa krakowskiego Jana Muskaty, który był przeciwny koronacji Władysława Łokietka na króla Polski.
   Biskupi Wojciech Jastrzębiec a po nim Zbigniew Oleśnicki przyczynili się do rozbudowy zamku a miało to miejsce w XV wieku. Do stojącej, okrągłej, XIII-wiecznej wieży o wysokości sięgającej 28 metrów a zbudowanej z wapiennych głazów i istniejącego budynku dostawione zostały skrzydła zachodnie i północne mieszczące reprezentacyjne sale, kaplicę i pomieszczenia gospodarcze. Powstał w ten sposób dziedziniec wewnętrzny z arkadami na dwóch kondygnacjach. Wjazd do zamku prowadził przez most zwodzony nad głęboką fosą a sama brama miała dwa wejścia, osobne dla pieszych i osobne dla wozów konnych. Całość otaczał mur obronny.
   W tym to okresie zamek zamieniony został na więzienie biskupie a w późniejszym okresie / rok 1720/ urządzono tam coś w rodzaju domu poprawczego. Po łacinie zamek lipowiecki nazywano "domus correctionis". W lochach potężnej baszty znajdowały się dziesiątki małych cel, do których wrzucano więźniów, często skazanych na śmierć głodową. Aby zostać "mieszkańcem" Lipowca wystarczyło np. domagać się reformy kościoła lub w modlitwach prosić - "o kapłanów, coby ludzi wiedli prawdą". Przebywali tam między innymi  Franciszek Stankar - profesor hebraistyki na Uniwersytecie Jagiellońskim uwięziony w 1550 roku lecz udało mu się zbiec czy Jan Koźminczyk magister sztuk wyzwolonych nadworny kaznodzieja Zygmunta Augusta, lecz on z więzienia już nie powrócił.
   Podczas swedzkiego "potopu" zdobyty zamek stał się na około dwa lata siedzibą szwedzkiego generała Wirtza. Po odejściu Szwedów zdewastowany zamek stracił swoje znaczenie i zaczął popadać w ruinę. W 1780 roku budowlę przejął Skarb Państwa. Wprawdzie dzierżawili go później różni hrabiowie lecz nie przyczyniło się to do jego odbudowy. Przez pewien czas zamek służył za schronienie konfederatom barskim a w 1863 roku na zamku mieszkał dyktator powstania styczniowego generał Marian  Langiewicz. Ostatecznie opuszczony niszczał do lat pięćdziesiątych XX wieku kiedy to zajęto się jego zabezpieczaniem przed dalszym zniszczeniem.
   Obecnie zwiedzając zamek możemy oglądać cele więzienne i poprawcze, niewielkie muzeum ukazujące historię zamku a także wejść na basztę zamkową aby oglądać wspaniały widok okolicy za jedyne 4,40 zł (2006 rok).