amek zbudowany został między 1327 a 1345 rokiem. Za budowniczych zamku możemy uważać miejscowy ród Włodków z Włodowic.
   W latach 1345 - 1397 właścicielami budowli byli Mikołaj Starszy i Mikołaj Młodszy Strzałowie z Bobrku.
  Obie te rodziny trudniły się rozbojem więc potrzebna im była silna twierdza jako swój punkt oparcia i baza wypadowa. Wznieśli więc Włodkowie na najbliższej Włodowic skale warowny kamienny budynek i to był początek zamku. Później powstał stołp broniący wejścia na skałę. Wejście to prowadziło przez jaskinię lub raczej rozpadlinę skalną, bardzo stromą i załamującą się dwa razy. Budynek mieszkalny zbudowano w najbardziej niedostępnej, północnej części skały i było to piętrowe pomieszczenie składające się z kilku izb i wartowni. Od strony wschodniej, łatwej do przejścia wykopano fosę tworząc tym samym zamek twierdzą prawie nie do zdobycia. Budynek ze stołpem połączono murem zostawiając wąską bramkę od zachodu, którą można było opuścić zamek gdy główna brama była zamknięta. U stóp zachodniej części skały wykopano mającą około stu metrów głębokości studnię zaopatrującą zamek w wodę.
   Ponieważ załogi zamków będących w lennym posiadaniu przez Władysława Opolczyka od 1370 roku zaczęły trudnić się rozbojem, król Polski Władysław Jagiełło niezadowolony z takiego obrotu sprawy w 1396 roku zorganizował wyprawę wojenną przeciw rozbójniczym gniazdom. Sam dowodził wojskami zdobywającymi Olsztyn /koło Częstochowy/ a wojewodzie krakowskiemu, Spytkowi z Melsztyna zlecił zdobycie pozostałych warowni Bobolic i Bąkowca.
Od 1397 roku zamek należy do podsędka krakowskiego Piotra herbu Lis i jego córki Anny, żony Jana z Sieciechowa. Po ich bezpotomnej śmierci zamek otrzymał najbliższy krewny Anny Krystyn z Kozichgłów a następnie odziedziczył go syn Krystyna Jan Młodszy w 1439 roku. Rozbudował on zamek o wozownię i stajnie u podnóża skały, otoczył całość murem a kładkę przez fosę zastąpił solidnym mostem. W ten sposób na dziedziniec mogły wjeżdżać bryczki a jednocześnie z konieczności nastąpił podział zamku na górny i dolny.
  Następnym właścicielem jest syn Jana Młodszego również Jan.
  Do 1506 roku zamek ponownie należy do rodziny Włodków, która mimo upływu prawie dwóch wieków dalej trudniła się rozbojem. Są to czasy panowania Aleksandra Jagiellończyka i jego to wojska zlikwidowały rozbójnictwo. Nie do zdobycia zamek przez prywatne oddziały padł pod ciosami wyszkolonej, królewskiej gwardii i został zamieniony w ruinę.  Jako ciekawostkę mogę dodać, że na pamiątkę tego zwycięstwa jedne z żelaznych drzwi z warowni jako votum zaniesiono do pobliskiego kościoła do Włodowic. W tym samym roku zniszczono inne gniazda rozbójnicze o czym świadczą podobne drzwi znajdujące się w kościołach w: Kromołowie, Złotym Potoku i Niegowej.
   Przez cały XVI wiek właścicielami zamku jest rodzina Giebułtowskich a ostatnim, do którego on należał był Albert Giebułtowski wymieniany w dokumencie z 1618 roku jako "de Bąkowiec".
    Później zapomnianą warownię porasta las należący do dóbr Lgoty Murowanej. Las kupują żydzi w XIX wieku a od nich w latach trzydziestych XX wieku działkę wraz ze skałą zamczyska odkupił inż. Witold Czeczot. Na ruinach dawnej wieży wzniósł niewielki budynek a u stóp skały budynki gospodarcze.
  W 1961 roku na zamku przeprowadzono konserwację zabezpieczając zamkowe ruiny.