amek zbudowany został prawdopodobnie w XIV wieku bowiem pierwsze wzmianki o tej miejscowości pochodzą z 1388 roku. Wtedy to bowiem ówcześni jej właściciele Marcin i Mikołaj z Baruchowa herbu Doliwa sprzedali majątek wraz z zamkiem Gniewoszowi z Dalewic. Następnie jeszcze kilkakrotnie zmieniali się właściciele zamku aż w  około 1480 roku nabył go Jakub Szydłowiecki. On też rozbudował stary zamek. Po smierci Jakuba dobra przeszły w ręce jego przyrodniego brata Mikołaja a następnie dostały się Krzysztofowi Szydłowieckiemu - kanclerzowi wielkiemu koronnemu i kasztelanowi krakowskiemu.
Za jego tam bytności zamek został przebudowany w latach 1519 - 1523 w stylu renesansowym na wspaniałą magnacką rezydencję. 
 Zamek znajdował się na małej wysepce graniczącej z jednej strony z bagnami a pozostałe strony od lądu oddzielała fosa z wodą. W skład zamku wchodziły dwa budynki mieszkalne od strony wschodniej i zachodniej, które połączone były basztą gdzie znajdowała się kaplica zamkowa oraz przedzamcze z wieżą bramną wraz z budynkami gospodarczymi zbudowanymi na planie litery "U". Wjazd prowadził od strony południowej. 
   Spis sporządzony w 1557 roku tak nam opisuje kaplicę: "...ołtarzów było trzy, a na nich obrazy wielkim kosztem sprawione" poza tym kilka ornatów złotogłowiowych z herbami króli i Szydłowieckiego, trzy kielich pozłociste "szubtelne włoszkiey robothy z kamyeniami i perłami" itd.
  W XVII wieku wzmocniono obronność zamku stawiając cztery narożne bastiony.