amek zbudowany został w 1610 roku przez Władysława Padniewskiego. Wcześniej mieszkał on na zamku w Smoleniu lecz w niedalekiej Pilicy postanowił wybudować nową siedzibę. Po jego śmierci zamek należał do Jerzego Zbarskiego, później do Konstantego Wiśniowieckiego aby w 1636 roku przejść w ręce Stanisława Warszyckiego jako wiano wniesione przez żonę, córkę Wiśniowieckiego. Ten postanowił umocnić budowlę i wzniósł bastionowe fortyfikacje wokół pałacu.
  Dwukrotnie zamek był w rękach szwedzkich, podczas tzw. "potopu" i później -  wojny północnej. Wprawdzie został odremontowany przez kolejną właścicielkę Marię Sobieską ale następne lata i nie dbający o zamek kolejni właściciele przyniosły powolne niszczenie warowni.  Następowały jeszcze próby remontowania obiektu np. w 1852 roku przez Krystyna Moesa czy później Leona Epsteina ale zamek nie odzyskał już pierwotnej świetności.
 Sam pałac jest dwukondygnacyjną, czteroskrzydłową budowlą z wewnętrznym dziedzińcem. Posiada 40 pokoi a w czasach swojej świetności ozdobione one
były sztukaterią, dębowymi podłogami czy kasetonowymi stropami. Zewnętrzne fortyfikacje to sześć bastionów połączonych ze sobą podziemnymi korytarzami, otoczone są one fosą, do której wodę doprowadzały rury z odległości aż dziesięciu kilometrów. Całość otacza park.