amek zbudowany został w latach 1615 - 1622 przez Henryka Firleja biskupa płockiego. Całe założenie postawiono na planie nieregularnego czworoboku, bronione było przez bastiony, mur obronny oraz fosę. Cztery bastiony zbudowano z kamienia polnego i cegły, dwa z nich są rozwartokątne, jeden prostokątny, w każdym znajdują się otwory strzelnicze a część z nich posiada kazamaty. Wjazd do zamku prowadził od strony zachodniej po grobli, która rozdzielała stawy, przez bramę zamkową z samborzem w murze zachodnim. Niedaleko wjazdu znajdował się jeden z bastionów (południowy). Oprócz stawów zamek broniła jeszcze fosa.
W skład zamku wchodził zbudowany na planie prostokąta trzykondygnacyjny, murowany budynek mieszkalny poprzedzony fosą i przerzuconym przez nią mostem, budynek gospodarczy przylegający jednym bokiem do muru obronnego (zachodniego) oraz park i ogrody założone przez Henryka Firleja. Pałac zwieńczony był attyką a na piętrze posiadał arkady.
  W latach 1625 - 1626 na zamku przebywał król Polski Zygmunt III Waza z rodziną żoną Konstancją i córką Anną Katarzyną chroniąc się w nim przed panującą w Krakowie zarazą.
  Podczas szwedzkiego "potopu" w 1657 roku zamek oblegany jest przez wojska najeźdźcy lecz nie zostaje on zdobyty.
  W drugiej połowie XVII wieku nowym właścicielem zamku i miasta zostaje król Polski Jan III Sobieski a po jego śmierci dobra przechodzą na syna Jakuba.
  W 1712 roku zamek jest w posiadaniu rodziny Humięckich - początkowo wojewody podlaskiego Stefana, następnie stolnika koronnego Ignacego a po jego śmierci zamkiem zarządza żona Teresa do 1777 roku.
  Następnym właścicielem zamku jest marszałek Sejmu Czteroletniego Stanisław Małachowski. Od 1809 roku założenie znajduje się w rękach rodziny Radziwiłłów do 1850 roku kiedy to nabywa je hrabia Wincenty Krasiński. Przez następne dwa lata trwa remont i przebudowa zamku. Ćwierć wieku później nowym właścicielem zostaje hrabia Edward Raczyński i w tej rodzinie zamek pozostaje do 1945 roku. 
  Podczas drugiej wojny światowej zamek zajmowali Niemcy a po ich odejściu wraz z nimi znikły zamurowane w zamkowych piwnicach drogocenne przedmioty.
  Po wojnie zamek przejmuje Skarb Państwa (Dekret o reformie rolnej) i służy on za dom wczasowy, przedszkole a także jako siedziba PGR. W tym okresie stan budowli się mocno pogarsza. Jak większość tego typu obiektów (głównie pałace) nadających się do użytku w tym czasie były wykorzystywane na różnego rodzaju działalność (szpitale, szkoły, internaty, mieszkania, placówki kulturalne itp.) lecz mało kiedy były remontowane. Gdy nie nadawały się już do użytku opuszczano je i zapominano. Większość z nich przepadła bezpowrotnie gdyż zrujnowane nie nadają się do remontu ani odbudowy.
  W 2002 roku zamek powrócił do rąk spadkobierców rodziny Raczyńskich.