amek zbudowany został około 1622 roku przez Aleksandra Ludwika Radziwiłła herbu Trąby według projektu Pawła Negroniego a budowniczym był Lenart. Założenie składało się z renesansowego, dwukondygnacyjnego pałacu (jego wymiary to 41x31m) z czterema, trzykondygnacyjnymi, pięciobocznymi wieżami w narożach, W centralnej części budynku znajdowały się na obu kondygnacjach duże sale zwane Rycerską i Lustrzaną a do nich przylegały mniejsze pomieszczenia, po sześć z każdej strony. Do pałacu przylegały trzy oficyny usytuowane prostopadle do niego. Oprócz tego były tam także budynki gospodarcze takie jak stajnia, zbrojownia czy kuchnia a także zamkowa kaplica a w późniejszym czasie teatr. Wjazd prowadził przez bramę wjazdową z tzw. szyją i wieżą a poprzedzał go most zwodzony przerzucony nad fosą z wodą. Poza tym całe założenie otoczone było fortyfikacjami ziemnymi a później murem obronnym. Podczas dalszych rozbudów powstały po stronie wschodniej i zachodniej wieże połączone z głównym pałacem arkadową galerią. Od strony południowej zamku strzegły bagniste rozlewiska rzeki Krzny.
 Podczas szwedzkiego "potopu" zamek ulega zniszczeniu lecz szybko zostaje odbudowany przez Michała Radziwiłła i jego żonę Katarzynę z domu Sobieską. Następne jego zniszczenie to także sprawka wojsk szwedzkich tym razem w 1706 roku.
  W 1728 roku Anna Radziwiłłowa z domu Sanguszko rozpoczyna odbudowę zniszczonego założenia. Powstaje sześciokondygnacyjna wieża i brama wjazdowa. Brama posiada bogaty wystrój architektoniczny i rzeźbiarski. Oprócz tego cały pałac zostaje bogato ozdobiony i upiększony. Prace remontowe prowadzą także następcy Anny Radziwiłłowej - jej syn Hieronim Florian a po nim Michał Kazimierz Radziwiłł zwany "Rybeńko". Za jego tam bytności pałac zostaje powiększony a otaczające go fortyfikacje wyremontowane. W pałacu mieści się duży zbiór obrazów znanych malarzy europejskich (w 1760 roku było ich 608 sztuk). Dzieła te zostały rozgrabione podczas najazdu wojsk Chodkiewicza a następnie wojsk rosyjskich. W 1776 roku ówczesny właściciel zamku Karol Stanisław Radziwiłł ponownie odremontowuje budowlę. Później w zamku urządzony został szpital dla rannych żołnierzy podczas powstania kościuszkowskiego a następnie dla wojsk napoleońskich idących na Rosję. Po tych doświadczeniach zamek popadał w ruinę a jego właściciel Dominik Hieronim Radziwiłł zupełnie się nim nie interesował.
  W 1883 roku rozebrano zrujnowany pałac.
  Do dnia dzisiejszego przetrwała wieża i brama wjazdowa z XVIII wieku a także kaplica zamkowa z wieku XVII oraz ćwierćkolista galeria. Pod dawnym zamkiem rozciągają się lochy, które zostały jeszcze rozbudowane w XVIII wieku. W pomieszczeniach wieży i budynku bramnego znajduje się Muzeum Okręgowe, Szkoła Muzyczna i biblioteka.
  Są plany odbudowy pałacu oraz dawnego założenia zamkowego.