oczątek budowy zamku przypada na lata 30-te XIV wieku a jego budowniczymi był zakon krzyżacki. Usytuowany został na wzniesieniu i z trzech stron otoczony był bagnami a z czwartej odgrodzony rzeką. Zbudowany na planie kwadratu zamek początkowo składał się z dwukondygnacyjnego (później nadbudowano jedno piętro), murowanego, prostokątnego budynku mieszkalnego zwanego Dużym Domem. W swoim wnętrzu mieścił on takie pomieszczenia jak: kuchnię, refektarz, sypialnie, kaplicę czy kancelarię. Budowlę bronił mur otaczający dziedziniec a wjazd prowadził przez bramę wjazdową. Poprzedzony on był mostem zwodzonym przerzuconym nad szeroką fosą. W skład założenia wchodziła także wieża główna, w której piwnicach znajdowało się więzienie. W swojej dolnej części wieża zbudowana była na planie kwadratu (14m) a w górnej na planie ośmioboku.
  W 1376 roku zamek został zniszczony przez wojska litewskie pod wodzą księcia Kiejstuta lecz jeszcze w tym samym roku rozpoczęto prace nad jego odbudową. Zbudowane zostały dwa skrzydła mieszkalno - gospodarcze usytuowane po stronie południowo - zachodniej i północno - wschodniej, od strony północno - zachodniej powstał drugi mur obronny, który oddalony od pierwszego o około pięć metrów tworzył tzw. międzymurze. Stronę południowo - zachodnią zajmowało przedzamcze. Mieściło się ono od strony miasta i była także bronione murem obronnym wraz z czworoboczną wieżą. Do zamku należał też młyn, folusz oraz browar.
  W początku swojego istnienia na zamku miał swoją siedzibę krzyżacki prokurator a od 1383 roku - wójt.
  W latach 1410 - 1466 podczas wojen i zamieszek zamek kilkakrotnie przechodził z rąk krzyżackich w ręce polskie i odwrotnie aby po pokoju w Toruniu w 1466 roku ostatecznie zostać pod władzą zakonu krzyżackiego. W 1520 roku zamek został częściowo zniszczony przez wojska polskie. 
  Po 1525 roku i rozwiązaniu zakonu krzyżackiego na zamku miał swoją siedzibę książęcy starosta. Zamek utracił swoje wcześniejsze, militarne znaczenie a z biegiem lat zasiadali na nim różni dzierżawcy.
  W drugiej połowie XVI wieku nastąpiła odnowa założenia w stylu renesansowym.
   W wieku XVIII na zamku mieściła się gmina kalwińska a z początkiem wieku XIX budowla została przekazana w zarząd miastu. Od tego czasu spełniał on funkcje gospodarcze. Pierwsza i druga wojna światowa przyniosła zniszczenie zabytkowej budowli. Po wojnie odbudowano skrzydło zachodnie.
  Do dnia dzisiejszego z pierwotnego założenia zachował się budynek główny, fundamenty baszty północnej, mur obronny od strony północnej i zachodniej a także fundamenty skrzydła zachodniego, na których to postawiono budynek niczym nie przypominający średniowiecznego zamku.
  W zamku mieszczą się urzędy miejskie.