amek zbudowany został w początku XIV wieku przez biskupa chełmińskiego Hermana z Pryzny. Budowla powstała poza miastem lecz była z nim związana murami obronnymi. 
  W 1330 roku wojska litewskie zniszczyły budowlę lecz szybko została ona odbudowana. Przebudowa i rozbudowa warowni zajęła blisko sto lat i dopiero w 1416 roku została ukończona w stylu gotyckim.
  Założona została na planie czworoboku o wymiarach 70x74 m.W skład zamku wchodził budynek murowany, czteroskrzydłowy mieszkalny z wewnętrznym dziedzińcem ozdobionym krużgankami (19x19m) i narożnymi, czworobocznymi, wysuniętymi przed lico budynku wieżyczkami (5x5m). Jedna z tych wieżyczek w XVII wieku została podwyższona i powstała wtedy 60 metrowej wysokości wieża o podstawie kwadratu a wyżej przechodziła w ośmiobok. Całe założenie otaczał mur obronny i fosa z wodą a wjazd prowadził przez przerzucony nad nią most zwodzony. 
 Po pokoju toruńskim w 1466 roku miasto wraz z zamkiem przeszło pod panowanie polskie.
  Na zamku tym w latach 1535 - 1539 kilkakrotnie przebywał astronom Mikołaj Kopernik.
  W latach 1624 - 1639 za bytności na zamku biskupów  Jakuba Zadzika a po nim Jana Lipskiego budowla została przebudowana a jej wnętrza otrzymały nowy wygląd. 
  Pod koniec XVIII wieku opuszczony przez swoich dotychczasowych właścicieli (biskupi przenieśli się do Chełmży a później do Pelpina) zamek popada w coraz większą ruinę. Pożar, jaki wybuchł w 1815 roku przypieczętował dzieło zniszczenia i w 1826 roku zamek został rozebrany na polecenie nadprezydenta Rejencji Gdańskiej Theodora von Schöna.
  Podczas prac archeologicznych odkryto, że pod powierzchnią gruntu znajdują się w dobrym stanie ponad dwumetrowej wysokości fundamenty dawnych budynków zamkowych. Zamek został więc rozebrany tylko w części nadziemnej i pozostałe fundamenty są dobrym prognostykiem na przyszłość gdyż władze miejskie mają zamiar odbudować dawną biskupią rezydencję.