amek zbudowany został w latach 1312 - 1365 przez zakon krzyżacki. Usytuowany został na zachodniej części półwyspu tzw. Kępie. Przekopano szeroką na 25 m. fosę łącząc dwa jeziora a tym samym oddzielając budowlę od lądu. Drugą, tym razem suchą fosę wykopano od strony wschodniej. Na zamku miał swoją siedzibę komtur i konwent a sama budowla była drugą co do wielkości po Malborku. Przebywał tutaj sam wielki mistrz Ulryk von Jungingen a także Konrad von Wallenrode. 
  Zamek główny czyli Zamek Wysoki to budowla czteroskrzydłowa powstała na planie kwadratu (47,5m), posiadająca gdanisko (ustęp), wysoki stołp i arkadowy dziedziniec. Otoczony był murem obronnym tak jak i każde przedzamcze. W zamku było 11 bram i 9 wież.
  Zamek posiadał trzy przedzamcza: zachodnie (zwane "gródkiem przednim") posiadające stajnie, psiarnię, studnię, spichrze i zbrojownię, północne (zwane "Zamkiem Średnim") mieszczące wartownie i pomieszczenia dla załogi oraz wschodnie - gospodarcze. Do zamku głównego wjeżdżało się przez przedzamcze zachodnie. Również pomiędzy poszczególnymi przedzamczami przejazdy prowadziły przez zwodzone mosty ubezpieczane przez baszty obronne.
  Po pokoju toruńskim w 1466 roku zamek zostaje siedzibą królewskich starostów.
  W XVII wieku ówczesny starosta Melchior Wejcher postawił w północnej części dziedzińca Zamku Średniego dwukondygnacyjny dwór. Od strony wewnętrznej zdobiły go krużganki a od strony jeziora ganek obronny. Do niego przylegał tzw. dom hajduków. Oba zamki Wysoki i Średni posiadały wspólne centralne ogrzewanie.
  Wysoka wieża tzw. stołp to ośmioboczna, jedenastokondygnacyjna budowla, wysoka na 49,90 m o grubości ścian 4,53 w dolnej części i 2 metrów w górnej. W dole wieży mieści się dwukondygnacyjny loch, go którego wejście prowadziło przez okrągły otwór w sklepieniu. Podczas odgruzowywania tychże lochów w latach 1887 i 1925 znaleziono liczne szkielety ludzkie.
  W XVIII wieku jest to już zaniedbana budowla wymagająca remontu. Lecz pożary miasta w 1786 i drugi w 1793 spowodowały, że król pruski Fryderyk Wilhelm II, do którego należały te ziemie od 1772 roku, wydał pozwolenie mieszkańcom na rozbiórkę zamkowych murów i przeznaczenia tak uzyskanego budulca na odbudowę zniszczonych domów.
 W latach 1826 - 1828 na fundamentach zamkowej kaplicy postawiono kościół ewangelicki a pozostałą z zamku 46-cio metrową wieżę wykorzystano jako dzwonnicę. W dwadzieścia lat później zmieniono zwieńczenie wieży na krenelażowe. Zmieniono także wejście do wieży. Pierwotnie mieściło się ono na wysokości 16 metrów i wchodziło się do niej z budynku zamku a po zmianie wejście było u podnóża wieży. W wieży przez pewien czas znajdował się skarbiec. 
 Dwupoziomowe lochy od 2003 roku udostępnione zostały do  zwiedzania.
  W swojej historii zamek często był oblegany lecz tylko raz zdołano go zdobyć. Nie udało się go zdobyć Władysławowi Jagielle w 1414 roku, ani w 1433 wojskom czeskim pod dowództwem Jana Czapka oraz wielkopolskim rycerzom Sędziwoja Ostroroga, ani później podczas wojny trzynastoletniej (1453 - 1466). Trzykrotnie oblegali zamek Niemcy w tym raz Krzyżacy dowodzeni przez wielkiego mistrza Albrechta oraz Szwedzi w 1627 roku. Dopiero wojska szwedzkie w 1655 roku przełamały opór obrońców lecz stało się to po wielomiesięcznym oblężeniu a pomogła im w tym sama natura. Mrozy były tak silne, że zamarzło jezioro oraz woda w fosach i to wykorzystali najeźdźcy szturmując jednocześnie ze wszystkich stron.