amek zbudowany został w połowie XIII wieku przez zakon krzyżacki. Budowla powstała na wzniesieniu nad rzeką Wisłą. Miała nieregularny kształt i składała się z zamku górnego i  przedzamcza od strony południowej. Usytuowane po bokach budynki mieszkalne utworzyły wewnątrz dziedziniec a w jego narożu stanęła wysoka (ok. 30 m) wieża. Była to tzw. wieża ostatniej obrony a wejście do niej znajdowało się na wysokości czternastu metrów i można się tam było dostać wyłącznie z murów obronnych po drewnianym pomoście. Od strony południowej stał główny budynek zamkowy a w nim znajdował się wjazd na dziedziniec. Budowla posiadała cztery kondygnacje (piwnice i trzy nadziemne). Strona zachodnia zamku to pomieszczenia gospodarcze na parterze i gościnne na piętrze a także wychodzący w stronę rzeki dansker (ustęp). Strona wschodnia mieściła zamkową kaplicę Panny Marii.

Nie na pewności co do daty powstania murowanego założenia. Wspomniana wyżej wieża ostatniej obrony nie była stawiana w żadnym innym krzyżackim zamku. Przypuszcza się więc, że jest to wcześniejsza budowla powstała za czasów biskupa Christiana a dopiero później krzyżacy w tym miejscu zbudowali zamek wykorzystując stojącą już wieżę. 

  W rękach  krzyżackich zamek pozostał  do 1454 roku kiedy to został zdobyty w pierwszych dniach powstania pruskiego. Od tego czasu aż do jego zakończenia i podpisania pokoju w Toruniu (1466) na zamku znajdowała się załoga polska pomimo podejmowania przez Krzyżaków prób jego odzyskania. Pokój toruński na stałe przyłączył miasto i zamek do Polski.

  Podczas szwedzkiego „potopu” na zamku zamieszkał król szwedzki Karol Gustaw X z małżonką. Po trzy letnim (1656 – 1659) pobycie opuścił warownię, która po krótkim oblężeniu została przez Polaków zdobyta. Podczas szturmu zamek jednak ucierpiał.

  Kolejna wojna ze Szwecją (1703 r) i znowu zniszczenie i obrabowanie zamku przyczyniają się do powolnego jego upadku. Budowla ostatecznie zostaje opuszczona w 1800 roku a już rok później zamkowe mury są rozbierane a uzyskany z nich materiał przeznaczony na budowę nowej twierdzy. Z rozbiórki uratowała się tylko wieża, która dotrwała do 1945 roku. Wtedy to została wysadzona w powietrze przez żołnierzy niemieckich. Około dziesięć lat później na miejscu resztek wieży usypano kopiec a na jego szczycie postawiono posąg Światowida.

W roku 2006 działający prężnie Społeczny Komitet Odbudowy Klimka (taką nazwę miała wieża) doprowadza do rozbiórki kopca i odsłonięcia pozostałości wieży. Prowadzone są też badania archeologiczne a w planie jest rekonstrukcja wieży.

Więcej o Komitecie i planach na przyszłość a także o historii zamku i wieży znaleźć można na stronie: http://www.klimek.grudziadz.com.pl