amek zbudowany został prawdopodobnie w XIV wieku na wysokim wzniesieniu ponad rzeką Wisłą. Pierwotnie istniał tu gród obronny należący do księcia mazowieckiego Konrada. W 1226 roku sprowadza on do Polski pierwszych rycerzy zakonnych i daje im wieś na Kujawach zwaną Orłowo gdzie wystawił dla nich niewielki gródek zwany Vogelsang czyli Ptasi śpiew. Sprowadzeni Krzyżacy mieli podjąć walkę z pogańskimi Prusami i tym samym chronić polską granicę. Początkowo byli to dwaj rycerze Konrad von Landsberg i drugi nie znany z imienia oraz niewielka liczba służby.
Lecz gdy przez ponad półtora roku nie zorganizowali żadnej wyprawy a plemiona pruskie dalej napadały na polskie wsie postanowił Konrad sprowadzić drugi zakon rycerski. W lipcu 1228 roku nowy zakon otrzymuje od księcia ziemie między rzekami Wisłą, Skrwą i Drwęcą wraz z zamkiem w Dobrzyniu. Od tego zamku rycerzy nazwano braćmi dobrzyńskimi. Lecz zakon nie był liczny gdyż liczył tylko 14 rycerzy niemieckich pochodzących z Meklemburgii i w niedługim czasie połączył się z zakonem krzyżackim wnosząc w "spółkę" swoje
ziemie. Od tego czasu zamek wraz z miastem należał do zakonu krzyżackiego lecz w 1235 roku powrócił do Konrada Mazowieckiego. Z początkiem XIV wieku właścicielem miasta i zamku był Władysław Łokietek, później ponownie panowali na nim Krzyżacy przez lat 14 (1329 - 1343). Przez pewien czas zarządzał nim Władysław Opolczyk lecz oddał go w ręce krzyżackie jako zastaw w 1392
roku. Zamek pozostawał we władaniu zakonu do 1404 roku. Następnie powrócił pod polskie panowanie lecz w 1409 roku zamek został oblężony przez Krzyżaków. Wojskami zakonnymi dowodził sam wielki mistrz Ulryk von
Jungingen. Ciężka artyleria jaką mieli Krzyżacy w dużej mierze przyczyniła się do zdobycia
zamku. Załoga pod dowództwem starosty Jana z Płomian broniła się dzielnie lecz podpalona, drewniana budowla nie mogła długo stawiać oporu. Ostatecznie została zdobyta, obrońcy zginęli a warownię zniszczono. Wymordowani zostali również mieszkańcy miasta Dobrzynia. W niedługim czasie w podobny sposób zdobyto i zniszczono zamki w Rypinie, Bobrownikach i Złotorii.
Zamek zajmował szczyt wzgórza i od majdanu oddzielony był fosą, której pozostałości do dzisiaj możemy oglądać. Znajduje się tam także krzyż żeliwny i obelisk upamiętniający krwawe dni sierpnia 1409 roku.
