amek zbudowany został w XIV wieku na miejscu wcześniejszego, XII-wiecznego grodu obronnego, przez zakon krzyżacki. Budowa trwała ponad sto lat. Początkowo postawiono wieżę, murowane skrzydła mieszkalne oraz mury obronne zamku wysokiego. Założenie powstało na planie kwadratu (45x45m), posiadało skrzydła mieszkalne, w trzech narożach czworoboczne wieżyczki a w narożniku północnym dwunastokondygnacyjną wieżę obronną. U podstawy była sześcioboczna a wyżej ośmioboczna z elementami obronnymi. Jej wysokość wynosiła 54 m.Wjazd na zamek prowadził w skrzydle usytuowanym obok wieży.
  W latach następnych powstało skrzydło południowe z kaplicą i refektarzem, później rozbudowano przedzamcze w stronie południowej i wschodniej (w kształcie litery L) a na koniec, około 1415 roku, wzmocniono obronność zamku. Wewnątrz założenia znajdował się niewielki dziedziniec. Przedzamcze służyło do celów gospodarczych tak jak i dolne piętra wszystkich zamkowych budynków.
  Przez trzy lata od 1410 roku zamek, po oblężeniu przez wojska polskie po zwycięskiej bitwie pod Grunwaldem, przeszedł w ich ręce by później powrócić do zakonu krzyżackiego. 
  W 1440 roku Brodnica przystąpiła do nawo powstałego Związku Pruskiego. W 1454 podczas wybuchu powstania zamek został zdobyty przez mieszczan i w ich rękach dotrwał do 1462 roku. Wtedy to warownię zdobyły występujące po stronie zakonu wojska najemne. Pokój podpisany z Krzyżakami w Toruniu w 1466 roku przyznał między innymi Brodnicę Polsce lecz nieopłacone wojska najemnie nie opuściły zamku lecz jeszcze przez trzynaście lat w nim przebywały. Ostatecznie w 1479 roku zamek został przez te wojska opuszczony i przez następne stulecia (do 1772 roku) był siedzibą królewskich starostów.
  Rok 1550 to wielki pożar miasta, który zniszczył także część zamku. Został on jednak wkrótce odbudowany z polecenia Rafała Działyńskiego, który w tym czasie zarządzał majątkiem.
  Wojna ze Szwecją w latach 1655 - 1660 przyniosła znaczne zniszczenie budowli. Zamek nie został już odbudowany i nie powrócił do dawnej świetności.
  Po pierwszym rozbiorze Polski warownię rozpoczęto rozbierać a materiał przeznaczano na inne budowy. W 1842 roku król pruski Fryderyk Wilhelm IV wstrzymał jednak dalszą rozbiórkę i zlecił odremontowanie wieży. Dzięki temu do dzisiaj dotrwał fragment zamku w postaci wieży a także odkrytych w 1939 roku fundamentów i piwnic dawnych budowli. W nich to mieści się obecnie Muzeum Regionalne.