amek zbudowany został za czasów Kazimierza Wielkiego na prawym brzegu rzeki Brdy. Data jego powstania to prawdopodobnie 1337 rok kiedy to miasto przeszło z rąk zakonu krzyżackiego w ręce polskie. Jest także druga data 1343 po zawarciu z zakonem pokoju kaliskiego. Bydgoszcz była w tym czasie prawie miejscowością graniczną a dokument lokacyjny miasta z 1346 roku mówi o mieście obok "castrum". Nazwa ta od końca XIII wieku przypisywana była budowli kamiennej tak więc sądzić można, że nazwa odnosiła się do istniejącego już zamku. 
  Od 1362 roku w zamku miał swoją siedzibę miejski starosta oraz znajdowały się w nim urzędy administracyjne i sądownicze.
  Budowla wznosiła się na sztucznym nasypie i w miejscu gdzie wcześniej znajdował się gród obronny zniszczony przez Krzyżaków w 1330 roku. Założona na planie czworoboku (40x50 m.) miała trzy skrzydła mieszkalne, trzykondygnacyjne zakończone dachem dwuspadowym. Wewnątrz znajdował się dziedziniec (35x14 m) a stronę wschodnią zamykał mur kurtynowy. Poprzedzało go przedbramie z bramą wjazdową.W trzech narożnikach stały masywne, pięciokondygnacyjne wieże obronne ze strzelnicami w dwóch rzędach zakończone czterospadowym dachem. Całość otoczona była jeszcze murem obronnym grubym na około 1,5 metra oraz fosą.
  Po śmierci Kazimierza Wielkiego zamek przechodzi na jego wnuka, księcia słupsko - szczecińskiego Kazimierza zwanego "Kaźkiem". Ten umiera na zamku w 1377 roku z powodu odniesionych ran przy oblężeniu Złotoryi i teraz nowym jego właścicielem zostaje książę opolski Władysław. 
  Rok 1390 to powrót zamku pod władanie królewskie.
  Podczas wojny polsko - krzyżackiej w latach 1409 - 1411 zamek dostaje się bez walki w ręce krzyżackie w 1409 roku. Prawdopodobnie uznawany za jeden z większych i obronniejszych zamków nie był wcale przygotowany do obrony. Brakowało w nim zapasów żywności jak i amunicji czy dział (jedynie dwa działa na kamienne kule !!). Wydarzenie to miało miejsce w sierpniu a już we wrześniu Władysław Jagiełło z polskim wojskiem oblega warownię. W zamku broni się 42 rycerzy krzyżackich a zamek oblega kilka tysięcy wojska polskiego. Rycerze zakonni bronią się przez osiem dni i dopiero zniszczenie murów przez artylerię przynosi zdobycie twierdzy. W szybkim czasie następuje naprawa uszkodzonych partii zamku i dalej służy on do obrony.
  Za czasów Władysława Warneńczyka (1441 r.) zamek zostaje zastawiony na poczet długów i zasiadają na nim królewscy wierzyciele.
  Z końcem XV wieku zamek zostaje stopniowo opuszczany przez swoich mieszkańców i nie remontowany zaczyna popadać w ruinę. Wprawdzie w XVI wieku rozpoczęto jego remont i starostwo miejskie przeznaczyło na ten cel pewną kwotę pieniędzy lecz nie było to wiele i zamek odremontowano tylko częściowo.
  Lata 1635 - 1650 to odbudowa bydgoskiej twierdzy przez starostę bydgoskiego Jerzego Ossolińskiego. Powstały wtedy znienme fortyfikacje bastionowe, które otoczyły dodatkowo zamek.
  Podczas wojny polsko - szwedzkiej zamek przechodził z rąk do rąk. Raz Polacy, raz Szwedzi, znowu Polacy i ponownie Szwedzi wszystko to sprawiło, że zamek był w coraz gorszym stanie. Ostatecznie podczas odwrotu Szwedów zamek został wysadzony w powietrze ( nie wiadomo czy zrobiono to celowo, czy stało się to przez przypadek).
  Po pierwszym rozbiorze Polski (1772 rok) pozostałe zrujnowane mury zostały rozebrane a materiał wykorzystano do innych celów budowlanych.
  Resztki murów rozebrano z końcem XIX wieku.
  We wrześniu 2008 roku podczas prac ziemnych przy ulicy Grodzkiej odkryto fundamenty wieży zamkowej. Więcej o tym fakcie można przeczytać tutaj.