amek zbudowany został w 1259 roku przez księcia kujawskiego Kazimierza I ojca Władysława Łokietka. Budowla miedzy innymi miała strzec drogi prowadzącej z Inowrocławia do Gniezna. Z końcem XIII wieku zamek należy do rodziny Leszczyców. Jest to budowla postawiona na planie kwadratu z ceglano - kamiennym murem obronnym posiadająca drewniane i murowane budynki.
  W 1332 roku zamek jako jedyny na Kujawach zdołał odeprzeć krzyżackie oblężenie.
  W wieku XV zamek został rozbudowany i wzmocniono jego obronność. Powstała wieża bramna poprzedzona zwodzonym mostem przerzuconym nad fosą z wodą. Wtedy to właścicielem zamku był generalny starosta Wielkopolski - Tomasz z Kościelca. W późniejszym czasie postawiono jeszcze dwa budynki - skrzydło zachodnie pod koniec XV wieku i północne z początkiem wieku XVI.
  Rok 1631 to sprowadzenie do Pakości zakonu reformatów przez ówczesnych właścicieli ziem rodzinę Działyńskich. Dla ich potrzeb darowują ojcom zamek, który zostaje w kolejnych latach stopniowo przebudowany na klasztor. W 1637 powstaje w jednym ze skrzydeł kościół pod wezwaniem św. Bonawentury a następnie klasztorne budynki.
  Za pruskiego panowania następuje kasata zakonu i księża musza opuścić klasztor. Wracają do niego dopiero w latach siedemdziesiątych XX wieku i obecnie klasztor należy do zakonu franciszkanów. W zabudowaniach można znaleźć pozostałości dawnego zamku.