amek w obrębie miasta zaczęto budować w 1339 roku za panowania księcia pomorskiego Bogusława V. Jednakże mieszczanie obawiający się ograniczenia swoich praw i wzmocnienia władzy książęcej wymogli na nim wstrzymanie budowy. Także w 1392 za panowania Warcisława VII nie udało się dokończyć budowli. Dopiero w 1507 roku książę Bogusław X mógł dokończyć zaczętą budowę. Powstał wtedy dwukondygnacyjny, podpiwniczony budynek mieszkalny na planie prostokąta oraz obronna wieża od strony miasta a całość włączona była w system obronny miasta. Jako zabudowania gospodarcze wykorzystano budynki poklasztorne i kościół (służył za spichlerz) z wypędzonych przez mieszkańców Słupska z początkiem XVI wieku zakonu Dominikanów.
  W 1590 roku za panowania księcia Jana Fryderyka przebudowano zamek  Główny budynek podwyższono o jedną kondygnację, otynkowano a całość ozdobiono w stylu renesansowym. Powstały także nowe budynki gospodarcze takie jak browar, stajnie, piekarnie czy kuchnie.
  Po śmierci Jana Fryderyka jego żona Erdmuta odremontowała dawny kościół i w części urządziła w nim kaplicę zamkową. Drugą część kościoła, który został przedzielony murowaną ścianą dalej wykorzystywano na cele gospodarcze. Później zamek należał do księżnej Anny Croya po jej śmierci (1660 rok) do Ernesta Bogusława de Croy ostatniego z pomorskiego, książęcego rodu Gryfitów. Po nim zamek przeszedł w ręce rodziny Hohenzollern.
  W tym okresie zamek posiadał około 90 pomieszczeń, cztery wielkie sale, salę rycerską, marmurowe posadzki i kominki (z czarnego, białego i czerwonego marmuru), sale obite były atłasem, złotą skórą oraz flandryjskimi oponami. Było wiele ozdób i drogich przedmiotów a także bogata biblioteka. Część z nich zostało sprzedane a część wywiezione do Berlina na polecenia księcia Fryderyka Wilhelma I w 1731 roku. Zamek zamieniono na wojskowy spichlerz.
   XIX wiek to przebudowa zamku. Dobudowano czwarte piętro, obniżono wieżę, dawne sklepienia kolebkowe z lunetami zamieniono na drewniane stropy. W latach 30-tych XX wieku wyburzono mur obronny oraz zlikwidowano założone w 1620 roku ogrody zamkowe.
  Koniec drugiej wojny światowej to pożar zamku. 
   W latach 1958 - 1965 zamek został odremontowany i przywrócono mu XVIII wieczny wygląd. 
  Obecnie w zamku mieści się Muzeum Pomorza Środkowego.