amek zbudowany został w latach 1398 - 1405 przez Krzyżaków. Położony na wysokim wzgórzu strzegł granicy państwa krzyżackiego. Była to budowla obronna założona na planie prostokąta (70x50m), otoczona kamienno - ceglanym murem z basztami w narożach. Trzy baszty były okrągłe a czwarta kwadratowa. W północnej części warowni stał budynek mieszkalny tzw. dom zakonny. Wjazd na zamkowy dziedziniec był od strony wschodniej i prowadził przez most zwodzony przerzucony nad fosą a poprzedzało go przedzamcze.
  Zamek został zdobyty przez wojska polskie podczas wojny trzynastoletniej (1454 - 1466) i król polski Kazimierz Jagiellończyk nadał go jak i całą ziemię bytowską dożywotnio księciu pomorskiemu Erykowi II. W rękach ich była ona do śmierci ostatniego księcia z rodu Gryfitów Bogusława XIV (1637 rok).
  W 1560 roku zamek zostaje rozbudowany. Powstaje wtedy nowy budynek zwany Domem Książęcym a później podobny zwany Kancelarią oraz Dom Wdowi (1623 rok). Były to renesansowe zabudowania z wieżami schodowymi. Wzmocniono także obronność zamku wznosząc nowe wały i narożne bastiony.
  Rok 1656 to zniszczenie bytowskiego zamku przez wojska szwedzkie. W ruinę obróciła się wysadzona w powietrze Wieża Prochowa a z  zamkowych budynków pozostały tylko powypalane ściany. Odbudowano wprawdzie zamek lecz nie powrócił on już do dawnej świetności. Miały tam swoją siedzibę potrzebne miastu urzędy jak sąd czy skarbowy, w części były mieszkania dla urzędników a w innym skrzydle magazyny. Później przebudowano zamek na więzienie.
  W 1937 roku remontowano budowlę z przeznaczeniem na siedzibę młodzieży hitlerowskiej lecz wybuch wojny przerwał te prace.
  Dzisiaj na odnowionym zamku znajdują się placówki kulturalno - oświatowe jak np. biblioteka czy muzeum (w najstarszym skrzydle z 1399 - 1404 roku), w innym skrzydle hotel i restauracja.