amek zbudowany został przez Zakon św. Jana Jerozolimskiego zwany joannitami z początkiem XIV wieku i był jedynym ich zamkiem na Pomorzu Gdańskim. Wzniesiono go na wzgórzu nad rzeką Wietcisą. Budowla składała się z trzech budynków. Trzykondygnacyjny budynek główny zwany zamkiem wysokim z dwoma basztami, kamienicy zwanej zamkiem średnim i budynku gospodarczego. Całe złożenie otoczone było murem obronnym i suchą fosą. U stóp zamku znajdowało się podzamcze a na nim stała karczma, browar, młyn, kuźnia. 
  W 1370 roku miasto wraz z zamkiem kupuje zakon krzyżacki za sumę 10 000 grzywien.
  W 1466 roku zamek przeszedł pod polskie panowanie i był siedzibą starostów skarszewskich. Podczas wojny polsko - szwedzkiej tzw. "potopu" w 1629 roku zamek został częściowo zniszczony. W czasie odbudowy przeprowadzonej na przełomie XVII i XVIII wieku zlikwidowano jedno piętro w zamku wysokim. Zamek średni przez okres rządów starostów służył jako siedziba sądu i administracji a także przechowywano w nim dokumenty grodzkie.
  Po 1772 roku gdy założenie przeszło w ręce pruskie na zamku wysokim urządzono magazyn solny a następnie zamieniono go na dom mieszkalny. Mniej szczęścia miał zamek średni gdyż na jego fundamentach w XX wieku postawiono inny budynek natomiast budynek gospodarczy do naszych czasów nie dotrwał gdyż został w całości rozebrany w XIX wieku.
 Obecnie oglądać możemy zachowane zamkowe piwnice i mury na wysokość parteru - pozostałość z zamku wysokiego.