amek zbudowany został w latach 1280 - 1300 przez zakon krzyżacki. Była to budowla składająca się z kamiennego budynku mieszkalnego, czteroskrzydłowego z wewnętrznym dziedzińcem i narożnymi basztami, w których to skrzydłach znajdowały się między innymi pomieszczenia dla rycerzy, komtura, kaplica, refektarz. Wjazd prowadził przez bramę umieszczoną w północnym skrzydle a poprzedzoną mostem zwodzonym nad fosą. Całość otaczał niezbyt wysoki mur obronny. Zamek posiadał także podzamcze, które również otoczone było murem i szeroką fosą.
  Zamek był siedzibą komturów zakonnych. Ostatnim komturem papowskiego zamku był w 1421 roku Mikołaj Schatz von Eberstetten. Później na zamku mieli swoją siedzibę zakonni wójtowie.
   Wojna polsko - krzyżacka spowodowała, że zamek zmieniał często swoich mieszkańców. Raz byli to rycerze zakonni następnie wojska polskie. Ponownie wrócił do Krzyżaków w 1458 roku aby w niedługim czasie zostać zdobytym przez Polaków. Podczas szturmu zamek został częściowo zniszczony. Po pokoju toruńskim w 1466 roku ziemie wraz z zamkiem powróciły do Polski. Zniszczona budowla oraz wieś została podarowana biskupom chełmińskim w początku XVI wieku i była ich siedzibą do 1772 roku kiedy to po rozbiorze Polski ziemie dostały się w pruskie ręce. Odebrany biskupom zamek popadał w coraz większą ruinę i obecnie możemy oglądać pozostałości głównego zamku w resztkach murów (skrzydła zachodnie i wschodnie), fragmentach fundamentów (skrzydło południowe) i najlepiej zachowane skrzydło północne.