amek zbudowany został w XIV wieku przez króla Kazimierza Wielkiego na wyspie na rzece  Prośnie. Jest także druga wersja jakoby budowniczym zamku był Bartosz Wezenborg -starosta z Odolanowa w 1382 roku.
  Założenie składało się z murowanego, trzykondygnacyjnego budynku mieszkalnego postawionego na podmurówce z kamieni a w narożach wzmocnionego przyporami. Jego wymiary to 11x30 metrów. Całość otoczona była drewnianą palisadą. Prawdopodobnie cała budowla nie została nigdy ukończona. Z czasem następowało jej zniszczenie i w 1781 roku na gruzach zbudowano pałac. Jego budowniczym był Efraim Szreger a postawił go dla opata Lubińskiego Kazimierza Lipskiego. Jest to dwukondygnacyjny budynek przykryty dachem mansardowym, który przylega do ściany prezbiterium kościoła. Wewnętrzny wystrój pałacu powstał w latach 1790 - 1793. Można przypuszczać, że część dawnego zamku znajduje się w budynku pałacowym.
  W swojej historii zamek miał kilku właścicieli. Byli nimi między innymi Wacław Ostroróg kasztelan kaliski, następnie rodzina Marszewskich herbu Rogala, później rodziny Mycielskich i Lipskich herbu Grabie.