amek zbudowany został w początku XV wieku. Nie bardzo wiadomo kto jest jego budowniczym choć przypisuje się to kilku rodzinom. 
  Również nie ma zgodności co do pierwotnego wyglądu zamku. Na pewno był tam murowany budynek mieszkalny z bramą wjazdową i drewniane budynki gospodarcze otoczone murem obronnym.
 Wiadomo natomiast, że w 1460 roku jego właścicielami była rodzina Poddębskich  a od 1518 roku Grudzińskich. Jeden z nich Andrzej
sprowadził do swoich włości zakon Reformatorów i w 1651 roku rozpoczął budowę klasztoru w obrębie zamku. Kilka lat później rozbudowano siedzibę zakonu i średniowieczny zamek został częściowo wchłonięty przez klasztorne zabudowania. W rękach zakonu reformatorów klasztor był do 1861 roku. Po tym okresie zabudowania zostały przejęte przez skarb państwa. W 1900 roku klasztor wystawiono na sprzedaż i kupiła go gmina lutomierska a następnie przekazała diecezji kujawsko - kaliskiej.
  Pierwsza wojna światowa przyniosła duże zniszczenia kompleksu i dopiero w 1925 roku postanowiono odbudować założenie. Prace trwały cztery lata a w odnowionej budowli urządzona sierociniec i zakład wychowawczy. W tym czasie zabudowania były własnością ojców Salezjanów.
  Podczas drugiej wojny światowej w klasztorze były niemieckie koszary a także magazyny zbożowe oraz z częściami do niemieckich samolotów.
  W 1951 roku pożar zniszczył zabudowania lecz około dziesięć lat później przystąpiono do ich remontu i odbudowy.
  Pozostałości starego zamku znajdują się w południowym skrzydle gdzie dostrzec można zamurowaną bramę wjazdową a także ślady gotyckich okien.
  Obecnie mieści się tutaj m. in. Salezjańska Szkoła Muzyczna.