amek zbudowany został z końcem XIII lub na początku XIV wieku przez rodzinę Czarnkowskich herbu Nałęcz. Ziemie te otrzymali od księcia wielkopolskiego Przemysława II około 1280 roku. Lecz jest wcześniejszy zapis z 1245 roku, w którym to Bolesław Wstydliwy nadaje ziemie "...od tej Długiej Góry, która poza wsią Małogoszcz odchyla się prosto z tej strony do źródła rzeczki, która płynie do miasta Szlopa... Sędziwojowi Czarnkowskiemu. Nadanie to potwierdził późynie Władysław Łokietek (1323), Zygmunt Stary (1546) oraz Zygmunt August (1548). Ziemie te zwano także "Czarnkowszczyzną". Przez pewien czas w wieku XIV właścicielami ziem i zamku była rodzina Wedlów podległa Marchii brandenburskiej. Król Polski Kazimierz Wielki w 1368 roku po zdobyciu miejscowości oddał ją w ręce Czarnkowskich. Początkowo zamek był budowlą ziemno - drewnianą a w późniejszym czasie zastąpiła ją budowla murowana otoczona murami i fosą.
  W 1406 roku miał miejsce najazd wojsk krzyżackich i zamek został zdobyty a następnie zniszczony. Nie odbudowywany niszczał i obecnie nie wiele z niego pozostało. Pomimo, że w późniejszych wiekach ziemie te należały do możnych rodów takich jak Gębiccy, Naramowscy czy Sułkowscy niszczejący zamek nie był remontowany.