udowę murowanego zamku rozpoczęto na przełomie XIV i XV wieku. Miejsce pod zamek wybrano na wysokiej 30-to metrowej skarpie nad rzeką Niemen. Wcześniej, bo od II wieku była tutaj obronna osada tzw. grodzisko o wymiarach 100x50 m. Umocnione więc już wzniesienie wybrano pod budowę nowego założenia obronnego. Zaczęto stawiać wieżę obronną lecz po klęsce Krzyżaków pod Grunwaldem zaprzestano budowy gdyż uznano, że zagrożenie najazdami krzyżackimi ustało.
  Do dnia dzisiejszego pozostała rozpoczęta i nigdy nie ukończona część wieży obronnej.
  Istnieje także taka hipoteza (Michał Baliński "Starożytna Polska" 1846 r.), że zamek został jednak wybudowany lecz w 1381 roku wyprawa krzyżacka pod wodzą wielkiego marszałka zakonu Kuno Hattensteina zniszczyła go. Tak bowiem w krzyżackiej kronice opisuje ową wyprawę niejaki Wigand:
  "Wyprawa krzyżacka roku 1381, pod dowództwem Wielkiego marszałka zakonu Kuno Hattensteina i Wielkiego Komtura, przebywszy krainę litewską Wejgow (na południowy wschód Kowna w trakcie zaniemeńskim leżącą), przybyła do powiatu Łaukiskiego i uderzyła na zamek Nawenpil, do którego bombardami zaczęła szturmować. Litwini w liczbie 3000, przerażeni ognistymi strzałami z tych bombard, to jest dział, które Krzyżacy pierwszy raz w te strony przyprowadzili, poddali się na łaskę z żonami i dziećmi. Krzyżacy zamek ten spalili".
  Możliwe, że jest tu mowa właśnie o zamku w Liszkowie.