amek zbudowany został w latach 1288 roku przez zakon krzyżacki u ujścia rzeki Tylży do Niemna. Początkowo zamek zbudowany był z drewna a broniły go drewniano-ziemne wały i głęboka fosa. Pierwszym komturem na zamku był Bertold Bruchawen.
Kilkakrotnie budowlę niszczyły najazdy plemion pruskich czy litewskich lecz za każdym razem zamek odbudowywano. 
  W 1397 roku Wielki Mistrz Konrad von Jungingen powziął decyzję o zbudowaniu murowanych zamków na miejscu drewnianych w Ragnecie i Tylży. Murowany zamek w Tylży zbudowano w latach 1406 - 1409 a jego budowniczych - kamieniarzy sprowadzono z Gdańska. Pierwszy powstał tzw. "Wielki dom", do którego przenieśli się, mieszkający do tej pory w starym zamku, budowniczowie i załoga. Natomiast stary zamek , nie został zburzony lecz stał się zaczątkiem podzamcza. Wokół zamku rozbudowała się osada, która z czasem otrzymała prawa miejskie (1552 rok).
 W maju 1409 roku budowa zamku została ukończona. Na jej "odbiór" przybył sam Wielki Mistrz Ulrych von Jungingen wraz z Wielkim Marszałkiem Fridrichem von Wallenrodem i Wielkim Komturem Kuno von Lichtensteinem.
  W 1537 roku książę Albrecht Hohenzollern przebudował zamek na pałac.