amek z kamienia zbudowany został w 1340 roku na miejscu wcześniejszego grodu obronnego Liwów. Następnie stał tam drewniano - ziemny zamek biskupów ryskich a po nim właśnie ta murowana budowla.  W latach 1561 - 1621 zamek był w granicach Królestwa Polskiego i Wielkiego Księstwa Litewskiego.
  Zamek został zniszczony w 1577 roku podczas wojny polsko-ruskiej.
  W latach 1838 - 1843 na miejscu dawnego zamku zbudowano stojący do dzisiaj kościół luterański.