urowany zamek zbudowany został prawdopodobnie w XIII wieku. W dokumencie z 26 lipca 1377 roku występuje jako "castrum nostrum Goray..". Jest to akt nadania zamku, miasta Kraśnika oraz okolicznych wsi Dymitrowi i Iwanowi z Klecia wystawiony przez Ludwika Węgierskiego. Budowla powstała na wzgórzu nad rzeką Białą Ładą broniącą go od południa, od północnego zachodu znajdowały się bagna a od wschodu - wzniesienia. Do zamku przylegało podgrodzie, znajdujące się po stronie południowej pomiędzy rzeką a zamkiem. Zamek nosił także nazwę "Łada".
  Do 1508 roku zamek należał do rodziny Gorajskich, później do Mikołaja Firleja z Dąbrowicy a od 1517 roku do Wiktora Sienieńskiego. Po 23 latach zamek kupuje Andrzej Górka a w 1579 roku Paweł Trojanowski. Od 1596 roku zamek i całe dobra gorajskie kupuje Jan Zamoyski.
  Ponieważ zmieniający się często właściciele zamku prawdopodobnie nie mieszkali w nim lecz w swoich rodowych siedzibach budowla chyliła się coraz bardziej ku upadkowi. Zarządzający i mieszkający w niej dzierżawcy niezbyt martwili się o jego wygląd i z początkiem XVII wieku po najstarszym na Zamojszczyźnie zamku pozostały tylko sterty kamieni.
  Obecnie na miejscu dawnego zamku stoją zabudowania folwarczne. Może w ziemi kryją się jeszcze fundamenty dawnej warowni lecz prace archeologiczne nie były tutaj prowadzone.