ie jest znana dokładna data powstania zamku. Najprawdopodobniej już za czasów panowania Henryka Brodatego /1163 - 1238/ wzniesiona została obronna budowla drewniana. Opierając się na kronikach Jana Długosza wymienia on kasztelana sądeckiego Piotra Wydżgę jako zarządzającego zamkami w Czorsztynie, Łącku i Rytrze. Kasztelanem był on w latach 1243 - 1255. Pierwszy oficjalny dokument, w którym jest mowa o zamku w Rytrze pochodzi z 17 kwietnia 1312 roku i jest to dokument zezwalający klasztorowi klarysek ze Starego Sącza na pobieranie cła "proper castrum Ritter". Wielce prawdopodobne jest, że murowany zamek wybudował książę czeski Wacław - założyciel w latach 1292 - 1298 Nowego Sącza.
   W skład budowli wchodził zamek właściwy usytuowany na szczycie wzniesienia i podzamcze. Od południa znajdował się dwudzielny budynek mieszkalny dalej dziedziniec a od strony zachodniej stała wysoka, kamienna, okrągła wieża o średnicy dochodzącej do 10 metrów. Kamienne mury obronne otaczały założenie. Wjazd prowadził przez bramę będącą w murze wschodnim. Natomiast podzamcze broniły wały ziemne. Tak wyglądał zamek po przebudowach, które miały miejsce za rządów kolejnych starostów sądeckich. Nie jest znana dokładna ilość właścicieli tejże warowni ani czas kiedy zamek popadł w ruinę. Jedni skłaniają się do roku 1657 kiedy to miał miejsce najazd Rakoczego na te ziemie i liczne związane z tym faktem zniszczenia, a drudzy podają za przykład Marcina Bielskiego i jego "Sejm niewieści" wydany w 1567 roku gdzie wspomina o starych murach upadłego zamku w Rytrze. Różnica ponad stu lat a gdzie prawda - niewiadomo.
    Mimo, że zamek nie był wielką budowlą gościł w swoich murach wiele znanych i znakomitych ludzi. I tak zatrzymują się tu:
    -  w 1369 roku  król Kazimierz Wielki w drodze na Węgry,
    -  w 1385 roku Jadwiga wraz z narzeczonym Władysławem Jagiełłą i Wielkim Księciem Litewskim Witoldem,
    -  w 1412 roku Władysław Jagiełło z żoną Anną,
    -  w 1471 roku Kazimierz Jagiellończyk.
   Do dzisiaj z zamku pozostały fragmenty murów obronnych i kamiennej wieży.