amek, obecnie zwany "starym zamkiem", zbudowany został w połowie XIV wieku lecz nie wiadomo kto jest jego budowniczym. Jednakże na podstawie prac archeologicznych i znalezisk z lat 1968 - 83 możemy stwierdzić, że pierwotna budowla to kamienna wieża obronna stojąca na środku owalnego dziedzińca otoczona wałem ziemnym i fosą z wodą płynącą z rzeki Soły.
   W późniejszym czasie, od 1467 roku, ziemie te należały do rodziny Komorowskich herbu Korczak. Oni to przebudowali gotycki zamek na renesansowy. Powstał wtedy wysoki mur obronny w miejsce wałów ziemnych, cztery okrągłe wieże a obok istniejącej, kamiennej wieży wybudowano budynki mieszkalne oraz wieżę bramną i most zwodzony.
  W 1569 roku rozpoczęto przebudowę zamku w stylu renesansowym. Z tego okresu pochodzą, otaczające dziedziniec trzykondygnacyjne arkady na każdej kondygnacji inne. Parter to kolumny toskańskie, pierwsze piętro kolumny jońskie natomiast na drugim piętrze to żeliwne słupy z XIX wieku, które zastąpiły poprzednie - drewniane.
 Wnętrza zamku, kiedyś bogato zdobione do dzisiaj nie zachowały pierwotnego wyglądu. Jedynie część sal na drugim piętrze posiada XVIII- wieczne polichromie.
  Od 1624 roku zamek należy do żony Zygmunta III Wazy Konstancji Austriaczki. Otrzymała go jako zastaw od Mikołaja Komorowskiego pod warunkiem spłaty jego długów. Po śmierci królowej Konstancji w 1631 roku zamek i dobra przypadły jej synom. A są to: Jan Albert- biskup krakowski, Aleksander, Karol Ferdynand i Jan Kazimierz. Od 1655 roku jedynym właścicielem zamku zostaje Jan Kazimierz a ostatni jego pobyt na żywieckim zamku miał miejsce w 1669 roku. W 1672 roku umiera.
   Następnym właścicielem zamku jest kanclerz wielki koronny Jan Wielopolski /od 1678 roku/. Następuje kolejna modernizacja i przebudowa zamku. Rozbudowane zostaje drugie piętro a do istniejącej budowli dobudowano część południową obecnego zamku.
  Późniejsi właściciele budowli to Albert Saski - Cieszyński z rodu Wettynów a po nim Habsburgowie - Karol, syn cesarza Leopolda II, Karol Ferdynand - syn Karola, Karol Stefan - syn Karola Ferdynanda i ostatni "pan na Żywcu" Karol Albrecht.
   Zamek otoczony jest pięknym, XVII - wiecznym parkiem z altaną w formie chińskiego domku i kanałem wodnym.
   Niedaleko znajduje się tzw. nowy zamek a jest to zbudowany przez Habsburgów w stylu klasycystycznym pałac obecnie siedziba szkoły średniej.