Autor przewodnika po polskich zabytkach, napoleoński żołnierz i literat, Amilkar Kosiński, pisze o widmowej mieszkance pałacu:   W zamku książąt Sułkowskich w Rydzynie, raz do roku w noc z pierwszego na drugiego listopada pojawia się zjawa młodej kobiety w bieli. Cicho przesuwa się przez ciemne korytarze i uśpione komnaty i wchodzi do zamkowej kaplicy. Jakoż daje się słyszeć dźwięk dzwoneczka i z przeciwległych drzwi wychodzi kościotrup w żałobnym ornacie, przy nim dwóch ministrantów w ciemnych pelerynkach. Ksiądz-upiór w asyście równie straszliwych ministrantów odprawia mszę, której słucha klęcząca dama. Gdy odchodzi od ołtarza, dama zrywa się z klęczek i podbiega do niego wyciągając błagalnie ręce, a on odtrąca ją mówiąc, że czas jej pokuty jeszcze się nie skończył. Wybija na zamkowym zegarze godzina pierwsza i wszystko znika.   A inny, współczesny mu autor pamiętników - Kajetan Koźmian wspominał, że w zamku rydzyńskim jest pokój, w którym nikt nie odważy się spędzić nocy, gdyż (...) słychać jakby daleki brzęk łańcuchów, jęki jakieś i żałosne westchnienia.   Zofia Starowieyska-Morstinowa, w ciekawym felietonie poświęconym Rydzynie i jej właścicielom Sułkowskim, tak oto pisała o zamkowym duchu: Wielu widziało ją (białą damę) na własne oczy, spacerującą po korytarzach pałacu. Pamiętam jeszcze z dzieciństwa takich, którzy białą damę spotykali, znałam i takich, którzy na jej widok przez okno pałacu w noc ciemną uciekali (...)   W latach powojennych, gdy pałac stał w ruinie, nikt nie widywał jego widmowej mieszkanki - może dlatego, że nocą nie odwiedzano opuszczonego gmachu. A swoją drogą ciekawe, czy rydzyńskie widmo ukaże się kiedyś zdumionym oczom ludzi tak trzeźwo patrzących na świat, jak członkowie Stowarzyszenia Inżynierów i Mechaników Polskich?

Warto wybrać się do Rydzyny wiosną, gdy zamkowy park przystroi się w zieleń i kwiaty. Dodatkową atrakcją dla zwiedzających zamek jest muzeum, w którym zgromadzono wiele eksponatów i pamiątek związanych z przeszłością zamku i osobami jego kolejnych posiadaczy. Warto również zwiedzić samo miasto o starej, zabytkowej zabudowie z okresu późnego baroku: rynek z ratuszem z 1752 roku, domkami z połowy XVIII wieku i kamienną figurą z 1760 roku; kościół parafialny oraz kościół poewangelicki z XVIII wieku.