Po zamku chodzi duch Białej Damy. Prawdopodobnie jest to hrabina Gizela von Gaschin, która zmarła w 1811 roku. Wtedy to 29 marca, w skrzydle zamku gdzie mieściła się jej sypialnia wybuchł pożar. Ucieczka przez ogarniętą płomieniami klatkę schodową nie była możliwa i hrabina przypomniała sobie o tajnym przejściu prowadzącym do zamkowych podziemi. Zdążyła zabrać ze sobą najcenniejszą rzecz jaką posiadała a mianowicie podarowaną przez małżonka, Leopolda w dniu ślubu złotą kaczkę siedzącą w srebrnym gnieździe na 11 wypełnionych dukatami, złotych jajkach. Na drugi dzień, w odległości kilku kilometrów od zamku odnaleziono nieprzytomną hrabinę lecz złota kaczka prawdopodobnie pozostała w podziemiach. W dniu kiedy zostanie odnaleziona, według legendy zamek w Toszku powróci do swojej dawnej świetności.