Architektura zamku Lipowiec zapiera dech w piersiach. Jest to potężna i monumentalna budowla, o grubych murach i małych oknach. Spacerując korytarzami obecnej ruiny widzimy małe pomieszczenia i kraty w oknach- pozostałości po więziennym przeznaczeniu budowli. Wieża, czterokondygnacyjna, 30 metrowa o owalnym kształcie, była początkowo donżonem, czyli budowlą połączoną tylko z zamkiem i służyła przede wszystkim obronie. Donżony, to tak zwane „ostatnie punkty obrony”. W XV wieku została połączona z całością bryły. Została również „unowocześniona” na tamte realia, czyli przerobiona tak, aby spełniała wymogi militarne. Niestety, do dziś nie zachowała się ostatnia kondygnacja wieży. Możemy tylko zobaczyć pozostałości wsporników. Z legend krążących wokół tego zamku najbardziej znana jest ta, która opowiada o rzekomej ucieczce Franciszka Stankara z Lipowca (jeszcze z czasów gdy zamek był więzieniem). Podobno zakochana w nim córka strażnika, przynosiła mu sznury, które uciekinier splótł ze sobą i zjechał po nich z okna.
