Trójskrzydłowy, piętrowy zamek Wedlów-Tuczyńskich ma kształt podkowy otwartej na północ. Trzy naroża budowli, poza południowo-zachodnim, wzmacniają cylindryczne baszty nakryte dwoma hełmami baniastymi i jednym stożkowym. Pierwsze spojrzenie kieruje się na najstarsze skrzydło wschodnie, powstałe w XV w. z przebudowanego zameczku gotyckiego. Jego delikatny kontur wygląda z daleka jak... oklejony tapetą. W istocie elewację budowli zdobi typowe dla włoskiego renesansu sgraffito, bardzo rzadko występujące w północnej Polsce. Do wnętrza budynku prowadzi kunsztowny portal. Pozostałe skrzydła dobudowano na początku XVII w. - centralne wyróżnia się kształtnym ryzalitem, a zachodnie wysokim dachem naczółkowym. Wewnętrznego dziedzińca strzegą stare armaty.

Zamek przechodził różne koleje losu. Przydawano mu barokowego blichtru, niszczał, mieścił szpital Caritasu, był bombardowany, eksplodowała zgromadzona pod nim amunicja, aż w końcu w 1947 r. niemal doszczętnie spłonął. Zrujnowany obiekt przejęło Stowarzyszenie Architektów. Budowli przywrócono renesansowy wdzięk i zaadaptowano ją na hotel. Ale nawet osoby, które nie szukają noclegu, powinny koniecznie zajrzeć do wnętrz zastawionych oryginalnymi meblami gdańskimi (najmłodsza szafa ma "tylko" 200 lat), obejrzeć ozdobne kominki albo gotyckie lochy. Na zamkowy teren prowadzi barokowa brama, obok stoi parterowa kancelaria z XVIII w., zwana kurią. Od szosy przejazdowej zamek oddziela fosa (mająca dawniej 25 m szerokości) i fragment muru obwodowego z granitowej kostki, wsparty dwiema narożnymi basztami.