Bezpośrednio przy Rynku Kościelnym znajduje się pozostałość po dawnym grodzisku, którego historia sięga czasów przynależności tych ziem do Rusi Kijowskiej. Jarosław Mądry obwarowując Ruś Kijowską   w XI w wybudował cztery grody nazywając je suraznymi, czyli groźnymi (Fakt ten wiąże się również z lokacją miasta), a jednym z nich jest grodzisko w Surażu. Zostało ono usypane w zakolu Narwi i pierwotnie wznosiło się ponad 10 m nad poziomem rzeki. Otoczone było sztuczną fosą, której pozostałością jest dzisiaj ul.Zamkowa. Wały były wzmacniane warstwą gliny o grubości ok. 50 cm. Brama wjazdowa, chroniona podnoszonym mostem znajdowała się od strony dzisiejszego rynku. W  1553 r miasto Suraż zostaje nadane Królowej Bonie, która przebudowuje grodzisko na zamek. Powstaje wtedy murowana wieża, natomiast co do wyglądu ostrokołu i zbudowań wewnętrznych nie ma żadnych przekazów., wiemy jedynie iż były to konstrukcje drewniane. Prace wykopaliskowe prowadzone w okresie międzywojennym, przyniosły trochę informacji dotyczących wykończenia i wyposażenia obiektu, a zapadlisko części wałów świadczy o istniejących podziemiach. Zamek zniszczony został w czasie potopu szwedzkiego w połowie wieku XVII i nigdy nie został odbudowany. Dzisiaj to już tylko spore wzniesienie z ciągle widocznym układem starego grodziska oraz pięknym widokiem na narwiańskie rozlewiska i łąki.