Istnienie rezydencji książęcej w Grabowcu poświadczają źródła staroruskie z 1268 roku, kiedy to przebywał w nim Wasylko, syn księcia włodzimierskiego Romana. Nie zachowały się żadne ślady założenia, dlatego też historycy sądzą na podstawie inwentarza z 1617 roku, iż było ono drewniane, może poza murowaną wieżą mieszkalną stojącą w południowo-wschodnim narożu. Wzgórze zamkowe otoczono wysokim parkanem.
W 1387 roku Grabowiec wraz z całą ziemią bełską został przyłączony do korony, a rok później otrzymał go we władanie książę mazowiecki Ziemowit IV. Po śmierci księcia w 1462 roku i włączeniu do Korony Grabowiec był miastem królewskim oddawanym starostom w dzierżawę. Pierwszym znanym starostą był Paweł Jasieński herbu Poronią, który zarządzał starostwem w latach 1473-1476.
pierwszej połowie XVII wieku zamek popadł w ruinę i dopiero w latach 1655-58 odbudował go po uchwale sejmowej starosta Stanisław Sarbiewski. W XVIII wieku rezydencja zaczęła stopniowo popadać w ruinę, dlatego król Stanisław August w 1765 roku nakazał jego odbudowę, lecz ostatecznie do niej nie doszło, a ruiny zamku zostały rozebrane po 1807 roku gdy miasto znalazło się w rękach Feliksa Radziejowskiego. W roku 1968 i 1971 na terenie ruin przeprowadzono badania archeologiczne lecz nie przyniosły one danych umożliwiających odtworzenie układu przestrzennego zamku.
Opisanie Zamku Grabowieckiego przez Andrzeja Świdnickiego po śmierci starosty Jakuba Leszczkowskiego a przed objęciem urzędu starosty przez Stanisława Sarbiewskiego 29 V 1640 roku
Naprzód sień. Izba sądowa z oknami i szybami wołowymi ,z piecem zielonym, ze drzwiami i z wrzeciądzem, skoblami i zawiasami żelaznymi. Podle tej izby, którą nazywają Stołowa Izba ze dwojga drzwiami, z piecem, z wrzeciądzem, ta niedobra.
W tem sionka i Izdebka, która... ze drzwiami, wrzeciądzami z oknami komórka, z tej Izdebki z piecem. W tem sioneczka i Izdebka, którą białogłowską zowią... niedobr, piec zły, okna takież. W tem za tą Izdebką, którą kartenną zowią za drzwiami i wrzeciądzem. W tem za tą Komorą sień, w której kuchnia, Izdebka kuchenna, piekarnia niedobra, Komora za nią alkierz zaraz nastąpi. W tem podle tej Komorczyny loch podmurowany, pusty. W tem na tem lochu Komora z czegoś starego zbudowana. W tem kancelaria z błonami widzenia?, ze drzwiami, z piecami. Komórka z tejże Kancelarii ze drzwiami, sionka przed nią.
W tem brama od Pasieki... od lasu, w którym pasieka, z wrotami, Komora na niej zamierzysta i strzelista. Most przed bramą zły, w tem Baszteczka nowa, w której komora na Xsięgi tak ziemskie grabowieckie jako też horodelskie, grodzkie i grabowieckie. Na tej komorze komora zamierzysta na wierzchu przed tym tam leży wieża. W tem Baszta, pod którą Furta, którą do miasta wychodzą ze drzwiami. Na Furcie komora z drzwiami. Nad komórką Strzelnica ze drzwiami. W tem Baszta narożna między pokojem ze białogłowską izdebką, zakos?niżej...
W tem wszystkim budowaniu tylko stół jeden mały i zły został. A tameczny burgrabia dał wiadomość, iż do Miączyna pobrano... wzięto i trzy małych pojedynkowych zydli... którą przed postem stawał?W tem stajnia z chrustu, słomą nakryta z wrotami i żłobami. Około tego wszystkiego zamku parkanu nie masz.ale... staw pod Zamkiem był kiedyś teras...
Opis Zamku Grabowieckiego z 19 IX 1765 roku
Zamczysko stare na Górze nad Miastem w Wałach Starych opadłych,na którym Zamczysku Sklep,gdzie conservat Archivum Xsiąg Ziemskich y Grodzkich murowany,lecz się ten Mur znacznie porozpadał,a na Xsięgami na Wierzchu Wieża.Obok tego Sklepu Rezydencja Drewniana o Dwóch Pokojach y Sali Trzeciej,gdzie JW Jm P. Starosta czasem ziechawszy rezyduje.ex opposito tej Rezydencji kuchnia z Izdebką dla Ludzi.Za tym Zamczyskiem Staynia z Wozownią Chrościana.
