Dwór belmoncki usytuowany był na półwyspie długości dwóch i pół kilometra, wcinającym się w jedno z najpiękniejszych jezior Brasławszczyzny — Drywiaty. Położenie tej rezydencji było więc wyjątkowo piękne.
Przed kilkoma wiekami Belmont nazywał się Dwór Olgierdowszczyzna, a następnie, przeszedłszy w posiadanie Achremowiczów, od ich nazwiska — Achremowce . Po nich kolejnymi dziedzicami byli Salmanowiczowie h. Szaszor, z których Dominik, chorąży petyhorski w 1748 r. sprzedał te dobra Janowi Augustowi Hylzenowi (1702—1767), wojewodzie mińskiemu, pochodzącemu ze spolonizowanej rodziny inflanckiej, oraz jego małżonce Konstancji z Broel-Platerów. Posiadając już w Inflantach otrzymaną w spadku wielką majętność Dagda, Jan August Hylzen, poza Belmontem, nabył jeszcze kolejno szereg innych kluczy, w tym Oświej od Sapiehów, stając się w końcu jednym z najbogatszych ludzi na dawnych północno-wschodnich ziemiach Rzeczypospolitej.
Jan August Hylzen, kronikarz rodzinnych Inflant, miał dwóch synów: Józefa i Justyniana. Młodszy, Justynian, generał major wojsk koronnych, odziedziczył dobra rodowe Dagdę i Tulenmujżę. Natomiast Belmont i szereg innych kluczy dostał starszy syn Józef Jerzy (1736 — 1786), wojewoda mścisławski, działacz wolnomularski, żonaty z Teresą Potocką . W swym zasługującym na uwagę testamencie z 1783 r. polecił on „uwolnić wieczyście poddanych wszystkich dóbr moich, nadając im wolność wyjścia i udania się dokądby chcieli z całą ich własnością. Łożyć regularnie wiecznymi czasy połowę dochodów wszystkich dóbr moich na pomożenie i zachęcenie nauk i kunsztów, na edukację ubogiej szlachty, na utrzymanie ludzi w potrzebie zostających, na erekcyją szpitalów, także na wspomożenie biednych wieśniaków w ubóstwie lub nieszczęściu zostających”. Zalecenia testamentu nie zostały jednak wykonane, z czego wynikł później głośny w pierwszej połowie XIX w. proces, w czasie którego roszczenia swe zgłosił również Uniwersytet Wileński . Ponieważ jedyny syn Józefa Jerzego umarł jako dziecko, spadkobiercą jego stał się także jedyny syn brata Justyniana, upośledzony umysłowo Idzi Hylzen (zm. ok. 1800), ostatni potomek rodu w Polsce. Z małżeństwa z Marią Mostowską nie pozostawił on żadnego potomstwa.
W 1798 r. Idzi Hylzen sprzedał klucz belmoncki za kwotę 40 676 rbs. Mikołajowi Manuzziemu (zm. 1809), słynnemu awanturnikowi i targowiczaninowi, owdowiałemu po słynnej z także barwnego życia Jadwidze ze Strutyńskich, zamężnej 1° voto za Janem Ciechanowieckim, bohaterce późniejszych opowiadań i powieści . Prowadząc liczne procesy, „per fas et nefas”, potrafił Mikołaj Manuzzi zgromadzić w swym ręku majątek równy niemal fortunie Jana Augusta Hylzena. Wśród wielu innych kluczy należały do niego Bohiń, Opsa i Łodzie. Swą główną siedzibę posiadał jednak w Belmoncie. Był doskonałym gospodarzem i administratorem, dalekim jednak od szczytnych haseł zawartych w testamencie Hylzena . Po Mikołaju całość dóbr odziedziczył jego syn Stanisław Manuzzi (1773—1823), urodzony ze Strutyńskiej, uważany niekiedy za naturalnego syna Stanisława Augusta, poseł na sejmy, marszałek szlachty pow. brasławskiego i podobnie jak ojciec targowiczanin, żonaty z Konstancją z Platerów (1782 —1874). Także i on doskonale gospodarował. M. in. wprowadził na wielką skalę uprawę specjalnego gatunku lnu. W przeciwieństwie do ojca posiadał jednak poczucie odpowiedzialności społecznej. Jako filantrop i zwolennik oświaty ludu, w 1806 r. zadeklarował ks. Adamowi Czartoryskiemu ogromną na owe czasy kwotę 28 000 rb. na szkółki parafialne, bibliotekę i szkołę dla szlachty. Jego żona natomiast prowadziła w Belmoncie kilka zakładów dobroczynnych .
Podobnie jak ostatni z Hylzenów, także i Stanisław Manuzzi był bezdzietny. Jego posiadłości, na mocy układu rodzinnego, przeszły na najmłodszego brata żony, Ignacego Wilhelma Broel-Platera (1791 —1854), żonatego z Idalią Adelajdą Sobańską, oraz na ich potomstwo. I on był panem wielkiej fortuny, należała bowiem do niego odziedziczona po ojcu Dąbrowica na Wołyniu, Belmont, Pulma i Bohiń, zaś od księcia Eustachego Sanguszki kupił jeszcze jeden spory klucz Lińce na Ukrainie. Przejęcie przez Ignacego Wilhelma Platera Belmontu wywołało jednak prawie stulecie trwający proces, wytoczony przez rodzinę Strutyńskich. Tylko część tych dóbr była bowiem własnością Stanisławowej Manuzzi, druga natomiast jedynie jej dożywociem. Proces skończył się dopiero w 1903 r. przegraną Platerów. Po Ignacym
Wilhelmie, Belmont, Bohiń i Opsę wraz z procesem odziedziczył najmłodszy z jego czterech synów, Feliks Witold Broel-Plater (1849 — 1924), członek Towarzystwa Heraldycznego w Mitawie, żonaty z Elżbietą Potocką h. Pilawa z linii chrząstowskiej (1874—1960), która była ostatnią właścicielką majątku.
Pierwszą wielką rezydencję założył w Belmoncie dopiero Józef Jerzy Hylzen, który tam stale mieszkał. Jak ona wyglądała, nie wiadomo. Pod koniec XVIII w. chyliła się już ku ruinie. Sporządzony w kwietniu 1798 r. z okazji sprzedaży dóbr Manuzziemu inwentarz dowodzi, że pałac w kondygnacji dolnej mieścił 19 pokoi, w górnej 14, w tym sale paradne, a poza tym pokoje „panieńskie”, garderoby i mieszkania kuchmistrzów, kapeli dworskiej, marszałka oraz kancelarię. Obok tych danych można jeszcze dowiedzieć się z inwentarza, że Belmont miał „sklepy”, czyli piwnice do przechowywania trunków, i ogród włoski, a także „poddanych dusz męskich, należących do dworu 233”, sześć karczem, grunty i szereg zabudowań gospodarczych .
Po nabyciu Belmontu przez Mikołaja Manuzziego pałac został starannie odbudowany, a prawdopodobnie także powiększony. Nie wiadomo jednak, kiedy i w jakich okolicznościach popadł ponownie i w ostateczną już ruinę. Według wszelkiego prawdopodobieństwa spłonął po śmierci Stanisława Manuzziego, może w czasie powstania listopadowego. W 1831 r. Ignacy Plater został przez Murawjewa osadzony w fortecy dyneburskiej. Dzięki energicznym zabiegom żony zdołał się wszakże „usprawiedliwić” i mógł powrócić do Belmontu i Dąbrowicy. W 1863 r. Idalia Platerowa z młodszym synem Feliksem bawiła we Włoszech. Po powrocie do kraju potrafiła uzyskać zwolnienie starszego syna Konstantego z zesłania na Sybir i zdjęcie sekwestru nałożonego na majątek znajdujący się na Ukrainie. O duchu panującym w tym czasie w Belmoncie świadczy najlepiej fakt, że oficjaliści tamtejsi, ksiądz i dwaj lekarze z Olgierdowa wzięli udział w powstaniu.
Dzięki trzem rysunkom Napoleona Ordy, wykonanym z natury w 1876 r., kilku fotografiom ruin z okresu międzywojennego oraz informacjom ostatniej właścicielki możemy mieć przynajmniej ogólne pojęcie o tym, jak pałac wyglądał od strony zewnętrznej przed pożarem. Była to więc budowla założona na rzucie niezmiernie rozciągniętego i stosunkowo wąskiego prostokąta, dwukondygnacyjna, z kondygnacją górną przeznaczoną głównie do reprezentacji, a więc wyższą od dolnej. Pałac nie miał widocznej podmurówki, wznosił się jednak na bardzo potężnych, sklepionych piwnicach, które uważano nawet za znacznie starsze od części naziemnej.
Elewacja frontowa pałacu rozczłonkowana była trzema ryzalitami, mocniej występującym trójściennym na osi głównej i dwoma trójosiowymi, płytkimi na obu krańcach. Ryzalit środkowy, zaopatrzony w części piętrowej w pięć ogromnych okien, w stosunku do pozostałej bryły pałacu był nieco podwyższony. Mieścił on na piętrze wielką salę balową, zajmującą całą szerokość budynku. Oba ryzality boczne posiadały niskie drugie piętro. Wystrój zewnętrzny budynku ograniczał się w zasadzie do pojedynczych lub zdwojonych pilastrów. Miejsce wydatnego ryzalitu elewacji frontowej od strony ogrodu zajmował jedynie ryzalit pozorny, zaopatrzony jednak w trzy wysokie portefenetry. Nieco mocniej zaznaczone zostały w elewacji ogrodowej ryzality boczne. Pięcioosiowa lewa elewacja krótsza nie miała żadnych akcentów. W elewacji krótszej prawej występował natomiast potężny półkolisty ryzalit, dobudowany w 1818 r. na pomieszczenie kaplicy. Wszystkie elewacje wieńczyła attyka. Jaki kształt otrzymał dach — nie wiadomo.
Wnętrza pałacu miały prawdopodobnie w całości wystrój bardzo subtelnego rokoka. Świadczyły o tym nieliczne, zachowane do 1939 r. fragmenty dekoracji ściennych. Po pożarze tylko prawa część ryzalitowa, mieszcząca kaplicę, nakryta była dachem. Kaplica posiadała wysokość dwóch kondygnacji. Jej gładki sufit wspierał się na szeregu dziewiętnastowiecznych kolumn. Ponieważ podłoga znajdowała się na wysokości pierwszego piętra, od strony zewnętrznej do wejścia prowadziły wysokie, drewniane schody. Użytkowana przez okoliczną ludność jako kościół, kaplica bez trudu pomieścić mogła do tysiąca osób.
Na temat pałacu belmonckiego z okresu, gdy mieszkali w nim jeszcze właściciele, mamy tylko jedną relację z września 1811 r. Pochodzi ona od słynnego lekarza, profesora Uniwersytetu Wileńskiego, Józefa Franka, wezwanego do łoża chorej pani domu Konstancji z Platerów Manuzzi, czy jak ją na miejscu nazywano „Manuczyny”. Niestety, poza wyrażeniem zachwytu nad „czarującym zakątkiem”, nie wspomniał on słowem ani o pałacu, ani o jego urządzeniu. Ubawiła go natomiast obowiązująca na „dworze” belmonckim etykieta. Obowiązki szambelanów pełniło wtedy kilku z uboższej sąsiedzkiej szlachty. Przyjmowali oni przyjeżdżających gości i przedstawiali gospodarzom. Państwo Manuzzi, używający zresztą tytułu hrabiowskiego, zjawiali się jedynie do obiadu, przy czym służba, w chwili ich zbliżania się do sali jadalnej, otwierała drzwi na oścież. Goście rozmawiać mogli przy stole tylko przyciszonym głosem z najbliższymi sąsiadami. Po wstaniu od stołu biesiadnicy grupowali się w półkole, hrabiostwo zaś podchodzili kolejno do każdego z obecnych z jakimś uprzejmym słowem, po czym wycofywali się do swoich apartamentów. Bywały także koncerty pałacowej orkiestry, podczas których jako chórzystki występowały dziewczęta z prowadzonej przez dziedziczkę Belmontu pensji. Ponadto hr. Manuzzi miał własny „harem”, złożony z chłopców . Wszystko to łącznie z architekturą pałacu naśladować miało życie carskiej rezydencji w Peterhofie. Przy wszystkich owych splendorach i niewątpliwym bogactwie, aby mieć z czego zapłacić lekarzowi honorarium, służba musiała jakoby wyłapać wprzód wszystkie kury chłopskie, zabrać też chłopom niektóre artykuły żywnościowe i sprzedać to wszystko w miasteczku. Dopiero w ten sposób uzyskaną kwotę 400 franków oraz zegarek z repetytorem, wydzwaniającym minuty, wręczono słynnemu wileńskiemu doktorowi . Ale to już raczej zmyślona przez niego złośliwa anegdotka.
W 1860 r. dobra belmonckie obejmowały obszar 55 000 ha. Były one jednak mocno zadłużone. Platerom zabrakło więc środków na odbudowę ogromnych murów dawnej rezydencji Hylzenów i Manuzzich. Poza częścią mieszczącą kaplicę ruiny pozostawiono swemu losowi. Feliks Plater zajął się natomiast energicznie ponownym zagospodarowaniem rozległych dóbr. Za jego czasów położone wśród błot lasy bel- moncko-bohiriskie na całej swej przestrzeni pocięte zostały spławnymi kanałami. Założono całą osadę fabryczną zwaną Platerowem, z apteką, felczerami i trzema ochronkami. Pod ich osłoną kryły się zamaskowane podstawowe szkoły polskie, zakazane przez carat. Wielu okolicznych mieszkańców znalazło dla siebie pracę .
Na swą siedzibę zaadaptowali natomiast Platerowie istniejący już dawniej, położony nie opodal pałacu wielki budynek, służący być może dawniej jako wspomniana pensja dla panien lub administracja. Stopniowo rozrastający się budynek ów mieścił w 1914 r. sześćdziesiąt różnej wielkości pokoi. Od strony zewnętrznej zdobiło go dziesięć bezpretensj onalnych ganeczków. Całość nie reprezentowała jednak żadnego stylu.
Dwór urządzony został pięknymi meblami antycznymi i dziełami sztuki, pochodzącymi częściowo ze starego pałacu. Wśród nich wyróżniały się komplety w stylu Ludwika XVI i em– pire, jak też duże zwierciadła. W pokaźnym zbiorze dzieł sztuki były m. in. „surtout de table” w stylu Ludwika XVI, stare kryształy i świeczniki „bronze dore” polskiej roboty z XVIII w. po Hylzenach i portrety rodzinne. Było też w Belmoncie pięć oryginalnych zastaw stołowych z tacami lustrzanymi i galeryjkami. Istniało w końcu bogate archiwum, sięgające XVI w., typu raczej gospodarczego, zawierające także papiery po Manuzzich, i biblioteka polsko- francuska, licząca około 3000 t., bogata zwłaszcza w dzieła w języku francuskim z drugiej połowy XVIII i początków XIX w. oraz w dzieła historyczne, zebrane głównie przez Ignacego hr. Plater a. Zbiory archiwalne i biblioteczne, uporządkowane i skatalogowane przez prof. Stanisława Ptaszyckiego, dalej cenniejsze meble i zbiory dzieł sztuki zostały w 1915 r. przed nadciągającymi Niemcami wywiezione do Petersburga, skąd nie powróciły. Wszystkie pozostałe na miejscu przedmioty spłonęły wraz z budynkiem. Po 1920 r. właściciel wybudował w innym miejscu już tylko bardzo skromny dworek, który nie zawierał żadnych cenniejszych pamiątek.
Ocalał natomiast aż do 1939 r., choć w stanie na wpół zdziczałym, wspaniały park o powierzchni 62 ha, typu krajobrazowego, który wchłonął w swoim czasie poprzedni ogród włoski. Pozostały po nim wyraźne ślady, m. in. w postaci dwóch obszernych, ziemnych, sztucznie uformowanych tarasów, na których ciągnęły się niegdyś strzyżone szpalery i klomby kwiatowe, a prawdopodobnie stały także rzeźby figuralne. Na skraju tarasu górnego wznosił się zwrócony na wschód pałac, przed którym rozciągał się gazon. Poprzez gazon i taras dolny otwierała się ujęta w ramy starych drzew perspektywa na leżącą jeszcze niżej sadzawkę. Ślady regularnego założenia w postaci innych tarasów i łączących je schodów, jak też alej poprowadzonych równolegle lub prostopadle do pałacu, istniały też w dalszych partiach ogrodu. Późniejszy, rozszerzony park krajobrazowy poprzecinany został kanałami i sadzawkami. Jeden z kanałów zamykał wyspę długości i szerokości ok. 40 m. Druga część parku ciągnęła się po stronie zachodniej pałacu, a także od północy i południa. Wśród lip, klonów, jesionów czy kasztanów oraz innych gatunków miejscowych, spotykało się w ogrodzie belmonckim także drzewa bardziej egzotyczne, w tym modrzewie europejskie i syberyjskie, tuje, jodły syberyjskie i topole włoskie .
Z Belmontem łączyło się wiele legend. Według jednej z nich, w Konstancji „Manuczy- nie” kochał się Joachim Murat, król Neapolu, który w 1812 r. przebywał w pałacu trzy dni.
Romantyczne zwaliska pałacu natchnęły Henryka Skirmuntta do napisania Ballady o Belmoncie. Oto jej fragment:
Szkielet pałacu oczyma martwymi
patrzy na zachód różany,
a wicher północny uderza o ściany,
po parku liśćmi suchymi szeleści
i szepce dawne przedziwne powieści.
A czasem tam widać panią w robronie,
spogląda na burzliwe jeziora tonie
i mówi: list miałam wczora
od króla Stasia z Warszawy …
Nie pomnę … zali niemodna,
nie miła królowi stolica,
że się z Warszawy przenosi do Grodna,
czy może kaprysi caryca? …
Czy on?
Wicher północny uderza o ściany
i zachód dogasa różany …
czymżeś wtedy o pani myślała,
gdy Europy zmieniała się karta,
gdy nad kochankiem korona się chwiała,
aż padła Ojczyzna rozdarta?
Na co ci, pani, kochanie się zdało,
królewskie długie zaloty,
gdy ni królestwa, ni króla nie stało
runął dawny tron złoty?
Szkielet pałacu oczyma martwymi
patrzy na zachód różany,
a wicher północny uderza o ściany,
po parku liśćmi suchymi szeleści
i szepce dawne przedziwne powieści.
Lecz inna postać znów staje w komnacie,
jej szata grecka powiewna,
a postać czarowna i rzewna,
i loki krucze spływają po szacie.
… Czy chabry zakwitły, maki,
czy pędzą gwardyjskie rumaki?
Czy kwiat się czerwieni kąkolu?
Czy ciągnie król Neapolu?
I zanim trąbka zadźwięczy
a cesarz na Moskwę uderzy,
pióropusz u nóg jej leży,
bo przed nią marszałek, król klęczy.
Szkielet pałacu oczyma martwymi
patrzy na zachód różany,
a wicher północny uderza o ściany,
po parku liśćmi suchymi szeleści
i szepce dawne przedziwne powieści.