Najprawdopodobniej Berdówka była gniazdem rodowym Berdowskich h. Mądroski już w XVI w. Nie wiadomo jednak, czy to oni nadali nazwę miejscowości od swego nazwiska, czy też przeciwnie, przyjęli je od nazwy miejscowości. Boniecki wymienia Stanisława Berdowskiego jako chorążego lidzkiego w 1550 r., nie wspomina jednak o posiadanych przez niego dobrach. W późniejszych stuleciach na temat tej rodziny prawie zupełnie brak wiadomości. Dowodzi to, że w życiu publicznym nie odegrała żadnej roli. W herbarzach pojawiają się Berdowscy ponownie dopiero w XIX w. Według Uruskiego , Karol syn Mateusza z synami Stanisławem, Aleksandrem i Karolem oraz Konstanty syn Karola wylegitymowani zostali ze szlachectwa w cesarstwie w 1830 r. i wpisani do ksiąg szlachty guberni wileńskiej. Przy żadnym z wymienionych nie figuruje jednak nazwa Berdówki. W Słowniku geograficznym znajdujemy tylko krótką notatkę, iż w 1865 r. dobra te były własnością Zachwatowiczów, ale bez podania, w jaki sposób i kiedy zostały przez nich nabyte.
Na temat losów Berdówki w drugiej połowie XIX w. istnieją dwie wersje. Według jednej, przytoczonej przez pochodzącego z tych stron Hipolita Korwin-Milewskiego , majątek ów w okresie Powstania 1863 r. należał do niemłodej już panny Berdowskiej, która zmuszona była go sprzedać. Nabywcą został generał-gubernator mohylewski Dębowiecki, jakoby naturalny syn Aleksandra II, którego jeszcze przed urodzeniem zaadoptował odpowiednio opłacony urzędnik — Polak z autentycznymi szlacheckimi papierami. Według wersji drugiej, utrzymującej się w okolicy Berdówki do 1939 r., została ona skonfiskowana Zachwatowiczowi za jego udział w Powstaniu, zaś Dębowiecki dobra te otrzymał z nadania . Pozostaje więc kwestia otwarta, czy panna Berdowska najpierw wyszła za mąż za Zachwatowicza, co Milewski przeoczył, czy też sprzedała Berdówkę nie bezpośrednio Dębowieckiemu, lecz Zachwatowiczowi. Do pierwszej wojny światowej Berdówka pozostawała w ręku Dębowieckich, gorliwych Rosjan. Ostatnim jej właścicielem był syn generał-gubernatora, senator Aleksander Dębowiecki. Gdy w czasie wojny ślad po Dębowieckich w Polsce zaginął, Berdówkę przejął
Skarb Państwa. W okresie niepodległości Zachwatowiczowie wytoczyli jednak Państwu proces o zwrot skonfiskowanego przez zaborcę mienia i proces ten wygrali. Ponieważ władze polskie założyły już w Berdówce stację ogierów, a później szkołę rolniczą, zawarto z Zachwatowiczami polubowną umowę. Na jej mocy użytki rolne zatrzymało Państwo dla siebie, lasy zaś zwrócone zostały dawnym właścicielom.
Po Berdowskich pozostał w Berdówce istniejący do 1939 r. pałacyk neogotycki, wybudowany w pierwszej połowie XIX w. oraz resztki krajobrazowego parku. Pałac ten, o planie prostokąta, miał dwie kondygnacje, z trójosiowym ryzalitem w środkowej części dziewięcio- osiowej elewacji głównej. Kondygnacja najwyższa ryzalitu miała kształt kwadratowej wieży, zwieńczonej krenełażem i pinaklami. Ryzalit poprzedzał arkadowy portyk nakryty balkonem, otoczonym żeliwną balustradą. Elewacje pałacu, przebite wysokimi wąskimi oknami, rozczłonkowane były pilastrami. Wszystkie otwory okienne miały kształt prostokątny, tylko w osi środkowej, w obu skrajnych górnej kondygnacji elewacji głównej oraz w wieży miały zwieńczenie w postaci ostrołukowych płycin. Podobne płyciny znajdowały się też na osiach skrajnych górnej kondygnacji elewacji ogrodowej i na osiach środkowych elewacji bocznych. Budynek nakrywał dach gładki, dwuspadowy.
Obok pałacu stał niewielki prostokątny budynek, kryty dachem dwuspadowym. Służył z pewnością jako kuchnia, spiżarnia i do innych celów gospodarczych.