Het ganse gebied, dat thans de wijk Drie Koningen vormt, behoorde reeds voor de Beeldenstorm van 1566 aan de Eerwaarde Paters Ongeschoeide Karmelieten, die in de loop van de 16de eeuw deze gronden hadden aangekocht om ze vruchtbaar te maken. Langs de heirweg naar Brugge bezaten ze een hoeve, “Oude Paterij” genoemd en daar bouwden zij een kapel.

Met de Franse Revolutie werden de gronden, die de paters bezaten, aangeslagen en openbaar verkocht als «Nationaal Goed» ten voordele van de Franse schatkist. Hun bezittingen te Beernem werden in 1798 aangekocht door een zekere kanunnik van Outryve, die de gronden in 1802 doorspeelde aan zijn schoonbroer, Franciscus-Josephus-Joannes, baron de Serret van Outryve (1767-1849), zoon van François-Joseph de Serret (° 1741), bevelhebber van de stad en de vesting Antwerpen; enz., en van Marie-Jeanne de Willaeys.

Baron Franciscus de Serret van Outryve bouwde op een kleine terreinverhoging van zijn domein een kasteel in empirestijl en liet er tevens het prachtige, omringende park aanleggen.

Aanvankelijk heette dit kasteel «Meerberg», naar de oude naburige wijk die reeds in 1469 vermeld werd en naar de heuvel waarop het gebouwd werd. Deze benaming raakte in onbruik en werd vervangen door die van «Drie Koningen», ontleend aan een herberg die reeds in 1565 daar op het kruispunt van de heirweg stond.

Het hoofdgebouw van die voormalige herberg bestaat heden nog en werd omgebouwd tot een mooie hofstede.