Onder de regering van Hendrik III, hertog van Brabant (+ 1261), leefden Pieter en Hendrik van Beersel op een versterkte hofstede in Beersel. In 1271 was Leo van Beersel voogd van Mathilde, kasteleine van Brussel, die de tienden van Beersel in leen hield van Jan I, hertog van Brabant, maar ze in 1277 overdroeg aan de abdij van Vorst.

Een akte van 1292 vermeldt «Arnoldus et Leonius, fratres de Beersele» (de gebroers Arnold en Leo van Beersel). Zij hadden nog een broer, Jan van Beersel, die meier (villicus) was in Brussel. De familie van Beersel werd opgevolgd door een ander machtig geslacht, de familie Hellebeke, die rond het jaar 1300 aanzienlijke gronden in Beersel bezat. De Hellebeke’s waren trouwe vazallen van de hertog van Brabant en lieten, bij verschillende gelegenheden, hun verknochtheid blijken. Zo toonde o.a. Arnold van Hellebeke zich een dapper krijger, aan de zijde van de Brabantse hertog, in de slag van Woeringen (1288).

Godfried van Hellebeke (Godfroid de Halbeke) wist kennelijk de gunst van Jan II, hertog van Brabant, te winnen, want in 1300 kreeg hij van zijn vorst de toelating om op zijn gronden in Beersel een versterkt kasteel te bouwen. Bovendien brachten zulke toelatingen alleen maar voordeel aan de landsvorsten, die daardoor hun macht konden vergroten: enerzijds kon de hertog altijd rekenen op de steun van zijn leenman, die hij had begunstigd, en terzelfdertijd werd Brussel — residentie van de Brabantse vorst — beveiligd door weerbare burchten in de onmiddellijke omgeving, die individueel de toegangswegen tot de stad beschermden. Tevens zou een kring van kastelen mogelijke belagers wel kunnen afschrikken.

De belangrijkheid van de familie van Witthem kan best aangetoond worden door de doop van Pieter van Witthem, zoon van Hendrik V: zijn peters waren Hendrik van Bergen (bisschop van Kamerijk), de graaf van Sint-Pol en Philips van Luxemburg, en zijn meter was Maria, hertogin van Boergondië.

Hendrik V van Witthem en zijn echtgenote werden in de kerk van Beersel begraven onder een praalgraf met liggende beelden. Die kerk werd in 1730 door blikseminslag grotendeels vernield. Bij de heropbouw vonden werklieden het goed bewaarde lichaam van Hendrik V, terwijl van zijn echtgenote alleen een stuk van het schouderbeen was overgebleven. Dat het lichaam van de heer van Beersel, na twee eeuwen, nog zo gaaf was lokte onmiddellijk een grote toeloop bijgelovige nieuwsgierigen naar het dorp en in de kerk werd al onmiddellijk van een mirakel gesproken. Deken Vandersprot uit Sint-Pieters-Leeuw stelde een onderzoek in en kwam tot de vaststelling dat het lijk gebalsemd werd met in olie en aromaten gedrenkte doeken, die het lichaam zo goed hadden bewaard.

Philips van Witthem, oudste zoon van Hendrik V, kreeg alle bezittingen van zijn vader, uitgenomen de heerlijkheden van Petit-Roeulx bij Nijvel, Arquennes en Bousval. Deze bezittingen werden door zijn zuster als bruidsschat aan Bernard van Orley gebracht. Daaruit kan men besluiten dat Pieter en Adriaan van Witthem, de andere zonen van Hendrik V, nog voor hun vader overleden waren.

Lees gans de historie over dit kasteel in deel 3 uit de reeks “Van Kasteel naar Kasteel” door Paul Arren.