De familie Vehr wilt deelnemen aan openbare ambten, maar wordt daarvan uitgesloten. Zij zijn tijdens de Tachtigjarige oorlog Spaansgezind en blijven daarna ook het katholicisme trouw. Zo kan de familie Vehr het recht van havezate voor Den Bramel niet verwerven, maar bouwt midden in de zeventiende eeuw wel het huidige huis. De welvaart van het geslacht Vehr neemt toe door het verwerven van grondbezit. In de achttiende eeuw wordt het geslacht Van Hasselt eigenaar van Den Bramel.

C.J.J. Storm van ’s-Gravesande koopt de buitenplaats in 1824 met onder meer het herenhuis, hoven, landerijen, bossen en twee boeren erven met de namen Groot en Klein Bramel. De buitenplaats wordt vervolgens nog uitgebreid, ook onder de opvolgers van de familie Storm, de familie Thate. Zo komt er op het voorplein rond 1880 een achtkantige theekoepel te staan, waaraan delen van een oud orgelfront worden verwerkt.

Het landgoed is opengesteld voor publiek, het kasteeltje zelf en omringende tuinen zijn privé bezit en dus niet te bezoeken.