Het geslacht Van Bronckhorst breidt zijn grondgebied uit en vervangt de houten toren op de heuvel, uit de twaalfde eeuw, door een stenen donjon. Dit rechthoekig zaalgebouw komt te staan aan de voet van de oude motte en krijgt een zware ringmuur. De nederzetting op de voorburcht krijgt in 1344 een kapel dankzij geld van de heren van Bronckhorst. In dezelfde eeuw worden op de heuvel nieuwe vleugels aan de donjon gebouwd.

Het geslacht Van Bronckhorst sterft in 1533 uit en dan komen kasteel en heerlijkheid in handen van de familie Van Limburg Stirum. Tijdens de Tachtigjarige Oorlog bezetten de Spanjaarden na een beleg van negen maanden in 1582 het kasteel en steken het in brand. De familie Van Limburg Stirum maken het kasteel weer bewoonbaar en verbouwen het rond 1600. Na verkoop in 1721 komt het kasteel in bezit van het ene na het andere adellijke geslacht. Toch raakt het kasteel in de achttiende eeuw in verval. Koopman Ketjen uit Doetinchem laat het kasteel in 1828 voor een groot deel afbreken en verbouwt een klein gedeelte tot woonhuis.

In 1902 sneuvelt ook dat huis en worden de laatste resten van het  kasteel voor afbraak verkocht aan de sloper Van Seumeren. De kapel wordt in 1943 verbouwd tot schoolgebouw. In 1964 wordt de kapel in oude stijl gerestaureerd.

De kasteelheuvel aan de rand van het stadje Bronkhorst valt onder Staatsbosbeheer. Meer weten ofver de historie van het verdwenen kasteel? Maak een wandeling met een gids door het stadje en ontdek alle verhalen over het stadje en het kasteel.