In 1396 werd de havezate de Ulenpas al vermeld. Het kasteel heeft beroemde gasten gehad. In 1672 verbleef Lodelijk XIV, de Zonnekoning, enige tijd op het kasteel. Ook de bekende Zweedse natuuronderzoeker Linneaus (1707-1778) was regelmatig te gast op de Ulenpas.
Het geslacht van Rouwenoort is meer dan 500 jaar eigenaar geweest. Deze familie telde echte plantenliefhebbers, zodat op de Ulenpas bomen en planten uit alle delen van de wereld voorkwamen. Helaas zijn veel van die zeldzame planten inmiddels verdwenen. In latere jaren woonde de adellijke familie van Schuijlenburg op het landgoed. In 1965 is het kasteel in vlammen opgegaan. Daarna is allen het middengedeelte gerestaureerd.