Ursprünglich "Olde Schwalenburg".
Die Burganlage wurde um 1100 von den Grafen im Wetigau errichtet, die sich ab 1127 nach dem Standort der Burg Grafen von Schwalenberg nannten.
Sie (Widukind, s. auch Desenberg bei Warburg) stifteten 1128 das Benediktinerkloster Marienmünster.
Ab 1180 teilte sich das Grafenhaus in die Linien der Grafen von Schwalenberg, Waldeck, Pyrmont, Sternberg und der Herren von Kollerbeck.
Um 1230 gründeten die Grafen einen neuen Sitz oberhalb des heutigen Ortes Schwalenberg und siedelten dorthin über.
Ein anderer Schwalenberger Graf, Volkwin, erwarb eine Burg in Waldeck, nach der sich fortan das Waldecker Grafenhaus nannte.

1350 wurde die Grafschaft von den letzten Schwalenbergern an den Bischof von Paderborn und die Edelherren zur Lippe verkauft.


Um 1370 wurde dieser, heute noch erhaltene Wohnturm erbaut.

Besichtigung: nicht möglich. Die Burg ist heute Privatbesitz und wird bewohnt.

Ausschnitt aus einer Karte von Johann Gigas, mit dem "Amt Oldenburg", der alten Grafschaft Oldenburg

Zu Rechststreitigkeiten zwischen dem Kloster Corvey und den Schwalenberger Grafen.