Auf der westlichen Weserseite entstad um 1213 die Stammburg der Grafen von Hoya als Wasserburg. Als Residenz der Niedergrafschaft hatte sie bereits im Mittelalter eine bedeutende Rolle zwischen den Bistümern Bremen und Minden. Oft belagert und zerstört, aber immer wieder aufgebaut, stammen die Hauptteile der dreiflügeliegen Anlage aus dem 19. Jahrhundert. Nur der Ost- und Westflügel sind im Kern mittelalterlich. Sein gegenwärtiges Aussehen erhielt das direkt an der Weser gelegene Gemäuer größtenteils im 18. und 19. Jahrhundert. Seit 2014 ist es im Besitz der Stadt Hoya/Weser.