Der Valleyer Pfleger und Hofmarksherr von Vagen Anton Vogt erbaute sich 1768 seinen Altersruhesitz „Vogtenruhe" ein noch einfaches Landhaus. Sein heutige Form verdankt es einem seiner späteren Besitzer, dem Grafen Heinrich von Boos-Waldeck, der es in den 70iger Jahren des vorigen Jahrhunderts erheblich erweiterte. Die Wasserkaskaden aus dem im Schlossgarten gefassten Goldbach stammen noch vom Erbauer Anton Vogt.In diesem würdigen Rahmen findet die - weit über die Grenzen Vagens hinaus - alljährliche Schloss-Serenade statt. Das Schloss wurde von den derzeitigen Besitzern 1995 umfassend renoviert.