Das Schloss ist zusammen mit dem Alten Kirchle eines der ältesten Bauwerke in Wasseralfingen. Es wurde von den Rittern von Ahelfingen errichtet und ursprünglich von ihnen bewohnt. In historischen Urkunden wird das Schloss häufig als „Burg“ oder „Feste“ bezeichnet, was darauf hinweist, dass es ursprünglich als Wehr- und Verteidigungsanlage diente. Seine Geschichte reicht bis in die frühalemannische Zeit zurück. Seit 1992 befindet sich in dem Gebäude die Schule für Sprachbehinderte des Landkreises.
