Het kasteel werd in 1270 gebouwd als ministerieel kasteel van de hertogen van Teck om de enige doorgang naar de Schwäbische Alb vanuit het Neidlingerdal te bewaken. De ridder Diethoh van Kirchheim-Stein was de eerste bekende kastelein, vanaf ongeveer 1301. Zijn zoon verkocht het aan zijn neven Konrad en Heinrich Reuss. Naar deze familie werd het kasteel in 1371 Reussenstein genoemd.
In de daaropvolgende 50 jaar ging het kasteel door 11 verschillende eigenaren, waaronder de hertogen van Württemberg in 1381. In 1441 namen de graven van Helfenstein bezit van het kasteel. De laatste die in het kasteel woonde was Ludwig Helferich van Reussenstein. Met het einde van de Helfensteins in 1550 werd het kasteel onbewoond en raakte het in verval.
In 1752 werd het gekocht door het Beierse Hof, maar in 1806 werd het eigendom van de staat Württemberg. In 1835 gaf koning Willem I van Württemberg het kasteel aan zijn adjudant kolonel von Fleischmann.
In 1846 werd de laatste lynx in Duitsland opgejaagd in deze ruïnes.
In 1862 nam de Württembergse hofhouding het beheer van het kasteel over, dat tot 1964 in het bezit bleef van de voormalige koninklijke familie van Württemberg.
In 1965-1966 werd het kasteel gerestaureerd door het district Nürtingen, nu opgenomen in het district Esslingen, onder toezicht van de afdeling historische monumenten van Baden-Württemberg.
legende
Wilhelm Hauff schreef een legende over de oorsprong van het kasteel. Volgens de legende werd het kasteel gesticht door een reus die in een grot aan de andere kant van de vallei woonde. Om op de bouwplaats aan te komen, hoefde de reus maar één grote stap door de vallei te zetten. Hij stapte echter niet ver genoeg en bleef achter met een voet die vastzat in de drassige valleibodem. Toen hij zijn voet er weer uittrok, ontsprong er een bron uit de voetafdruk, waardoor de Lindach rivier ontstond.
Later was het kasteel klaar, op een laatste spijker na. Maar geen van de ambachtslieden durfde deze laatste spijker op zo’n hoogte in te slaan. Er was slechts één jonge ambachtsman uit het Neidlingerdal die het durfde te proberen. De reus hield de jongeman aan het raam boven de afgrond, totdat hij klaar was met het werk. De vakman werd beloond met rijkdom en met de hand van de dochter van de bouwmeester.