Wer noch vor einigen Jahrzehnten auf der Straße von Behringersmühle nach Bayreuth fuhr, gewahrte drei Kilometer nach Oberailsfeld bei einer Talwindung plötzlich vor sich die malerische Burg Rabenstein, die Perle des Ailsbachtales. Der älteste, ruinöse Bau — ganz vorne auf der Felsenspitze — ist im letzten Viertel des 12. Jahrhunderts entstanden. Dieser kleine Ansitz gehörte zur Herrschaft Waischenfeld und kam nach dem Erlöschen der dortigen Dynasten an deren Erben, die Schlüsselberger. In diese Zeit — wohl kurz nach 1219 — fällt der Ausbau der Vorburg. Der alte Brückenbogen, der beide Wehrbauten verband, ist noch heute aus den Bauelementen zu erkennen.
Nach 1188 tritt ein Ministerialengeschlecht urkundlich hervor, das sich nach der Burg nannte. Es führte den Raben im Wappen. Doch im Laufe des 13. Jahrhunderts hatte es den Sitz Rabenstein aufgegeben und sich ins Ahorntal zurückgezogen. In der Folge saßen die Groß auf der Burg; sie nannten sich nach ihr Groß von Rabenstein. Als die Schlüsselberger 1347 erloschen, gelangte das Felsenschloss an die Burggrafen von Nürnberg, die es an verschiedene Adelige verliehen. 1400 übernahm Konrad von Aufseß die Burg. Dabei musste er sich dem Burggrafen gegenüber verpflichten, innerhalb von drei Jahren 900 Pfund Heller in sie zu verbauen.
Dieser Passus lässt den Schluss zu, dass Rabenstein im Verlauf des Städtekrieges 1388 in Mitleidenschaft gezogen wurde, zumal das nur drei Kilometer entfernte Rabeneck ja tatsächlich eingenommen wurde. Im Hussitenkrieg scheint das Schloss verschont geblieben zu sein. Doch der Fürstenkrieg zwischen dem Markgrafen Albrecht Achilles von Brandenburg und Herzog Ludwig von Bayern-Landshut brachte 1460 die Zerstörung Rabensteins. Als nämlich 1489 Konz von Wirsberg von den Markgrafen Friedrich und Siegmund mit dem Burgstall und Wale (= Stelle einer ehemaligen Burg) Rabenstein belehnt wurde, war dies an die Bedingung eines Wiederaufbaues innerhalb von acht Jahren geknüpft. Wörtlich bekannte der Wirsberger: … das ich oder mein erben das vermelt wale Rabenstein in acht jaren den nebsten mit purcklichen paw zurichten und bezymern sollen …
Der Neubau umfasste Vor- und Hauptburg; hinzu kamen die beiden Zwinger und die Halbrundtürme im Westzwinger sowie der heute noch stehende runde Wartturm auf überhöhtem Fels östlich des inneren Tortraktes. Nach dem Chronogramm 1495 am äußeren Tor war der Bau bereits nach sechs Jahren wieder aufgeführt.
Von den Wirsberg ging das Lehen kurz an die Stiebar und schließlich 1557 an die Rabenstein über, die damit nach etwa drei Jahrhunderten ihren alten, namengebenden Stammsitz zurück erworben hatten. Daniel von Rabenstein ließ 1570 die Burg entscheidend umbauen. In der Vorburg entstand eine dreiflügelige Renaissance-Anlage, deren Haupttrakt im Westen stand, von dem zwei Seitenflügel nach Osten vorsprangen und die dabei einen nach Osten offenen Innenhof bildeten. In ihm befand sich der runde Wartturm aus der Wirsberg-Periode und nun neu ein ebenfalls runder Treppenturm, dessen Ruinen bis 1829 standen. Seine gerundeten Fundamente waren noch 1974 im Keller unter dem Schlossgärtchen zu erkennen. Weiter fasste Daniel von Rabenstein die beiden Burgteile baulich zusammen.
Graben und Felsspalt, die bisher Haupt- und Vorburg getrennt hatten, wurden zugemauert; der einstige Brückenbogen ist noch immer im Mauerwerk sichtbar. Ein weiterer Treppenturm führte zu den Räumen des sog. “Rittersaales”, dem Bau auf der äußersten Südspitze. Die Wappen Daniels von Rabenstein und seiner Gemahlin Margarete von Kerpen zieren noch heute das Schlossportal, das nun — ebenfalls im Jahre 1570 — nach Einwölbung des ursprünglichen Vorhofes mit dem neuen Renaissance-Gebäude baulich verbunden und überdacht wurde. Über den breiten Graben führte eine Stein- mit anschließender Zugbrücke. Letztere ist inzwischen verschwunden, dafür die Brücke bis an das Schloss geführt. Es ist anzunehmen, dass der Wirtschaftshof damals schon ummauert wurde, obwohl die Ringmauer erst 1656 erwähnt ist.
Leider ging die schöne Burganlage im Dreißigjährigen Krieg zugrunde. Hans Christoph von Rabenstein hielt es mit den Schweden. Nach deren Abzug fiel das erbitterte katholische Landvolk um Waischenfeld, das vorher schwer zu leiden hatte, über die Burg her und brannte sie nieder. Der größte Teil des Schlosses blieb als Ruine liegen. Die Rabensteiner stellten lediglich einige Gebäude im Westen der ehemaligen Vorburg wieder her; sie selbst verlegten ihren Wohnsitz nach Kirchahorn und Weiher. Der Wirtschaftshof vor dem Graben mit seiner Ringmauer wurde jedoch völlig instandgesetzt; er musste ja die Einkünfte des Geschlechts gewährleisten. Weitere Baumaßnahmen sind aus den Jahren 1648 und 1656, ferner 1686 bis 1692 sowie 1728 nachgewiesen.
Mit Peter Johann Albrecht von Rabenstein starb 1742 das Geschlecht aus. Die Grafen von Schönborn-Wiesentheid empfingen Rabenstein vom Markgrafen als Rittermannlehen. Anlässlich eines angekündigten Königsbesuches ließ Graf Franz-Erwein 1829/30 die Halbruine umgestalten. Dabei mussten leider Ruinenteile eingelegt werden, darunter der 1570 errichtete Treppenturm im Innenhof. Dieser ehemalige Burghof wurde jetzt mit Erdreich aufgefüllt und damit ein reizender Burggarten geschaffen. Er war bis 1975 eine viel besuchte Attraktion der Fränkischen Schweiz. Ganz einmalig war die malerische Verbindung von Ziergarten und Ruinenteilen — ein unvergessener — Anblick für jeden Besucher-.
Eine Radierung von Felix Grünewald aus dem Jahre 1829 sowie Zeichnungen von Ostertag und Lebschee veranschaulichen den Zustand der Ruine vor dem Umbau 1829/30. Gleichzeitig ließ der Graf zwischen der Ailsbachtalbrücke im Südwesten der Burg und der Schweinzmühle einen Landschaftsgarten anlegen, der die Ludwigshöhle und das Schneiderloch sowie die 1833 entdeckte Sophienhöhle mit einbezog. Letztere zählt zu den schönsten Tropfsteinhöhlen Deutschlands. Hoch über ihr thront auf steilem Fels die romantische Kapelle Klausstein, deren Lage schon Ludwig Richter 1837 begeisterte.