Die schmale Landbrücke zwischen Schlosssee und Langbürgner See war seit der Antike eine Verbindung zwischen dem nördlichen Inntal und dem Chiemseeraum. Einer der römischen Fernwege von Salzburg (Juvavum) über Rosenheim (Pons Aeni) nach Augsburg (Augusta Vinde­licum) passierte das Seengebiet an dieser Stelle. So bestand hier wohl auch schon seit römischer Zeit eine Straßenstation.

Das erste frühmittelalterliche Kastell wurde vermutlich von einem Chiemgauer Adelsgeschlecht während der Ungarn-Einfälle zwischen 900 und 955 als Fluchtburg errichtet. Der Name Hadamar ist in jenen Jahren für mindestens drei Mitglieder des Geschlechtes bezeugt. So erscheint die Wehranlage in den ältesten Dokumenten auch noch als "Hadamarsperch" ("Hadamars erhöhte Burg"). Ursprünglicher Standort dieses Burgstalls war die dem heutigen Schloss gegenüberliegende Landzunge im Langbürgner See, die sogenannte Zickenburg.

Um 1150 ging diese Burg in den Besitz der Grafen von Neuburg-Falkenstein über. Sie wurde zu deren Herrschafts- und Verwaltungszentrum im Chiemgau. Die 1160 geweihte Burgkapelle St. Jakob diente der Jakobs-Pilgerschaft als Übernachtungs- und Andachtsort. Eine anschauliche Abbildung des Gebäudes im „Codex Falkensteinensis“ von 1166 zeigt unmittelbar am Seeufer ein zinnenbewehrtes, annähernd kubisches Gebäude mit offenem Arkadengang.

Nach Verleihung der bayerischen Herzogswürde an das Geschlecht der Wittelsbacher im Jahr 1180 zählten die Falkensteiner rasch zu den einflussreichsten Gegnern der neuen Landesherren. 1244 eskalierten die Spannungen in einer kriegerischen Auseinandersetzung. Der letzte regierende Falkensteiner Siboto fiel im offenen Kampf. Im November 1247 zog darauf der Wittelsbacher Ludwig der Strenge mit großer Heeresmacht vor die noch immer von Parteigängern Sibotos gehaltene Burg Hadamarsperch, eroberte sie und machte die Befestigungen dem Erdboden gleich. Doch wurden Burg und Jakobskapelle von den Wittelsbachern offenbar nach kurzer Zeit am heutigen Standort neu errichtet. Historische Abbildungen deuten an, dass rund um die von Türmen flankierte hochmittelalterliche Burg ein System von Wassergräben den Schlosssee mit dem Langbürgner See verband, so dass die Straße ausschließlich über zwei leicht kontrollierbare Brücken passiert werden konnte.