Poprvé je zámek zmiňován ve 12. století jako hrad Schwanstein, sídlo šlechticů ze Schwangau. V následujících stoletích měnil majitele, chátral, byl nově vystavěn a znovu zničen.

V roce 1832 získal ruiny král Maximilián II. (tehdy ještě jako korunní princ Maximilián) a nechal je přestavět uměleckým architektem a malířem Domenicem Quaglionim (1787-1837) v novogotickém stylu. Příznačně určil král za vedoucího stavby malíře Quaglioho a přiřadil mu k pomoci architekta Georga Fridricha Zieblanda. Quaglio neměl v praktickém stavitelství zkušenosti, přesto se do práce pustil vší silou takovým způsobem, že krátce před dokončením stavby zemřel. Práce potom pokračovaly pod mnichovským architektem Josefem Ohlmüllerem.

Výmalba místností je realizována podle návrhů Moritze von Schwindela. V tomto stavu se zachoval zámek do dnešních dnů. Vnitřní zařízení z období Biedermeieru zůstalo nezměněno. Zámek sloužil královské rodině jako letní sídlo a byl místem vychování Ludvíka II. Jeho matka Marie Bavorská žila na zámku ještě 3 roky po smrti svého syna, dokud zde nezemřela.