もともとこの土地には会計院の廃墟（？）があった。1897年にオルレアン鉄道会社がこの土地を買い取り、駅の建設を始めた。オルセー駅としてヴィクトル ラルーの設計によって設計され、1900年のパリ万博にあわせて開業した（1900年7月14日）。客室数400を越えるホテルも併設されていた。鉄とガラスを多用し当時としては近代的な駅であった。外観は石造り。

パリの南西方面への近郊列車のオルレアン鉄道会社（パリ・オルレアン鉄道）のターミナルとして使われた。

しかし駅として使われた期間は短く、1939年には駅としては使われなくなった。鉄道の電化によって、列車の長さが長くなったのに対し、オルセー駅はプラットフォームが短く延長できなかったことが痛かった。ホテルはこの後も営業を続けたが、その後、駐車場などとして使われたが1961年に終わった。

駅の取り壊しの計画もあったが、ポンピドー大統領がそれを阻止。1977年にオルセー駅を美術館として再生する計画が決定した（1978年という記述もあり）。1979年にコンペが開催される。
ATCチームが設計を担当（？）さらにガエ アウレンティの手により、1986年に改装が終了し、オルセー美術館としてオープンした。

現在は主に印象派の作品を集めたコレクションを持つ美術館となっている。