Aufgrund der vehementen Forderung der Secessionisten um Carl Moll und Otto Wagner nach einer öffentlichen Galerie zeitgenössischer Kunst als Gegengewicht zu den kaiserlichen Sammlungen genehmigte Kaiser Franz Joseph I. 1901 die Errichtung einer Modernen Galerie. Mit der Eröffnung des staatlichen Museums im Mai 1903 in den Räumlichkeiten des Unteren Belvedere wurde der Grundstein für die heutigen Sammlungen der Österreichischen Galerie Belvedere gelegt. Zum Ausbau des Bestandes, dessen Unterbringung im Unteren Belvedere nur als Provisorium gedacht war, dienten u. a. jene Kunstwerke, die seit 1851 durch das k. k. Ministerium für Cultus und Unterricht und von der 1897 gegründeten Vereinigung bildender Künstler Österreichs – Secession erworben worden waren; darunter etwa Vincent van Goghs Ebene von Auvers oder Giovanni Segantinis Die bösen Mütter. Private Förderer wie Fürst Johann von und zu Liechtenstein und der Architekt Alexander Hummel unterstützten die Galerie mit großzügigen Schenkungen. Die anfangs mit der Leitung betraute und dem Cultusministerium direkt unterstellte Galerie-Kommission war um die stete Erweiterung der Sammlung bemüht. So konnte bereits 1908 Gustav Klimts Der Kuss/Liebespaar vom Künstler erworben werden. 1912 wurde die Moderne Galerie unter der Führung des seit 1909 amtierenden Direktors Friedrich Dörnhöffer in die k. k. Österreichische Staatsgalerie umgewandelt. Durch die programmatische Erweiterung des Sammlungsbestandes vom Mittelalter bis zur Gegenwart sollte ein repräsentativer Querschnitt des Kunstschaffens im habsburgischen Vielvölkerstaat gezeigt werden. Gründungsmitglieder des noch im selben Jahr ins Leben gerufenen Staatsgalerievereins waren u. a. Ferdinand Bloch-Bauer, Nikolaus Dumba, Karl Graf Lanckoroński und Victor Zuckerkandl. Durch den Ankauf von Werken der bildenden Kunst setzte sich der Verein "die Pflege des heimischen Kunstsinnes" zur Aufgabe. Von 1915 an bis zu seiner Amtsenthebung im April 1938 leitete und prägte der Kunsthistoriker und Schiele-Förderer Franz Martin Haberditzl den 1921 in Österreichische Galerie umbenannten Museumskomplex. Trotz äußerst beschränkter finanzieller Mittel gelang es Haberditzl dank eines persönlichen Netzwerkes an MäzenInnen, SammlerInnen und KünstlerInnen, dem auch Adele und Ferdinand Bloch-Bauer angehörten, durch Schenkungen und Leihgaben den Sammlungsbestand um bedeutende Meisterwerker der österreichischen und der internationalen Moderne zu erweitern. Nach dem Ende des Ersten Weltkrieges und der Verstaatlichung der kaiserlichen Kunstsammlungen bekam die Österreichische Galerie neben den Räumlichkeiten des Unteren nun auch die des Oberen Belvedere-Schlosses zur Verfügung gestellt und sie erfuhr eine Neuordnung nach dem Museumsreformkonzept des Kunsthistorikers Hans Tietze. Kunstgegenstände des österreichischen Barock und jene des 19. Jahrhunderts wurden aus dem Kunsthistorischen Museum übernommen, im Gegenzug erfolgte die Abgabe mittelalterlicher Objekte an selbiges und die Übertragung von Grafikbeständen an die Albertina. 1923 wurde als erster Teil dieser Neuordnung das Barockmuseum im Unteren Belvedere eröffnet. Im Oberen Belvedere kam es 1924 zur Einrichtung der Galerie des 19. Jahrhunderts mit Werken österreichischer und internationaler KünstlerInnen sowie eines Bereichs für Sonderausstellungen im Erdgeschoß. Dank der finanziellen Zuwendungen des Vereins der Museumsfreunde konnte im Jahr 1929 das Gebäude der ehemaligen Orangerie des Prinzen Eugen im Unteren Belvedere für die Neueröffnung der Modernen Galerie als Sammlung des 20. Jahrhunderts adaptiert werden. Der angrenzende Kammergarten beherbergte eine Aufstellung moderner Skulpturen.
Nach dem "Anschluss" Österreichs an das nationalsozialistische Deutsche Reich im März 1938 wurde Direktor Franz Martin Haberditzl seines Amtes enthoben und durch seinen langjährigen Stellvertreter Bruno Grimschitz ersetzt. Sein wissenschaftlicher Mitarbeiter Heinrich Schwarz musste Österreich aufgrund rassistischer Verfolgung verlassen. Grimschitz nützte die geänderten Machtverhältnisse für eine offensive Erwerbungspolitik, die auch in direktem Zusammenhang mit der Entziehung "jüdischer" Kunstsammlungen durch das NS-Regime steht. Neben der Übernahme diverser Kunstgegenstände aus sichergestelltem und beschlagnahmtem Besitz wurden den öffentlichen Sammlungen im Auftrag der Reichsstatthalterei auch nicht entzogene Objekte zugewiesen. Zahlreiche Ankäufe von Werken zeitgenössischer KünstlerInnen belegen die Intentionen der NS-Kulturpolitik zur Förderung "deutscher, arteigener" Kunst. Bruno Grimschitz ließ die Moderne Galerie im Sinne des NS-Regimes bereits am 20. März 1938 schließen; der Bestand an sogenannter "entarteter" Kunst blieb unangetastet. Ab Oktober 1939 verfügte die Zentralstelle für Denkmalschutz über die ehemalige Orangerie als Depot für sichergestellte und beschlagnahmte Kunstgegenstände. Noch vor Beginn der ersten Bergungstransporte im Spätsommer 1939 waren umfassende Luftschutzmaßnahmen zur Verhinderung von Gebäudeschäden in den Belvedere-Schlössern durchgeführt worden. Als Folge blieb das Barockmuseum im Unteren Belvedere bereits von Juli 1939 bis Jänner 1940 beziehungsweise ab April 1941 geschlossen. In einer Reihe von Sammeltransporten der wertvollsten Bestände wurden ab September 1939 Hauptwerke der Galerie des 19. Jahrhunderts und des Barockmuseums in die Kartause Gaming in Niederdonau verbracht. Aufgrund der zunehmenden Bedrohung durch alliierte Luftangriffe und der damit notwendigen Intensivierung der Bergungsmaßnahmen kam es 1943/44 zur Überstellung hunderter Kunstgegenstände an zusätzliche Bergungsorte wie die Schlösser Immendorf, Kirchstetten oder Weinern in Niederdonau und das Salzbergwerk Lauffen bei Bad Ischl. Nach der endgültigen Schließung der Österreichischen Galerie wegen des "Totalen Kriegseinsatzes" im August 1944 wurden der Westtrakt des Oberen Belvedere und die Parkanlagen durch Bombentreffer im November 1944 schwer beschädigt. Nach neuerlichen Treffern des Oberen und Unteren Belvedere im Februar 1945 boten die Schlossanlage und der Park zu Kriegsende ein Bild der Verwüstung. Dank der erfolgten "Totalbergung" der Galeriebestände waren keine nennenswerten Sammlungsverluste zu beklagen. Kurz vor Kriegsende hatten allerdings abziehende SS-Mitglieder die in Schloss Immendorf gelagerten Gustav Klimt-Gemälde aus der Sammlung Lederer und die drei Fakultätsbilder Klimts aus dem Bestand der Österreichischen Galerie vernichtet.
Die Zerstörungen machten nach 1945 umfassende Wiederaufbauarbeiten und die Renovierung der Belvedere-Schlösser notwendig. Nach der Amtsenthebung von Bruno Grimschitz als ehemaligem Mitglied der NSDAP im Oktober 1945 und der interimistischen Leitung durch Fritz Novotny wurde Karl Garzarolli-Thurnlackh 1947 zum Direktor der Österreichischen Galerie bestellt. Auf der Grundlage der österreichischen Rückstellungsgesetze erfolgte nach 1945 die Restitution von zwölf Kunstwerken aus den Sammlungen von Viktor Ephrussi, Irma Götzl, Alma Mahler-Werfel, Robert Pollak, Gustav Senders, Leopold Weinstein, Paul G. Wexberg bzw. an die Französische Militärregierung. Der offizielle Museumsbetrieb konnte erst 1953 nach Abschluss der Instandsetzungsarbeiten wieder aufgenommen werden. Die Österreichische Galerie sollte im Sinne der wiedererlangten Eigenstaatlichkeit Österreichs zu einem Museum rein österreichischer Kunst werden und übergab die Sammlung französischer und deutscher Kunst des 19. und 20. Jahrhunderts dem Kunsthistorischen Museum. Im Gegenzug erhielt sie den Bestand an mittelalterlicher österreichischer Kunst für das neueingerichtete Museum mittelalterlicher Kunst in der Orangerie. Noch im selben Jahr erfolgte die Eröffnung des Barockmuseums im Unteren und 1954 die der Galerie des 19. und 20. Jahrhunderts im Oberen Belvedere. Entsprechend der Gründungsintention der Modernen Galerie von 1903 wurden die internationalen Bestände des 19. und 20. Jahrhunderts aus der sogenannten Stallburggalerie des Kunsthistorischen Museums im Jahr 1986 an die Österreichische Galerie rückübertragen.
Auf der Grundlage des österreichischen Kunstrückgabegesetzes vom Dezember 1998 wurden seit dem Frühjahr 1998 76 Dossiers zu insgesamt 239 Kunstwerken erstellt und diverse Nachtragsdossiers erarbeitet. Zusätzlich erfolgte eine umfassende Provenienzdokumentation zum Bestand der hauseigenen Bibliothek. Der Kunstrückgabebeirat sprach in 44 Fällen, die 66 Kunstwerke und sechs Druckschriften betreffen, die Empfehlung zur Restitution aus. 55 dieser Objekte aus 32 Sammlungen wurden mittlerweile den RechtsnachfolgerInnen übergeben, die übrigen verbleiben bis zur ErbInnenfeststellung im Museum. Im Fokus der medialen und öffentlichen Aufmerksamkeit standen prominente Fälle von Werken Gustav Klimts, Egon Schieles oder Edvard Munchs aus den Sammlungen der Familien Bloch-Bauer, Lederer, Rieger, Zuckerkandl oder Alma Mahler-Werfel. So wurden etwa 2006 aufgrund einer Schiedsgerichtsentscheidung fünf Klimt-Gemälde, darunter die beiden Porträts der Adele Bloch-Bauer, an die ErbInnen nach Bloch-Bauer zurückgegeben. Mit dem geglückten Rückkauf mehrerer restituierter Werke wie zuletzt Hans Makarts Einzug Karls V. in Antwerpen aus der ehemaligen Sammlung von Valerie Karplus-Lieben befinden sich diese nun rechtmäßig im Bestand der Österreichischen Galerie Belvedere.