Teile der kaiserlichen Kunstsammlungen, deren wichtigste Bestände auf die Sammlertätigkeiten Erzherzog Ferdinands II. von Tirol (1529–1595), Kaiser Rudolfs II. (1552–1612) und Erzherzog Leopold Wilhelms (1614–1662) zurückgehen, waren – zumindest für eine eingeschränkte Öffentlichkeit und an unterschiedlichen Orten – seit der Frühen Neuzeit zugänglich. Auf Schloss Ambras in Innsbruck befanden sich wertvolle Musikinstrumente, die Rüstkammern sowie die Kunst- und Wunderkammer Ferdinands II., in der Prager Burg waren antike Schätze wie die Gemma Augustea, Meisterstücke des Renaissance-Kunsthandwerks ebenso wie Bruegel- und Dürer-Gemälde versammelt. Unter Kaiser Karl VI. (1685–1740) wurde in der Stallburg in der Wiener Innenstadt die kaiserliche Gemäldegalerie eingerichtet, die noch im 18. Jahrhundert ins Obere Belvedere übersiedelte. Das Münz- und Antikenkabinett war im Augustinergang der Hofburg untergebracht. Ab 1823 wurden antike Skulpturen im neu errichteten Theseustempel im Volksgarten gezeigt, seit 1837 weitere antike Kunstobjekte im Unteren Belvedere. Die in Folge der durch die napoleonische Expedition 1798/99 ausgelösten Begeisterung entstandene Sammlung ägyptischer Altertümer war zwischen 1823 und 1837 im Harrachschen Haus in der Johannesgasse zu besichtigen, wo sich auch das mit Objekten aus der Weltreisesammlung des James Cook ausgestattete Brasilianische Museum befand. Die historischen Waffenbestände aus dem alten Zeughaus in der Renngasse gelangten 1863 gemeinsam mit dem aktuellen Kriegsgerät ins neu erbaute Arsenal. Das ab 1871 gebaute und 1891 feierlich eröffnete k. k. Kunsthistorische Hofmuseum sollte diese kaiserlichen Kunstsammlungen unter einem Dach vereinen. Laut Generalinventur von 1876 umfasste der Gesamtbestand der kunst- und kulturhistorischen Sammlungen in kaiserlichem Privateigentum 172.514 Gegenstände. Sieben Spezialsammlungen unterstanden drei Direktionen (Münzen-, Medaillen- und Antikensammlung, Waffen und kunstindustrielle Gegenstände sowie Gemäldegalerie), daneben gab es seit 1889 eine für das Naturhistorische und das Kunsthistorische Hofmuseum gemeinsam zuständige Administrationskanzlei. Aufgrund des Zuwachses in manchen Sammlungsbereichen und der damit einhergehenden Raumnot kam es noch in der Monarchie zur Suche nach neuen Präsentations- und Unterbringungsmöglichkeiten: 1905 wurden zusätzlich drei Schausäle des Unteren Belvedere angemietet. 1908 wanderte die moderne Abteilung der Gemäldegalerie in die Neue Burg, wo schon die Estensische Sammlung untergebracht war und ab 1916 die Musikinstrumente aus Schloss Catajo sowie aus der Ambraser Sammlung gemeinsam aufgestellt wurden. Abgesehen von kürzeren Schließzeiten blieb das Museum während des Ersten Weltkriegs an zwei bis drei Wochentagen geöffnet.

Bereits eine Woche nach der Ausrufung der Republik Deutschösterreich am 12. November 1918 wurden die Hofmuseen unter staatlichen Schutz gestellt. Im Dezember 1918 erließ das Staatskanzleramt ein Verbot für die Ausfuhr und den Verkauf von kunst- und kulturgeschichtlichen Gegenständen. Mit Gesetz vom 3. April 1919 übernahm die Republik das ehemalige Vermögen des Hauses Habsburg-Lothringen in ihr Eigentum, seit 28. September 1920 führte das Museum die Bezeichnung Kunsthistorisches Staatsmuseum in Wien, ab 1. September 1921 durfte auch die Bezeichnung Kunsthistorisches Museum verwendet werden. Mit den provisorischen Bestimmungen für die Kunstsammlungen von 1919 wurde ein Kollegium der wissenschaftlichen Beamten eingeführt, bestehend aus allen definitiv gestellten Wissenschaftlern des Hauses, das unterstützt von der Administrationskanzlei die sammlungsübergreifenden Agenden des Museums wahrnehmen sollte (Standes-, Personal- und Sachfragen von prinzipieller Bedeutung, die Redaktion des Jahrbuchs, die Aufsicht über die Hausbibliothek und das photographische Atelier). Bis 1925 führte das Kollegium die Geschäfte. An dessen Stelle trat mit der neuen Dienstordnung der Erste Direktor, der aus dem Kreis der Sammlungsdirektoren hervorging und von der Vollversammlung der wissenschaftlichen Beamten vorgeschlagen werden konnte. Gegen Ende der Ersten Republik kamen zwei bedeutende private Sammlungen ins Museum: 1931 als Stiftung Teile der Kunstsammlung des 1927 verstorbenen Bankiers Albert Figdor und 1932 als Legat die Sammlung des Industriellen Gustav Benda.

Ende 1933 erfuhr das Amt des Ersten Direktors – dem autoritären Zeitgeist entsprechend – eine deutliche Aufwertung, neben der Vertretung des Hauses nach außen oblagen ihm alle Ausstellungs-, Personal- und Raumentscheidungen. Neuer Erster Direktor wurde 1934 der bis dahin als Leiter der Albertina fungierende Alfred Stix. Die Befugnisse der Sammlungsdirektoren wurden auf die wissenschaftliche und konservatorische Verwaltung der ihnen anvertrauten Sammlungen beschränkt. Nicht nur das Kunsthistorische Museum versuchte fehlende Mittel für den Ankauf wertvoller Kunstobjekte, die in Folge der Wirtschaftskrise in großer Zahl am Kunstmarkt zu erwerben waren, durch den von musealen Fachkommissionen ab 1923 bewilligten Verkauf und Abtausch von Doubletten zu lukrieren. Zum Zweck der besseren Sammlungsprofilierung sollte zudem zwischen den staatlichen Museen getauscht werden. Wenn auch schon in der Ersten Republik vorbereitet, fielen diese Veränderungen bereits in die Zeit des Austrofaschismus bzw. des NS-Regimes: 1935 erhielt die Antikensammlung Zuwachs aus der prähistorischen Sammlung des Naturhistorischen Museums und 1940 aus dem Staatlichen Kunstgewerbemuseum in Wien, 1935 gab die Waffensammlung die während des Ersten Weltkrieges an das Heeresmuseum verliehenen Gegenstände an dieses ab, und 1936 erhielt die Handschriftensammlung der Nationalbibliothek Schriften aus der Ambraser Sammlung. Ab 1934 übersiedelte die Waffensammlung vom Museumshauptgebäude in die Neue Burg (Eröffnung der Neuaufstellung 1936), in den frei werdenden Räumen im Hochparterre wurde die Sammlung für Plastik und Kunstgewerbe präsentiert. Die Gemäldegalerie eröffnete eine Abteilung der österreichischen gotischen Tafelmalerei. Um die Erwerbung des aus dem Prämonstratenserstift Wilten bei Innsbruck stammenden Kommunionskelchs aus den 12. Jahrhundert zu ermöglichen, wurden gegen Ende des Dollfuß-Schuschnigg-Regimes noch einige Objekte, darunter eine wertvolle Tapisserie, veräußert.

Am 15. März 1938, unmittelbar nach dem "Anschluss", übernahm der bis dahin als Kustos im Münzkabinett angestellte Kunsthistoriker Fritz Dworschak kommissarisch die Führung der Geschäfte des Ersten Direktors. Alfred Stix hatte so wie vier weitere leitende Beamte seinen Arbeitsplatz verloren. Weitere Kündigungen aus politischen und "rassischen" Gründen sollten folgen. Langjährige NSDAP-Mitglieder wie der Waffenexperte Leopold Ruprecht, der Numismatiker Fritz Manns und der Bibliothekar Karl Ortner besetzten die frei gewordenen Positionen. Regelmäßige Betriebsappelle fanden nun statt, am 26. März 1938 wurde im Rahmen eines solchen die von Rudolf Noll, einem engagierten Nationalsozialisten und Kustos der Antikensammlung, gestaltete Propagandaausstellung zur "Volksabstimmung" am 10. April 1938 eröffnet. Ab August 1938 unterstand dem kommissarischen Leiter eine ausschließlich aus ehemals illegalen Nationalsozialisten bestehende Museumswache, die anstelle der Polizei das Areal von Albertina, Schatzkammer, Neuer Burg und Kunst- sowie Naturhistorischem Museum bewachte. Noch 1938 empfand es Fritz Dworschak als "heilige Verpflichtung", zwei überlebensgroße Hitlerbüsten für das Vestibül des Kunsthistorischen Museums und die Neue Burg bei den Bildhauern und Medailleuren Edwin Grienauer und Wilhelm Fraß in Auftrag zu geben. Die Arbeitsschwerpunkte verschoben sich für einige Museumsangestellte, wie etwa im Jahresbericht des Münzkabinetts von 1939 zu lesen ist: "Vor allem erfordert die Katalogisierung des in Fluß geratenen privaten Kunstbesitzes und die ständige Zusammenarbeit mit der Gestapo einen guten Teil jener Zeit, die früher der Tätigkeit an den Sammlungen des Hauses gewidmet war." Die Klage über die zeitliche Beanspruchung der Kustoden für externe Arbeiten verdeckt in dieser Aussage den Umstand, dass der Kunstmarkt vor allem durch die Maßnahmen des NS-Regimes in Bewegung kam (unmittelbar nach dem "Anschluss" einsetzende Beschlagnahmen und Sicherstellungen, verpflichtende Vermögensanmeldungen). Durch die Einrichtung des Zentraldepots für beschlagnahmte Sammlungen in der Neuen Burg im Herbst 1938 erhoffte sich das Kunsthistorische Museum privilegierten Zugriff auf die seit März 1938 systematisch ihren als jüdisch geltenden EigentümerInnen entzogenen Kunstgegenstände zur Erweiterung der eigenen Sammlungsbestände. Den von allen interessierten Institutionen angefertigten Wunschlisten wurde nur in kleinem Ausmaß entsprochen, da zum einen die Verfügungsgewalt über die entzogenen Objekte seit dem Erlass der Reichskanzlei vom 18. Juni 1938 Hitler vorbehalten war ("Führervorbehalt") und einiges für das in Linz projektierte Museum reserviert wurde, zum anderen auch die Museen in Wien, Linz, Graz, Klagenfurt und Innsbruck um die besten Stücke konkurrierten. Adolf Hitler besichtigte das Zentraldepot, das unmittelbar an die Ausstellungsräume der Waffensammlung anschloss, am 25. Oktober 1938, nur wenige Wochen nach seiner Einrichtung, ein zweiter Besuch folgte am 11. Juni 1939. Die Aufgaben des Museums erweiterten sich in der NS-Zeit: Mit der Ende 1938 neu geschaffenen Stelle des sogenannten "Außenamts" wurde der Historiker Alphons Lhotsky betraut, dem die Kontaktpflege zu Film, Rundfunk, Presse und Parteistellen, die Organisation von Führungen und Vorträgen sowie die Wahrung von Reproduktionsrechten, ab 1942 auch die Leitung des Photoateliers oblagen. Auch ein von der Architektin Helene Buchwieser geführtes Bauamt wurde im Kunsthistorischen Museum eingerichtet, um verschiedene bauliche Vorhaben umzusetzen; es wurde im November 1940 kriegsbedingt allerdings wieder eingespart. 1939 wurde die aus der Sammlung für Plastik und Kunstgewerbe herausgelöste Sammlung alter Musikinstrumente im Palais Pallavicini eingerichtet.

Fritz Dworschak leitete die Bergungsmaßnahmen für die Wiener Museen von 1939 bis 1942. Einen Tag vor Kriegsbeginn hatte die Bergung der wertvollsten Objekte des Kunsthistorischen Museums und auch des Zentraldepots begonnen. Bereits am 15. Oktober 1939 eröffnete eine Kriegsausstellung aus nicht geborgenen Beständen. Nach weiteren Bergungen und Umgruppierungen wurde im November 1941 die neu aufgestellte Kriegsgalerie präsentiert. Im März 1940 zeigte das Kunsthistorische Museum Neuerwerbungen seit der Wiedervereinigung Österreichs mit dem Deutschen Reiche in der Neuen Burg, weitere Ausstellungen mit NS-Propagandacharakter folgten, wie etwa die ab April 1941 in der Neuen Burg arrangierten Rückführungen aus dem Musée de l’Armée in Paris oder die ebendort ab November 1941 präsentierte Sonderausstellung zum Tag der deutschen Hausmusik. Im Sommer 1942 zeigte das Haupthaus Die deutsche Gußmedaille. Mit der Aufhebung des Deutschen Ordens und des Ordens vom Goldenen Vlies bzw. der Einziehung von verschiedenen Klostersammlungen, vor allem der Angliederung des aufgehobenen Stifts Klosterneuburg, erfuhr das Kunsthistorische Museum nicht nur einen bedeutenden Zuwachs an kunst- und kulturhistorischen Beständen, sondern auch eine Kompetenzerweiterung, die sich unter anderem an der stetig steigenden Zahl der MitarbeiterInnen ablesen lässt: Anfang 1938 lag der Gesamtpersonalstand des Museums noch bei 123, Anfang 1939 schon bei 200, Ende 1941 bei 299 und im Frühjahr 1945 schließlich bei 343 Personen.

Nach dem Krieg galten 118 MitarbeiterInnen (111 Männer, davon 36 aus der Museumwache, und 7 Frauen) des Kunsthistorischen Museums als registrierungspflichtig gemäß Verfassungsgesetz zum Verbot der NSDAP vom 8. Mai 1945. Nicht alle verloren ihre Anstellung, 16 registrierungspflichtige Personen waren im April 1947 noch im Museum beschäftigt. Dworschak bezifferte den budgetären Aufwand für "Erwerbungen und (bauliche) Herstellungen" im Zeitraum von 1938 bis 1945 rückblickend mit 2.002.297 Reichsmark an ordentlichen und 1.820.800 Reichsmark an außerordentlichen Mitteln (Sonderkredit der Reichsstatthalterei), die Zahl der Neuinventarisierungen in diesem Zeitraum lag nach der von Herbert Haupt und Lydia Gröbl 1998 verfassten "Sachverhaltsdarstellung über die Veränderungen im Inventarbestand der NS-Zeit" bei 19.651 Objekten (davon 15.137 im Münzkabinett). Ein gutes Drittel davon, konkret 7.188 (inklusive 7.080 Münzen und Medaillen), wurde laut Sachverhaltsdarstellung nach dem Krieg an die EigentümerInnen bzw. deren RechtsnachfolgerInnen zurückgestellt. Der schon im Hinblick auf das Kunstrückgabegesetz vom 4. Dezember 1998 erstellte und im Archiv des Kunsthistorischen Museums einsehbare Bericht benannte außerdem 772 bedenkliche bzw. vermutlich bedenkliche Objektzugänge, für die in weiterer Folge Dossiers – entweder Einzelobjekte oder in einem Erwerbungszusammenhang stehende Objektgruppen betreffend – verfasst und dem Kunstrückgabebeirat vorgelegt wurden. 39 Dossiers aus dem Kunsthistorischen Museum hat der Kunstrückgabebeirat seit 1998 behandelt, für mehr als 1.000 Objekte (darunter 669 Münzen und Medaillen) sprach der Beirat eine Rückgabeempfehlung aus. Dossiers zu folgenden Sammlungen wurden dem Kunstrückgabebeirat vorgelegt (in alphabetischer Reihenfolge): Guido Adler, Isolde Ahlgrimm und Erich Fiala, Elizabeth Bondy, Oscar Bondy, Jaromir Czernin, Deutscher Orden, Stefan Paul und Vera Dukes, Hermann Eissler, Otto Feist, Siegfried Fuchs, Leo Fürst, Frida Gerngross, Jacques Goudstikker, Rudolf Gutmann, Marianne Hamburger-Löw, Leo Heymann, Bruno Jellinek, Ernst Kris, Moritz Kuffner, Anton Lanckoroński, Erich Lederer, Felix und Josefine Löw-Beer, Robert Mayer, Giulietta Mendelssohn, Alfred Menziles, Richard Neumann (2), Albert Pollak, Rudolf Raue, Carl Reininghaus, Eduard Reiseneder, Moritz Rothberger (2), Alphonse, Clarice & Louis Rothschild (3), Valentine Springer, Silbermann/Weinstein, Mary (Marie) Wooster, Sammlung Zsolnay.
Aufbauend auf den grundlegenden Arbeiten des Historikers und ehemaligen KHM-Archivdirektors Herbert Haupt zur Geschichte des Kunsthistorischen Museums im Nationalsozialismus wird die Provenienzforschung seit 2009 systematisch und dem in eben diesem Jahr novellierten Kunstrückgabegesetz folgend mit erweitertem Blick fortgeführt.