Die Anfänge des heutigen Wien Museums gehen auf die 1860er-Jahre zurück, als der Wiener Gemeinderat eine Kommission für städtische Sammlungen einrichtete, die sich mit dem Erwerb und der Finanzierung von Objekten für ein zukünftiges Stadtmuseum befasste. Das Museum sollte "die Vereinigung aller für die Geschichte und das Culturleben Wiens werthvollen Denkmale" sammeln und diese dem Publikum zugänglich machen. Im Rahmen der Weltausstellung in Wien im Jahre 1873 wurden Am Hof in der Innenstadt das Städtische Waffenmuseum, das aus dem Bürgerlichen Zeughaus hervorging, sowie in den Räumen des Städtischen Pädagogiums in der Hegelgasse 12 eine historische Ausstellung eröffnet. Beide Unternehmungen waren durch den großen Besucherandrang auch finanziell erfolgreich und bewirkten so im Gemeinderat eine breitere Zustimmung für das Projekt eines historischen Museums für die Stadt Wien. 1874 wurde das Waffenmuseum mit dem Wiener Stadt- und Landesarchiv vereinigt. Es dauerte aber noch bis in das Jahr 1887, bis der formelle Beschluss des Gemeinderates erfolgte. 1888 konnte endlich in den Räumen des Rathauses das Historische Museum eröffnet werden. Organisatorisch umfasste das Museum die Wiener Stadtbibliothek und das Wiener Stadtarchiv (heute Wiener Stadt- und Landesarchiv), das allerdings bereits im folgenden Jahr, am 25. Juni 1889, als eigenständige Institution ausgegliedert wurde. Am 12. Juli 1904 wurden das Historische Museum und die Stadtbibliothek (heute Wienbibliothek im Rathaus) in einer eigenen Abteilung zusammengefasst, die auch als "Städtische Sammlungen" bezeichnet wurde. Während des Ersten Weltkriegs war das Museum geschlossen, Ausstellungsräume wurden teilweise als kriegswichtig eingestuften Ämtern überlassen und die Objekte in einigen wenigen Räumen gelagert. Im Juli 1917 erfolgte eine Wiedereröffnung in den noch verbliebenen Räumlichkeiten. Im Wesentlichen blieb das Museum dann in der Zwischenkriegszeit unverändert.

Nach dem "Anschluss" Österreichs an das Deutsche Reich im März 1938 wurde das Museum in die nationalsozialistische Verwaltung eingegliedert und das Personal auf politische Einstellung und "rassische" Zugehörigkeit hin überprüft. Die Beamten mussten einen Diensteid auf Adolf Hitler leisten. Da Oskar Katann, Direktor seit 1936, als politisch nicht zuverlässig galt, wurde er im November 1938 in den Ruhestand versetzt und durch seinen bisherigen Stellvertreter Karl Wagner ersetzt. Gleichzeitig wurde die Stadtbibliothek abgetrennt, deren Leitung Ferdinand Müller übernahm. Durch eine Umstrukturierung in der Stadtverwaltung wurde Vizebürgermeister Hanns Blaschke am 22. September 1938 Leiter der neu gegründeten Gruppe VIII der Magistratsverwaltung, des Kulturamtes, und somit direkter Vorgesetzter der Direktoren von Museum und Bibliothek. In der Folge griffen sowohl Blaschke als auch Reichsstatthalter Baldur von Schirach, der anordnete, von Neuerwerbungen der Städtischen Sammlungen im Vorhinein unterrichtet zu werden, direkt in die Museumsagenden ein. Beim Entzug von Kunstgütern der Wiener jüdischen Bevölkerung fiel dem Museum als klassischem Mehrspartenmuseum, Magistratsabteilung und Museum des Reichsgaues Wien eine besondere Rolle zu. Einerseits war das Haus finanziell gut ausgestattet und konnte daher in den zahlreichen Versteigerungen der unter dem NS-Regime entzogenen Kunstgegenstände eine aktive Rolle spielen, andererseits war das Haus als einziges Museum über den Verteiler der Magistratsabteilung 50, die in Wien die "Sicherstellungsbescheide" ausstellte, bestens über Kunstgegenstände jüdischer SammlerInnen informiert. Dabei erstellten die Städtischen Sammlungen regelrechte "Wunschlisten", die an die Zentralstelle für Denkmalschutz weitergegeben wurden, um bei der Verteilung berücksichtigt zu werden.

Die Luftangriffe auf Wiener Neustadt im August 1943 machten deutlich, dass nun auch für Wien eine erhöhte Gefahr bestand. Das Museum wurde für die Dauer des Krieges geschlossen. Nun begann man mit der schon seit 1941 vorbereiteten Bergung der Objekte in 16 verschiedenen Orten in Niederösterreich (Schloss Glaswein, Grusbach, Kartause Gaming, Kirchstetten, Pfarrhof Klein-Engersdorf, Schloss Laudon, Kartause Mauerbach, Schloss Niederleis, Pfarrhof Pulkau, Schloss Purgstall, Schloss Schönborn, Schloss Seefeld, Burg Stixenstein, Schloss Thalheim, Schloss Waidhofen und Schloss Wald) und einigen Einlagerungsorten in Wien (Hofburg, Teinfaltstraße, Augustinerkeller und Augustinerkirche). Anfang 1944 waren die Auslagerungen abgeschlossen. Im Jänner 1944 wurde das Uhrenmuseum am Schulhof 2 im 1. Wiener Gemeindebezirk geschlossen. Bei einem Bombenangriff im Februar 1945 wurde das Römische Museum in Wien 4, Rainergasse 15, zerstört. Zu Kriegsende waren einige der Bergungsorte von zum Teil massiven Plünderungen durch Soldaten der Roten Armee, abziehende deutsche Truppen sowie die Zivilbevölkerung betroffen, die Sammlungen erlitten bedeutende Verluste.

Im Nachkriegsösterreich wurden sieben Rückstellungsgesetze erlassen. Von den 29 Rückstellungsanträgen dieser Zeit wurden 20 positiv erledigt, die AntragstellerInnen erhielten einen Großteil ihrer Objekte zurück; manche allerdings nur unter der Bedingung, dass sie den seinerzeitigen Kaufpreis bezahlten, obwohl dieser in der NS-Zeit vom Historischen Museum zum Beispiel an das Dorotheum, bezahlt worden, aber nie zu den ursprünglichen EigentümerInnen gelangt war. So geschah dies im Fall Ferdinand Bloch-Bauer, in dem ein vom Museum im Dorotheum ersteigertes Porzellanobjekt erst ausgefolgt wurde, nachdem Bloch-Bauers ErbInnen den seinerzeitigen Kaufpreis erlegt hatten.

Eine systematische und aktive Provenienzforschung begann 1998 auf Anregung von Kulturstadtrat Peter Marboe. Mit Beschluss des Wiener Gemeinderates vom 29. April 1999, der dem Bundesgesetz über die Rückgabe von Kunstgegenständen aus den Österreichischen Bundesmuseen vom 4. Dezember 1998 (Kunstrückgabegesetz, BGBl I 181/1998) nachgebildet ist, wurden die Museen der Stadt Wien verpflichtet, Kunst- und Kulturgegenstände an die ursprünglichen EigentümerInnen oder deren RechtsnachfolgerInnen zu übereignen. Mit einer Novelle des Gemeinderatsbeschlusses vom 29. April 2011 wurde der Geltungsbereich erweitert. So sind nun auch Rechtsgeschäfte und Rechtshandlungen, die mit jenen gemäß § 1 des Bundesgesetzes vom 15. Mai 1946 (BGBl. 106/1946) vergleichbar sind, vom Beschluss erfasst, die zwischen dem 30. Jänner 1933 und dem 8. Mai 1945 in einem Herrschaftsgebiet des Deutschen Reiches außerhalb der heutigen Republik Österreich abgeschlossen oder getätigt wurden. Im zweiten Tatbestand wurde das Wort "unentgeltlich" gestrichen, sodass nun auch Kunst- und Kulturgegenstände zu restituieren sind, die Gegenstand von Rückstellungen waren und nach dem 8. Mai 1945 im Zuge eines Verfahrens nach dem Ausfuhrverbotsgesetz gegen Errichtung eines Kaufpreises in das Eigentum der Stadt Wien übergegangen sind, sofern ein enger Zusammenhang zwischen Verfahren, Ausfuhrverbot und Ankauf nachweisbar ist. Bis 2017 wurden mehr als 3.000 Objekte aus 50 Sammlungen oder Sammlungsteilen folgender SammlerInnen restituiert: Bernhard Altmann, Stefan Auspitz-Artenegg, Richard Beer-Hofmann, Auguste und Josef Blauhorn, Ferdinand Bloch-Bauer, Viktor Blum, Oscar Bondy, Karoline Broch, Laura Broch, Adele Duschnitz, Ernst Egger, Hanns Epstein, Friedrich Fischl, Hanns Fischl, Josef Isidor Fleischner, Siegfried Fuchs, David Goldmann, Alexander Grosz, Moriz Grünebaum, Herbert M. Gutmann, Leo und Helene Hecht, Alfred Hofmann, Josef Hupka, Israelitisches Blindeninstitut auf der Hohen Warte, Bruno Jellinek, Hans Klinkhoff, Wilhelm Viktor Krausz, Ernst Moriz Kronfeld, Familie Lederer, Familie Mautner, Ignaz Pick, Emil Politzer, Gisela und Ernst Pollack, Max Pollak, Franz und Melanie Popper, Adolf Guido Redlich (Adolphus Redley), Oskar Reichel, Heinrich Rieger, Heinrich Rothberger, Alphonse und Louis Nathaniel Rothschild, Franz Ruhmann, Ignaz und Clothilde Schachter, Paul Schwarzstein, Josef Simon, Strauß-Meyszner, Strauß-Simon, Josef Thenen, Josef Ungar, Charles Weinberger, Leopold Weinstein, Marianne Wengraf, Ella Zirner.