Die institutionellen Wurzeln des Heeresgeschichtlichen Museums reichen in die Mitte des 18. Jahrhunderts zurück, als im kaiserlichen Zeughaus in der Wiener Renngasse spätestens ab 1759 eine öffentlich zugängliche Ausstellung kaiserlicher Harnische, Prunkwaffen, Kriegstrophäen und Erinnerungsstücke bestand. Diese übersiedelte 1856 in das 1849 erbaute Wiener Arsenal, wo 1869 das k. k. Hofwaffenmuseum eröffnete und die neugeordneten Bestände des früheren Zeughauses präsentierte. 1881 verfügte Kaiser Franz Joseph die Unterstellung dieser Hofwaffensammlung unter das k. k. Kunsthistorische Hofmuseum, in dessen neues Gebäude am Ring sie schließlich 1888 übertragen wurde. Im Jahr 1885 genehmigte der Kaiser die von Generalartillerieinspektor Erzherzog Wilhelm angeregte Gründung des k. k. Heeresmuseums, welche Kronprinz Rudolf als Kuratoriumsvorsitzender besonders förderte. Die offizielle Eröffnung des nunmehrigen k. u. k. Heeresmuseums durch den Kaiser fand am 25. Mai 1891 statt. Bis zum Ersten Weltkrieg erlebte das Heeresmuseum einen langsamen, aber stetigen Ausbau. Für die Ausrichtung des Museums prägend waren dabei der Langzeitdirektor Wilhelm John (1903–1934) und dessen Stellvertreter Alfred Mell. Sie kuratierten 1909 die im k. k. Österreichischen Museum für Kunst- und Industrie gezeigte Erzherzog Karl-Ausstellung, die mit rund 265.000 BesucherInnen innerhalb von zwei Monaten außergewöhnlich erfolgreich war. Am 27. Juli 1914 – am Vortag der Kriegserklärung – schloss das Heeresmuseum für das Publikum und sollte erst im September 1921 wieder zugänglich sein. Wilhelm John und Alfred Mell gelang es jedoch während des Krieges eine systematische Sammelaktivität zu entfalten, welche sich die umfassende Darstellung des Krieges zum Ziel setzte. Damit sollten der bisherige Sammlungs- und Ausstellungsfokus deutlich ausgedehnt und die rückwärtigen Strukturen der Armee, das Hinterland und die sozioökonomischen und kulturellen Implikationen des Krieges ebenfalls in den Blick genommen werden. Zudem gelang es Wilhelm John über Kontakte zum k. u. k. Kriegspressequartier eine umfangreiche Kriegsbildersammlung von bei Kriegsende rund 6.000 Werken aufzubauen. Selbst für den Besuch geschlossen, wirkte das Heeresmuseum als Leihgeber zahlreicher Ausstellungen und hatte insbesondere an den beiden Kriegsausstellungen im Wiener Prater 1916 und 1917 einen wichtigen Anteil. Das Kriegsende stellte die Zukunft des Heeresmuseums, das der vor ihrer Auflösung stehenden k. u. k. Armee angehörte, in Frage. Erst im März 1920 übernahm die Republik Österreich das Museum schließlich als Österreichisches Heeresmuseum in die Verwaltung des Heeresressorts. Trotz anfänglicher Aufteilungs- oder Verkaufsabsichten konnte die Sammlung des Heeresmuseums weitgehend erhalten bleiben. Lediglich an die ungarische Regierung musste das Museum bis 1932 umfangreiche Bestände abgeben. Während der nachfolgenden Jahre war das Heeresmuseum vor allem mit der institutionellen Konsolidierung und Aufarbeitung der damals noch sehr umfangreichen Sammlung aus dem Ersten Weltkrieg befasst. 1923 eröffnete das Heeresmuseum als ersten neuen Dauerausstellungsbereich eine Kriegsbildergalerie mit Kunstwerken aus der Zeit des Ersten Weltkrieges. Weitere dem Weltkrieg gewidmete neue Dauerausstellungsabschnitte wurden erst unter der Direktion Alfred Mells (1934–1949) fertig gestellt, der auf den 1934 überraschend verstorbenen Wilhelm John gefolgt war. Hinsichtlich der Präsentationsformen und des erstmalig in großem Umfang eingesetzten Mediums der Fotografie brachten diese neuen Ausstellungsbereiche wichtige Innovationen. Zugleich fügte sich das Heeresmuseum in die Geschichtspolitik des austrofaschistischen Ständestaates ein, die auf ein ideologisches Anknüpfen an die Habsburgermonarchie zielte. Auf dieser Grundlage gelang es Alfred Mell, auch gegen vehementen Widerstand anderer Museen, die Zuteilung von Räumlichkeiten im ersten Stock des Mitteltraktes der Neuen Burg durchzusetzen, in der die umfassende Dauerausstellung zum Ersten Weltkrieg eingerichtet werden sollte.
Der "Anschluss" im März 1938 und die dadurch bedingten veränderten geschichtspolitischen Umfeldbedingungen machten dieses zentrale Vorhaben Mells jedoch zunichte. Dennoch hatte Mell die Angliederung an NS-Deutschland zunächst euphorisch begrüßt und war auch bereit, die nunmehr im Heeresmuseum platzgreifende Umdeutung der österreichischen Militärgeschichte im großdeutschen und nationalsozialistischen Sinne mitzutragen, wie etwa die Aufstellung einer Büste Hitlers sowie von Büsten deutscher Feldherren des Ersten Weltkrieges in der Ruhmeshalle – dem zentralen Repräsentationsraum des Museums – zeigte. Das Oberkommando des Heeres unterstellte das Heeresmuseum schon 1938 dem Chef der Heeresmuseen in Berlin, General Friedrich Roese und schränkte damit dessen Autonomie erheblich ein. Nach Beginn des Zweiten Weltkrieges wurde das Heeresmuseum zunehmend für progandistische Zwecke des NS-Regimes und zur ideologischen Mobilisierung der Bevölkerung und der Wehrmachtsangehörigen instrumentalisiert. An die Stelle der Befassung mit der österreichischen Militärgeschichte traten daher "Beuteschauen" und Sonderausstellungen zum Kriegsgeschehen. Diese organisierten zum Teil andere Wehrmachtsdienststellen, die Mehrzahl ging jedoch von den Mitarbeitern des Hauses aus. Die dem Museum von der Wehrmacht zugedachte propagandistische Funktion hatte auch zur Folge, dass das Heeresmuseum mehr Schauen als je zuvor zeigte, sich sein Budget zwischen 1938 und 1944 verdoppelte, es eine gesteigerte Medienpräsenz erreichte und so BesucherInnenrekorde erzielte. Unter den MitarbeiterInnen des Heeresmuseums befanden sich 1945 vier NSDAP-Anwärter sowie zwei NSDAP-Mitglieder. Von diesen war lediglich Ludwig Jedlicka bereits vor 1938 beigetreten. Keiner von ihnen hatte zwischen 1938 und 1945 eine leitende Funktion inne. Alle sechs Personen wurden gegen den Willen Alfred Mells 1945 entlassen. Dieser hatte sich 1938 ohne Parteimitgliedschaft im Amt des Direktors behauptet. Eine Nähe zu nationalsozialistischem Gedankengut – ohne Parteimitglied gewesen zu sein – wies jedoch zweifellos der für die Kunstsammlung zuständige Kunsthistoriker Bruno Wikingen auf, der 1919 und 1920 der Sturmkompanie des Freikorps Marine-Brigade Ehrhardt angehört hatte und mit diesem am 13. März 1920 am Kapp-Putsch in Deutschland beteiligt gewesen war. Von den diskriminatorischen Maßnahmen des NS-Regimes war lediglich der Referats- und spätere Abteilungsleiter Eduard Wettendorfer betroffen. Er wurde zunächst als "Mischling 1. Grades" eingestuft und war ab Oktober 1938 von der Entlassung bedroht. Auf Intervention Mells wurde er vorläufig im Dienst belassen, durfte jedoch keine Führungsposition übernehmen. Nachdem ihm ein "Abstammungsbescheid" des "Reichssippenamtes" im Oktober 1942 bescheinigt hatte, kein "Mischling 1. Grades" zu sein, wurde er zum Leiter der 4. Abteilung befördert. Dem Heeresmuseum als Heeresinstitution waren ab 1938 Ankäufe von als jüdisch geltenden AntiquitätenhändlerInnen untersagt. Zugleich versuchte es aktiv von "Arisierungen" und Sammlungsbeschlagnahmungen zu profitieren, wozu es seine Interessen auch initiativ bei der Zentralstelle für Denkmalschutz anmeldete. Dadurch gelangten mehr als 50 Objekte in die Sammlungen des Heeresmuseums, hinzu kamen 58 durch die Gestapo zugewiesene Objekte. Zudem erwarb das Museum einige Kunstwerke und andere Gegenstände direkt von durch das NS-Regime verfolgten Personen. Nach derzeitigem Kenntnisstand machten diese jedoch nur einen geringen Anteil der mehr als 24.000 zwischen 1938 und 1945 in die Sammlung gelangten Objekte aus, die sich vor allem aus Zuweisungen der Heereszeugämter und in geringerem Maße aus von Reisen Alfred Mells mitgebrachten Stücken speisten, heute aber überwiegend nicht mehr vorhanden sind. Aufgrund der Zugehörigkeit des Museums zur Wehrmacht begannen Bergungsmaßnahmen erst im Herbst 1942. Sie dauerten bis Herbst 1944 an und wurden vom Direktor und den Luftschutzleitern Adolf Spalenka und Eduard Wettendorfer geleitet. Die geborgenen Objekte verteilten sich auf 15 Örtlichkeiten in Wien, Niederösterreich, Oberösterreich, der Steiermark, im Burgenland und im heutigen Tschechien, was die Bewachung und konservatorische Maßnahmen erschwerte. Am 10. September 1944 zerstörte ein Luftangriff den Nordostflügel des Museumsgebäudes weitgehend, am 11. Dezember 1944, 15. Jänner 1945 und 23. März 1945 erlitten weitere Büros, Depots und Werkstätten des Museums Bombentreffer.
Im Juni 1945 transportierte ein sowjetisches Trophäenbataillon mit rund 16.000 Objekten beinahe die gesamte historische Sammlung an Handfeuerwaffen und Teile der Blankwaffensammlung ab. An den Bergungsorten kam es darüber hinaus in den nachfolgenden Jahren zu Plünderungen durch die lokale Bevölkerung und Besatzungssoldaten. Insgesamt betrugen die Sammlungsverluste bis 1950 geschätzte 40 Prozent des Gesamtbestandes, wobei einzelne Bereiche wie z. B. die Modellsammlung, die Sammlung neuerer Uniformen und die Gewehrsammlung Verluste bis zu 95 Prozent zu verzeichnen hatten. Ab Jänner 1946 übernahm das Bundesministerium für Unterricht (BMU) die Zuständigkeit für das Heeresmuseum, das nun den Namen Heeresgeschichtliches Museum (HGM) erhielt. Alfred Mell blieb durchgehend bis 1949 dessen Direktor. Ihm folgte 1950 interimistisch Géza Kövess und schließlich Rudolf Pühringer, der das Museum bis 1956 leitete. Obwohl anfänglich umstritten, ließ das BMU das zerstörte Museumsgebäude wiederaufbauen. Das HGM erwarb zwischen 1945 und 1955 etwa 20.000 neue Objekte, um Lücken in der Sammlung zu schließen, und trug durch Geschützmetallverkäufe selbst zur Finanzierung seines Wiederaufbaus bei. Bei der Wiedereröffnung am 24. Juni 1955 standen dem Museum zum ersten Mal in seiner Geschichte sämtliche Flächen des Gebäudes zur Verfügung und die neuen Ausstellungen intendierten nunmehr die Darstellung ganzer militärhistorischer Epochen in ihren politikgeschichtlichen und kulturhistorischen Bezügen. Ab 1957 behandelte erstmalig ein eigener Saal die Marinegeschichte, doch endeten die Ausstellungen vorerst noch beim Jahr 1914. Erst ab 1988 umfassten die Dauerausstellungen auch den Ersten Weltkrieg. Der Zeitraum 1918 bis 1945 folgte im Jahr 1998.
Das HGM restituierte in den Jahren nach 1945 21 Objekte, die aus in der NS-Zeit entzogenen Sammlungen stammten, an die rechtmäßigen EigentümerInnen. Weitere 17 Objekte, die nach den Rückstellungsgesetzen zu restituieren gewesen wären, waren durch Bombentreffer oder Plünderungen verloren gegangen. Seit März 1998 ist das Heeresgeschichtliche Museum/Militärhistorische Institut (HGM/MHI) zudem an der Arbeit der Kommission für Provenienzforschung beteiligt und erstellte bislang Dossiers, Dossierbeiträge und Sachverhaltsdarstellungen zu Oscar Bondy, Viktor Ephrussi, Eduard Epstein, Hanns Fischl, Siegfried Fuchs, Emilio Hofmannsthal, Saul Juer, Albert Klein, Gisela und Ernst Pollack, Albert Pollak, Geza Rado, Alphonse Rothschild, Franz Ruhmann und Valentine Springer. 219 Objekte konnte das HGM/MHI seither bereits an die jeweiligen RechtsnachfolgerInnen zurückgeben, in Bezug auf 72 Gegenstände ist die ErbInnensuche hingegen noch nicht abgeschlossen.