Heinrich Schwarz war das zweite Kind des Industriellen Alois Louis Schwarz und seiner Frau Johanna, née Posamentier. Kurz nach seiner Geburt übersiedelten seine Eltern von Prag nach Wien. Wohl im Laufe seines Militärdienstes im Ersten Weltkrieg, spätestens jedoch 1918, konvertierte Schwarz zum Katholizismus. Nach dem Studium der Kunstgeschichte, Archäologie und Philosophie in Wien und der Promotion bei Max Dvořak über Die Anfänge der Lithographie in Wien arbeitete Heinrich Schwarz zunächst von Oktober 1922 bis März 1923 als Volontär an der Albertina. Anschließend trat er eine Stelle als wissenschaftlicher Hilfsarbeiter an der Österreichischen Galerie im Belvedere unter Franz Martin Haberditzl an. Von Dezember 1927 hatte er dort die Position eines Vertragsangestellten des wissenschaftlichen Dienstes, dann die eines wissenschaftlichen Assistenten und schließlich ab 1935 die eines Kustos II. Klasse inne. Nach eigenen Angaben war Heinrich Schwarz im Jahr 1938 schließlich als Kustos I. Klasse beschäftigt.

Nach dem "Anschluss" Österreichs an das nationalsozialistische Deutsche Reich wurde Schwarz jedoch im Zuge der Repressionen gegen jüdische Beamte am 4. April 1938 als "Nichtarier" aus dem Dienst entlassen. Im gleichen Jahr forderten ihn die Behörden auf, die "Judenvermögensabgabe" zu entrichten. In der dazugehörigen Vermögensanmeldung gab Schwarz auch eine Kunstsammlung mit Gemälden, Zeichnungen, Stichen und Fotografien an, die er in großen Teilen von seinem 1930 verstorbenen Vater noch zu dessen Lebzeiten erhalten hatte. Eine detaillierte Aufstellung der in seiner Wohnung am Schubertring 8 in Wien 1 untergebrachten Werke legte er nicht vor. Heinrich Schwarz besaß jedoch einen eigenen Sammlungsstempel, der sich in Frits Lugts erster Ausgabe von Les marques de collections (1921) unter der Nummer 1372 mit der Bemerkung "zeitgenössischer Sammler" und dem Hinweis, dass die Sammlung erst kürzlich begonnen worden war, findet. Im Jahr 1939 sah sich Heinrich Schwarz aufgrund des zunehmenden Verfolgungsdrucks gezwungen, Österreich zu verlassen. Am 17. März 1939 emigrierte er zunächst nach Kopenhagen, später nach Stockholm und schließlich über Norwegen in die USA, wo er am 3. Februar 1940 in New York einreiste. Um die Ausreise finanzieren zu können, verkaufte Heinrich Schwarz vor bzw. auf der Flucht Teile seiner kunstwissenschaftlichen Bibliothek und Werke aus seiner grafischen Sammlung. Unter den Objekten der Sammlung von Heinrich Schwarz gab es eine Reihe von Zeichnungen des Künstlers Heinrich Reinhold, über den er auch mehrfach publiziert hatte. Einige dieser Zeichnungen versteigerte das Kunstantiquariat C. G. Boerner in Leipzig 1939 und 1941 auf den Auktionen Nr. 201 und Nr. 204.

Nach der Einreise in die USA arbeitete Schwarz 1941 bis 1942 in der Albright Gallery in Buffalo, New York, und von 1943 bis 1953 als Kustos für Gemälde, Zeichnungen und Druckgrafik am Museum of Art der Rhode Island School of Design in Providence, Rhode Island. Danach hatte er Professuren an der Wesleyan University in Middletown, Connecticut und der Columbia University in New York inne und war Kustos der Davison Art Center Collection (Wesleyan University). Schwarz‘ Antrag auf Einbürgerung in die USA vom 18. April 1940 wurde am 24. September 1945 stattgegeben. 1948 heiratete Heinrich Schwarz Elisabeth Arany, née Goldberger. Für während der nationalsozialistischen Diktatur erlittene Berufsschäden erhielt Heinrich Schwarz ab 1954 eine Pension nach dem Beamtenentschädigungsgesetz. 1956 beantragte er gegenüber der Republik Österreich Wiedergutmachung für den Verlust von Wertpapieren, der Einrichtung seiner letzten Wohnung in Wien sowie der Bibliothek. Eine Rückstellung dieser Vermögenswerte erfolgte nach aktuellem Forschungsstand nicht. 2022 wurden vier Werke aus der Klassik Stiftung Weimar und den Staatlichen Kunstsammlungen Dresden an die ErbInnen nach Heinrich Schwarz restituiert. Der Kunstrückgabebeirat empfahl im November 2023 die Rückgabe von zwei Zeichnungen aus der ehemaligen Sammlung Schwarz, die die Albertina 1939 bei C. G. Boerner ersteigert hatte. Für eine 2002 erworbene Fotografie konnte hingegen kein Beleg für eine NS-verfolgungsbedingte Veräußerung festgestellt werden.