Ludwig Baldass studierte Kunstgeschichte an den Universitäten Graz, Halle, München und Wien und promovierte schließlich 1911 in Wien. Zunächst war Baldass, der als Experte auf dem Gebiet der niederländischen und der gotischen Malerei galt, Volontär und ab November 1912 Assistent an der Gemäldegalerie des Kunsthistorischen Museums in Wien. Nachdem er als Sachverständiger ein gefälschtes Bild als echt beurteilt hatte, kam es 1924 zu einem Verfahren vor dem Landesgericht Wien, bei dem Baldass als Zeuge auftrat und die beiden Kunsthändler Philipp Überall und Johann Markytan, die dieses Gutachten in Auftrag gegeben hatten, zu mehreren Monaten Kerker verurteilt wurden. 1926 habilitierte sich Baldass und war seitdem Dozent für Kunstgeschichte an der Universität Wien, 1934 wurde ihm der Titel außerordentlicher Professor verliehen. Baldass katalogisierte die Gemälde der Sammlung Albert Figdor, wofür er das Bild Christus vor Kaiphas als Geschenk erhielt, das er 1930 der Gemäldegalerie des Kunsthistorischen Museums widmete. Heute befindet es sich im Bestand der Österreichischen Galerie Belvedere. Nur wenige Tage nach dem "Anschluss", am 16. März 1938, bestellte ihn der kommissarische Leiter des Kunsthistorischen Museums Fritz Dworschak zum provisorischen Leiter der Gemäldegalerie, womit er Alfred Stix, dem die Pensionierung nahegelegt worden war, nachfolgte. Mit Erlass vom 22. April 1938 entzog ihm jedoch das Ministerium für innere und kulturelle Angelegenheiten seine venia legendi, da es ihm Kontakte zum "jüdischen Kunsthandel" vorwarf. Auch seine im Frühsommer 1938 beantragte Aufnahme in die NSDAP sollte im Jänner 1940 vom zuständigen Kreisgericht Wien mit der Begründung abgelehnt werden, dass er "in Anbetracht seiner früheren unsauberen Geschäfte mit jüdischen Kunsthändlern als Mitglied der Partei nicht tragbar" sei. Baldass war in die Bergungen der Kunst- und Kulturgüter der Wiener Museen involviert. Im September 1939 untersuchte er die Bilder des Zentraldepots, die im ehemaligen Rothschildschen Jagdschloss in Steinbach bei Göstling deponiert waren. Bereits im Dezember 1939 löste ihn Bruno Grimschitz auf Weisung des Ministeriums für innere und kulturelle Angelegenheiten als Leiter der Gemäldegalerie ab, während Baldass dort weiterhin als Kustos verblieb. Im November 1940 bat Baldass erfolglos um Versetzung an die Graphische Sammlung Albertina, da er sich im Zuge der Beurteilung des fälschlicherweise Vermeer zugeschriebenen Bildes Der Lesende Mann übergangen fühlte, das Reichsstatthalter Baldur von Schirach vom Kunsthändler Alois Miedl erworben hatte. Baldass, der seit 1921 auch Leiter der Restaurieranstalt der Gemäldegalerie war und im März 1943 von Gert Adriani als solcher ersetzt wurde, bestand auf einer "amtliche[n] Austragung" der Angelegenheit, da er die Nichteinholung seiner Expertise als Disqualifikation seiner Dienstführung betrachtete. Die Reichsstatthalterei lehnte dies jedoch ab. Noch während der NS-Zeit verkaufte er das vermutlich aus einer Privatsammlung stammende Gemälde Brustbild eines rauchenden Greises von Hans Canon an den "Sonderauftrag Linz". Das Bild wird in der Linz-Datenbank des Deutschen Historischen Museums als Alter Mann im Schlafrock mit Zipfelmütze und langer Pfeife geführt. Es gehörte zu jenen Bildern, die in den letzten Kriegstagen aus dem Führerbau in München gestohlen wurden und seitdem als verschollen gelten.

Nach dem Ende des Zweiten Weltkrieges übernahm Baldass wieder die Leitung der Gemäldegalerie. Das Ministerkomitee für Denazifizierung der leitenden Stellen des Öffentlichen Dienstes stellte in der Sitzung vom 9. Februar 1946 wegen ungenauer und unvollständiger Angaben in seinem Fragebogen die Entscheidung im Fall Baldass zurück. In der Folge bat es die Direktion des Kunsthistorischen Museums ihn zu veranlassen, in einer eidesstattlichen Erklärung sein Verhältnis zur NSDAP darzustellen. In seiner Antwort hielt Baldass mit Verweis auf den Verlust der venia legendi und den Entzug der Leitung der Gemäldegalerie sowie der Restaurieranstalt fest, dass er zwar einen Antrag auf Aufnahme in die NSDAP gestellt, aber nie eine Aufnahmeerklärung als Parteianwärter oder als Parteimitglied erhalten hätte. 1947 suchte Baldass um Einleitung eines Disziplinarverfahrens gegen sich selbst an, da er erfahren hatte, dass er in der NS-Zeit "unsauberer Geschäfte mit jüdischen Kunsthändlern" verdächtigt worden war. Da jedoch von der Museumsdirektion keine dahingehenden Hinweise gefunden werden konnte, kam es zu keinem Verfahren. Wurde er im Dezember 1948 noch zum Direktor ernannt, so beantragte er bereits im Februar 1949 aus gesundheitlichen Gründen seine vorzeitige Versetzung in den Ruhestand. Nach ihm wurde 1973, zehn Jahre nach seinem Tod, die Baldassgasse in Wien 21, Leopoldau benannt.