Die kostbare Wohnungseinrichtung des Ehepaares Alice und Arnold Kolb in der Margaretenstraße 78 in Wien 5, die u. a. Werke von Josef Danhauser und Carl Schweninger beinhaltete, wurde 1922 vom Bundesdenkmalamt im Zuge einer Wohnungsanforderung unter Schutz gestellt. Erst im Dezember 1937 hatten die beiden den Umbau eines ihrer Gastronomiebetriebe, des Buffets und Lokals Marshal am Kärntnerring 21 in Wien 1, finalisiert und lehnten daher 1938 den Verkauf desselben entschieden ab, der ihnen aufgrund ihrer jüdischen Herkunft nahegelegt worden war. Laut den Vermögensanmeldungen, die der Ingenieur Arnold Kolb und seine Frau abgeben mussten, besaßen sie zudem das Margaretener Bürgerkino in der Margaretenstraße 78 sowie das Betriebsvermögen der Automatenbauanstalt in der Kärntnerstraße 59. Im Zuge der "Arisierung" und Liquidierung des Gastro-Betriebs und des Kinos wurde auch die Wohnungseinrichtung zur Versteigerung an das Wiener Kunstauktionshaus Kärntnerstraße übergeben. Neben zahlreichen weiteren Einrichtungsgegenständen der Kolbs wurde Josef Danhausers Porträt Ladislaus Pyrker 1940 bei der Großen Wohnungsauktion in der Margaretenstraße 78 versteigert. Der Rechtsanwalt Erich Führer war materiell verfügungsberechtigter Eigentümer des gesamten Vermögens und wickelte die Verwertung des enteigneten Eigentums der Kolbs ab. Zwar war es dem Ehepaar Kolb noch möglich gewesen, in den Jahren 1939 und 1940 Gebrauchsgegenstände nach Triest zu Verwandten zu schicken, sie selbst konnten hingegen der nationalsozialistischen Verfolgungsmaschinerie nicht mehr entkommen. Alice und Arnold Kolb wurden am 2. Juni 1942 in das Ghetto Minsk und in der Folge in das Vernichtungslager Maly Trostinec deportiert und ermordet.

1946 kaufte die Österreichische Galerie das Männerporträt Ladislaus Pyrker vom Sektionschef im Finanzministerium Rudolf Sajovic. 1948 reichten Erich Egon Kolb und Hans Georg Kolb, die Erben von Arnold und dessen Bruder Rudolf Kolb, Rückstellungsanträge betreffend das Margaretener Bürgerkino und die anderen zum damaligen Eigentum der Eltern gehörenden Liegenschaften ein, die zum Teil in Vergleichen sowie Rückstellungen endeten. 2008 empfahl der Kunstrückgabebeirat die Rückgabe des Danhauser-Gemäldes. Die Restitution an die ErbInnen nach Arnold und Alice Kolb erfolgte 2010.