Der spätere Jurist und Kunstsammler Walther Kastner wurde 1902 in Gmunden geboren und wuchs in Linz auf, wo er das Realgymnasium besuchte. Nach einem abgebrochenen Studium der Kunstgeschichte, Germanistik und Psychologie an der Universität Wien trat er eine Stelle bei der Bank für Oberösterreich und Salzburg an, wo er aufgrund der wirtschaftlichen Situation 1925 gekündigt wurde. Er begann daraufhin ein Jus-Studium in Innsbruck. Zur Promotion kehrte Kastner nach Wien zurück und absolvierte seine Gerichtspraxis am Bezirksgericht Schiffamtsgasse im zweiten Wiener Gemeindebezirk. Danach wechselte Kastner 1930 in die Finanzprokuratur. Er tätigte erste Kunstkäufe und begann mit dem Aufbau einer privaten Kunstsammlung, deren Schwerpunkt im Bereich der Grafik lag und Werke von Alfred Kubin, Lovis Corvinth, Max Liebermann und Max Beckmann enthielt. Kurz nach dem "Anschluss" Österreichs 1938 erhielt Kastner ein Angebot von Arthur Seyß-Inquart, im Ministerium für innere und kulturelle Angelegenheiten die Abteilung Rechtsetzung und Rechtsangleichung/Wirtschaftsrecht zu übernehmen. Nach eigenen Angaben lehnte es Kastner zu diesem Zeitpunkt ab der NSDAP beizutreten. Er habe sich erst 1942 zu einem Parteieintritt bereit erklärt, der 1943 erfolgte. Aus den Archivquellen geht allerdings hervor, dass Kastner einen ersten Antrag zur Aufnahme in die NSDAP bereits 1940 vorgelegt hatte. Dem Antragsbogen waren mehrere positive Beurteilungen beigelegt, Kastner wurde allerdings nicht unmittelbar in die Partei aufgenommen. Zur tatsächlichen Aufnahme kam es erst nach erneuter Antragsstellung im Jahr 1943 (Mitgliedsnummer 9,021.901). Nach nur wenigen Monaten Tätigkeit im Ministerium war Kastner mit Oktober 1938 als Prokurist in die Österreichische Kontrollbank gewechselt, eine Institution, die während der NS-Jahre eine zentrale Funktion im Bereich der "Arisierungen" großer österreichischer Wirtschaftsbetriebe innehatte. Kastner schrieb in seiner 1982 erschienenen Autobiografie, die Kontrollbank habe 101 "Arisierungen" abgewickelt, was von vorliegenden Dokumenten in etwa bestätigt wird. 1942 endete Kastners Tätigkeit in der Kontrollbank, die nach Erledigung des "Arisierungsauftrags" liquidiert wurde. In der Folge trat Kastner als Vorstandsmitglied in die Semperit AG ein. Er wurde Vorstandsvorsitzender und blieb bis Kriegsende in dieser Funktion.

Ab Mai 1945 stand Kastner als Nationalsozialist im strafweisen Arbeitseinsatz. Er gehörte einem Kunstbergungstrupp an, ab Juni 1946 war er als Hilfsarbeiter im Stift Klosterneuburg eingesetzt. In Bezug auf zwei über die Kontrollbank abgewickelte "Arisierungen" musste sich Kastner vor dem Wiener Volksgericht wegen des Vorwurfs der missbräuchlichen Bereicherung (§ 6 KVG) verantworten, beide Verfahren wurden 1947 respektive 1949 eingestellt. Zu diesem Zeitpunkt war Kastner bereits die gesellschaftliche Reintegration gelungen: Seit 1946 arbeitete er als Jurist für das "Krauland-Ministerium", das Bundesministerium für Vermögenssicherung und Wirtschaftsplanung unter Führung Peter Kraulands (ÖVP). Dort befasste sich Kastner anfangs mit Verstaatlichungsgesetzen, später vor allem aber mit der Rückstellungsgesetzgebung. Alleinverantwortlich konzipierte er das fünfte Rückstellungsgesetz (BGBl. 1949/164). So wurde der ehemalige Verantwortliche für "Arisierungen" zum Verantwortlichen für Rückstellungen, und dies nicht nur in Bezug auf die juristischen Rahmenbedingungen, sondern in manchen Fällen auch in der konkreten Abwicklung. So lag beispielsweise die Zuständigkeit für die Restitution der Bunzl-Biach AG bei Kastner, ein Unternehmen, dessen "Arisierung" er während seiner Tätigkeit in der Kontrollbank selbst betrieben hatte. (Diese aus heutiger Sicht befremdliche Konstellation stellte in der österreichischen Nachkriegsgeschichte allerdings keinen Einzelfall dar.) Seit 1947 betrieb Kastner eine Rechtsanwaltskanzlei und nutzte auch in diesem Zusammenhang sein "Know-How" in Restitutionsangelegenheiten, indem er etwa zahlreiche jüdische NS-Enteignete vertrat, so auch im Bereich der Kunstrestitution. Neben seiner Tätigkeit als Konsulent am Ministerium und als Anwalt saß Kastner in zahlreichen Aufsichtsräten. 1964 erhielt er zudem ein neugegründetes Ordinariat für Handels- und Wechselrecht an der Universität Wien. Mit seinem beruflichen Aufstieg in den 1950er-Jahren hatte auch der systematische (Wieder-)Aufbau seiner Kunstsammlung begonnen. Die ursprüngliche Sammlung war nach Angaben Kastners zum Großteil einem Bombenschaden im Jahr 1945 zum Opfer gefallen. Er legte den Schwerpunkt seiner Sammeltätigkeit nun auf das österreichische 19. Jahrhundert und erwarb seine Objekte vorwiegend bei Auktionen im Wiener Dorotheum. 1975 übergab Walther Kastner große Teile seiner Kunstsammlung als Schenkung an das Oberösterreichische Landesmuseum. Sie umfasste damals etwa 323 Objekte und wurde auf einen Wert von etwa 20 Millionen Schilling geschätzt. Die Schenkung wurde in den nachfolgenden Jahren bis zu Kastners Tod 1994 und danach von seiner Witwe Franziska Kastner (1913–2008) weiter ausgebaut. Rund um eine Ehrendoktoratsverleihung der Universität Wien im Jahr 1992 erhoben sich erstmals kritische Stimmen in Bezug auf Kastners NS-Vergangenheit, ein Teil des Universitätssenats, wenn auch die Minderheit, hatte gegen die Verleihung votiert. Im Zuge der in Österreich in den späten 1990er-Jahren entstandenen Debatte um NS-Kunstenteignung und Restitutionspolitik geriet schließlich auch die Kunstsammlung Kastners unter Verdacht. Dieser Frage wurde in einem Forschungsprojekt des Oberösterreichischen Landesmuseums nachgegangen. Dessen Ergebnisse bestätigten, dass der überwiegende Teil der Kunstsammlung Kastners erst in der Nachkriegszeit erworben wurde und es keinen direkten Zusammenhang zwischen Kastners Tätigkeit als Abwickler von "Arisierungen" bei der Kontrollbank und dem Aufbau seiner Kunstsammlung gab. Direkte Abpressungen oder unmittelbare Übernahme von Kunstgegenständen von NS-Verfolgten waren nicht feststellbar. Es konnten aber mehrere Werke eruiert werden, die Hinweise auf vormalige Enteignungen aufweisen bzw. aus dem Eigentum von NS-Verfolgten stammten und die durch Ankäufe am Wiener Dorotheum oder bei Händlern und Sammlern in den 1950er- und 1960er-Jahren in den Besitz Kastners kamen. Bisher wurde ein Gemälde an die Erbin nach Oskar Reichel restituiert, weitere Fälle werden hinsichtlich einer Restitution geprüft. Die Ergebnisse der Untersuchung im Detail sind auf der Website des Oberösterreichischen Landesmuseums veröffentlicht.