Ernst Königsgarten war einer der besten Fechter der österreichisch-ungarischen Monarchie. 1907 gründete er einen Fechtclub, den Fechtsaal Della Santa, am Schwarzenbergplatz 17 in Wien 4. Er blieb zeitlebens unverheiratet, hatte aber einen unehelichen Sohn mit seiner Schwägerin, Heinrich, der 1907 in Brünn zur Welt kam. Ernst Königsgarten zog 1916 in die Lothringerstraße 3, Wien 1, trat aus der Israelitischen Kultusgemeinde aus und konvertierte zum evangelischen Glauben H. B. Er galt als aktives Mitglied der Wiener Gesellschaft und war Vorstandsmitglied des Theaters in der Josefstadt. Als begeisterter Kurgast im Salzkammergut erwarb er im August 1919 eine Sommervilla in Altaussee, Fischerndorf 59, die mit volkskundlichen Gegenständen, darunter Bauern- und Fayenceschüsseln, Krügen, Skulpturen, Bauernmöbeln, Hinterglasbildern und Ölgemälden ausgestattet war. Das Inventar bestand aus 271 Objekten, die Königsgarten aufgrund der "Verordnung über die Anmeldung des Vermögens von Juden" vom 26. April 1938 in einer im Juni 1938 unterzeichneten Liste erfasste. Im Oktober 1938, vermutlich in Vorbereitung der Flucht in seine Geburtsstadt Brünn und dem ehemaligen Sitz des von seinem Vater gegründeten Familienunternehmens, der Zinn- und Metallwarenfabrik (Ignatz) Ig. Königsgarten, beantragte er von seiner Adresse Argentinierstraße 2, Wien 4, die Ausfuhr von zwei Gemälden und sechs Stichen. Am 21. November 1938 meldete sich Königsgarten offiziell nach Brünn ab. Am 4. Mai 1940 bestellte der Reichstatthalter von Oberdonau den Kurdirektor von Bad Aussee, Eduard Beyrer, zum Treuhänder und kommissarischen Verwalter von Königsgartens Liegenschaft, Königsgarten verlor damit die Verfügungsgewalt über das Objekt. In der Folge wurde am 21. Mai 1940 das Inventar der Villa vor Ort aufgenommen. Dabei wurden 72 volkskundliche Sammlungsgegenstände und die Einrichtung vorläufig sichergestellt und gemeinsam mit Objekten der Sammlung Stefan Mautner in das vom Leiter der Zentralstelle für Denkmalschutz Herbert Seiberl gegründete und schließlich im Gasthof zur Blauen Traube in Bad Aussee eingerichtete Heimatmuseum verbracht. Bereits am 7. Juni 1940 verpachtete Beyrer die Villa Königsgarten an Christine und Karl Kranzer, einen Chauffeur des Gauleiters und Reichsstatthalters von Oberdonau, August Eigruber. Am 2. Oktober 1940 erließ der Reichsstatthalter von Oberdonau einen "Veräußerungsauftrag", wonach Ernst Königsgarten eine zweiwöchige Frist zum Verkauf der Liegenschaft aufgezwungen wurde. Den Preis setzte der Baumeister und Bausachverständige Franz Paral aus Linz mit 5.944 Reichsmark fest. Am 19. Mai 1941 wurde der Kaufvertrag über die Villa zwischen Karl Kranzer und der Reichsstatthalterei Oberdonau unterfertigt. Herbert Seiberl wies darauf hin, dass aufgrund des Eigentümerwechsels der Abtransport eines historischen Ofens aus der Villa nicht mehr realisiert werden konnte. Die "Arisierung" der Villa weit unter Wert führte zur Beanstandung durch Anrainer. Auf der Liegenschaft lastete auch eine Hypothek zugunsten des tschechoslowakischen Staatsbürgers Rudolf Stiassny. Dieser trat jedoch die Hypothek in der Höhe von 150.000 Kronen an seinen langjährigen Angestellten Johann Schneider ab, was zur Einschaltung der Devisenstelle führte. All dies verzögerte die Eigentumsübertragung an Karl Kranzer.

Ernst Königsgarten wurde am 5. Dezember 1941 von Brünn nach Theresienstadt deportiert und am 15. Jänner 1942 ermordet. Danach übernahm die Zentralstelle für jüdische Auswanderung in Prag und Brünn die Verwaltung und Verwertung seines Vermögens. Am 10. Juni 1943 informierte der Auswanderungsfonds für Böhmen und Mähren in Prag den Reichsstatthalter Oberdonau, dass das Vermögen von Ernst Königsgarten dem Auswanderungsfonds übereignet worden sei. 1944 brachte das Institut für Denkmalpflege im Zuge kriegsbedingter Bergungen Teile von Königsgartens Sammlung aus dem Heimathaus in Bad Aussee in den Salzberg nach Altaussee. Nach dem Ende des NS-Regimes befand sich die Liegenschaft im August 1945 in Verfügung der Bezirkshauptmannschaft Gmunden. Die Rückstellung und Eigentumsübertragung an den Sohn und Erben Ernst Königsgartens, der als britischer Staatsbürger den Namen Henry Garton annahm, erfolgte laut Einantwortungsurkunde des Bezirksgerichtes Altaussee am 4. Juni 1948. Am 20. August 1949 wurden 53 Objekte dem Rechtsvertreter Henry Gartons, Wolfgang Branczik, aus dem Kunstdepot Salzberg übergeben. Der Verbleib der restlichen 19 Objekte ist ungeklärt.