Der in Wien geborene Eisenbahnbeamte Alfred Menzeles, der sich 1899 in Menzel umbenannte, war mit Margarethe, née Kornblüh, verheiratet. Mit den beiden Söhnen Hans und Otto lebte die Familie seit 1931 im dritten Wiener Gemeindebezirk in der Rechten Bahngasse 12/3. Nach dem "Anschluss" Österreichs an das Deutsche Reich im März 1938 begann die Familie mit den Vorbereitungen zur Flucht aus Wien. Im Mai 1938 suchte Alfred Menzel bei der Zentralstelle für Denkmalschutz um die Ausfuhr seiner Kunstgegenstände an, darunter neben Ölgemälden und Aquarellen vornehmlich Miniaturen, ostasiatische Schnitzarbeiten und Porzellan. Zur Begutachtung wurden die Städtischen Sammlungen hinzugezogen, die im Zuge der Bewertung ein achtteiliges Tête à tête-Frühstücksservice aufgrund seines Seltenheitswerts für sich beanspruchte. Mit Ausnahme einer Miniatur von Karl Agricola erteilte die Zentralstelle für die übrigen Kunst- und Kulturgüter eine Freigabe. Alfred Menzel, dem es gelang, gemeinsam mit seiner Frau Wien im August Richtung Belgien zu verlassen, überließ die zur Ausfuhr gesperrte Miniatur seinem älteren Bruder Fritz, der diese wiederum im Jänner 1939 an die Albertina verkaufte. Alfred und Margarethe Menzel wurden in dem belgischen Sammellager Mecheln interniert und von dort im September 1943 nach Auschwitz-Birkenau deportiert, wo sie zu einem unbekannten Zeitpunkt umkamen. Ihren beiden Söhnen hingegen war die Flucht nach Palästina bzw. in die USA gelungen. Alfreds Bruder Fritz und dessen Frau Margit hatten es nicht mehr geschafft, Wien zu verlassen. Im März 1941 erfolgte die Deportation der beiden in das Ghetto Modliborzyce im Lubliner Bezirk Janów Lubelski, wo sie spätestens im Herbst 1942 im Zuge der Auflösung des Ghettos und der Verbringung in Vernichtungslager der "Aktion Reinhardt" ermordet wurden.

2003 beschloss die Wiener Rückstellungskommission die Restitution des Frühstücksservices. Der Kunstrückgabebeirat empfahl 2015 die Rückgabe der Agricola-Miniatur aus der Sammlung der Albertina an die RechtsnachfolgerInnen nach Alfred Menzel. Die Übergabe der Miniatur an den in Israel lebenden Enkel erfolgte schließlich im April 2021.