Paul Schwarzstein war Eisen- und Metallwarenhändler, der ein Geschäft in Wien 2, Freilagergasse 4 (heute im Bereich der Vivariumgasse), anfänglich gemeinsam mit seinem Partner Arthur Stemmer und nach dessen Austritt 1922 als Alleininhaber führte. In der Leopoldstadt engagierte er sich für das Armeninstitut und war bis Anfang der 1920er-Jahre als Armenrat tätig. Mit seiner Ehefrau Leopoldine, née Schönfeld, und den beiden Töchtern Julia und Edith Schwarzstein wohnte er in der Matthäusgasse 8, Wien 3, wo er auch seine umfangreiche Uhrensammlung aufbewahrte.

Zwei Wochen nach dem "Anschluss" Österreichs an das nationalsozialistische Deutschland beschlagnahmte die Gestapo die in einem Safe in seiner Privatwohnung aufbewahrten Uhren und Mitte April 1938 verhängte das Finanzamt Landstraße eine willkürlich vorgeschriebene Steuerstrafe. Einen Monat später erlitt der 65-jährige Paul Schwarzstein, nach Zeugenaussagen auf Grund der Aufregungen um die "Arisierung" seines Besitzes, einen Herzinfarkt, an dem er verstarb. Zur Abdeckung der "Steuerschuld" sollten die Verlassenschaft und der Erlös aus dem Verkauf der Uhrensammlung herangezogen werden, womit auch die Witwe und die beiden Töchter um ihr Erbe gebracht wurden. Um die Uhrensammlung bemühte sich besonders der Leiter des Uhrenmuseums der Stadt Wien Rudolf Kaftan, der die Sammlung bereits vor der Beschlagnahmung in der Wohnung Schwarzsteins besichtigt hatte. Nach längeren Verhandlungen mit dem Finanzamt Landstraße, Bürgermeister Hermann Neubacher, Vizebürgermeister Hanns Blaschke und dessen Adjutant Bartholomäus Schmid kaufte die Stadt Wien die insgesamt 135 Uhren um 12.000 Reichsmark für das Uhrenmuseum und überwies das Geld an das Finanzamt Landstraße. Leopoldine Schwarzstein musste in eine Sammelwohnung in die Große Mohrengasse 40, Wien 2 übersiedeln, von wo sie am 5. Oktober 1942 in das Vernichtungslager Maly Trostinec deportiert und dort am 9. Oktober 1942 ermordet wurde. Julia Schwarzstein überlebte die NS-Zeit als "U-Boot" in Wien. Edith Schwarzstein, verheiratete Fischer, war im April 1939 gemeinsam mit ihrem Mann Friedrich nach Argentinien geflüchtet.

Von den 135 Uhren der Sammlung gingen 78 an einem Bergungsort (wahrscheinlich in Schloss Thalheim) des Historischen Museums der Stadt Wien verloren. 52 Uhren wurden 1949 auf Grund von Rückforderungen der Familie restituiert, fünf Uhren erhielt das Uhrenmuseum als Schenkung, wahrscheinlich als Anerkennung für die Lagerung oder Aufbewahrung, wie das häufig in der unmittelbaren Nachkriegszeit gehandhabt wurde. Im Zuge der systematischen Provenienzforschung konnte die unrechtmäßige Erwerbung der fünf Uhren festgestellt werden. Nach einem Beschluss der Wiener Restitutionskommission erfolgte 2006 deren Rückgabe an die ErbInnen nach Schwarzstein.