Josef Siller arbeitete nach Schulabschluss im Gastronomiebetrieb seiner Eltern, der Meierei Siller in Wien 1, Kaiser-Ferdinands-Platz (ab 1919 Schwedenplatz) 3, den er 1898 übernahm. Später eröffnete Siller dort ein Hotel, das sich bald als sogenanntes Kleines Sacher etablieren sollte. Neben seiner 1903 im Zuge seiner Verehelichung mit Anna, née Gilly, begonnenen Sammeltätigkeit und der Förderung junger KünstlerInnen engagierte sich Siller ab 1907 bei der Genossenschaft der bildenden Künstler Wiens im Künstlerhaus. Josef Siller zählte zu den bedeutendsten privaten KunstsammlerInnen Wiens, wiewohl sich auch Anna Siller dem Sammeln von Glas- und Porzellanware verschrieben hatte. Die zum überwiegenden Teil im Hotel untergebrachte Sillersche Sammlung beinhaltete neben kunsthandwerklichen Objekten rund 1.500 Gemälde des 19. und 20. Jahrhunderts, darunter Werke von Ferdinand Georg Waldmüller, Hans Makart, Emil Jakob Schindler, Rudolf v. Alt, Hans Canon, Moritz Schwind, Peter Fendi, Gustav Klimt, Egon Schiele, Anton Faistauer sowie Künstlern des Leibl-Kreises. Siller erwarb Kunst aus Nachlässen anderer SammlerInnen, etwa von Albert Figdor und Gottfried Eissler. Widmungen Josef Sillers an die Österreichische Galerie sind zwischen 1914 und 1924 nachweisbar. Etwa bei der 30. Ausstellung der Neuen Galerie in Wien mit dem Titel Das unbekannte XIX. Jahrhundert in Werken österreichischer Kunst trat er 1927 als Leihgeber zahlreicher Exponate auf. Bei einem Brand im Münchner Glaspalast am 6. Juli 1931 kamen Leihgaben aus Sillers Sammlung zu Schaden. 1934 übernahmen Josef und Anna Siller das vor dem Konkurs stehende Hotel Sacher. Außerdem erwarb Anna Siller mit Hilfe ihres Rechtsanwaltes Hans Gürtler 1938 den sogenannten Daringerhof in Wien 19, Sieveringerstraße 36, wobei es sich um einen Zwangsverkauf der nach Palästina geflüchteten Margarethe Ticho und Lea Roth handelte. Im selben Jahr eignete sich Josef Siller von der als Jüdin geltenden Clarisse (Clarence) Endlweber, die 1942 im Ghetto Theresienstadt ermordet werden sollte, Liegenschaften in Hetzendorf, Wien 12, nahe dem seit 1904 im Sillerschen Familienbesitz stehenden Gallhof an, in dem er das Meierei Café Siller einrichtete. Die Gauleitung Wien attestierte dem Geschäftsmann Siller 1938 eine ablehnende Haltung gegenüber dem NS-Regime. 1940 verdächtigte die Gestapo Siller der illegalen politischen Betätigung, daraus resultierende polizeiliche Maßnahmen gegen Siller lassen sich in den erhaltenen Quellen jedoch nicht nachweisen. Das Institut für Denkmalpflege verfügte die Sicherstellung der zum Teil auf die "Reichsliste national wertvollen Kunstguts" gesetzten Sammlung Sillers am 23. August 1943. Diese hob sie jedoch mit 9. September 1943 wieder auf, nachdem die von Siller vorgeschlagenen Bergungsmaßnahmen im Luftschutzkeller am Schwedenplatz den Vorgaben des Institutes für Denkmalpflege letztlich entsprachen. Die dort aufbewahrten Werke fielen schlussendlich der kriegsbedingten Zerstörung der darüber liegenden Gebäude im April 1945 zum Opfer.

Neben der Hausruine am heutigen Schwedenplatz 3–4 in Wien 1 hinterließ der 1948 verstorbene Siller zahlreiche Grundstücke und Liegenschaften in Grinzing, Altmannsdorf, Hetzendorf, Liesing, Breitenfurt und am Rosenhügel, sowie die Sacher-Häuser in der Wiener Innenstadt. In seiner Verlassenschaft fand kein einziges Kunstobjekt Erwähnung. Anna Siller einigte sich nach dem Ableben ihres Mannes bezüglich des Daringerhofs mit den ursprünglichen Eigentümerinnen in einem außergerichtlichen Vergleich. 1950 schenkte sie der Österreichischen Galerie ein Werk Karl Sterrers, das sich als Leihgabe Josef Sillers schon seit 1928 im Museum befunden hatte. Zugleich gab die Österreichische Galerie die Leihgabe Dame mit Hut von Anton Faistauer an sie zurück, die in einem nicht näher definierten Bergungsdepot die Kriegsjahre überdauert hatte. Anna Sillers Suche nach den zur privaten Bergung in die Villa in Hetzendorf verbrachten und vermutlich entwendeten Sammlungsobjekten blieb dagegen erfolglos. Josef Siller scheint als Vorbesitzer einiger Kunstwerke auf, die sich heute u. a. in österreichischen Sammlungen und Bundesmuseen befinden und dort gegebenenfalls Gegenstand der systematischen Provenienzforschung sind – bisher wurde kein NS-bedingter Entzugskontext festgestellt.