Rudolf Noll studierte klassische Archäologie und Philosophie an der Universität Wien und reichte im Dezember 1929 seine Dissertation Studien zu den Anfängen der Karikatur in der griechischen Vasenmalerei ein. Er war Mitglied der Akademischen Legion und der deutsch-völkischen Fraktion der Wiener Studentenschaft. Nach der Promotion 1930 arbeitete er einige Monate als Bibliothekar am Archäologisch-epigraphischen Seminar der Universität Wien und schloss ein Volontariat in der Antikensammlung des Kunsthistorischen Museums (KHM) in Wien an. 1932 bearbeitete er die archäologischen Bestände im Ferdinandeum in Innsbruck und 1933 inventarisierte er Steinskulpturen der Antikensammlung, bevor er im selben Jahr als Beamter des höheren wissenschaftlichen Dienstes ins KHM aufgenommen wurde. 1935 engagierte er sich als Dienststellenleiter für die wissenschaftlichen Beamten bei der Vaterländischen Front, "um einen echten 'Vaterländer' auszuschalten", wie er 1938 bei seinem Antrag auf NSDAP-Mitgliedschaft angab. Bereits kurz nach dem "Anschluss" Österreichs an das Deutsche Reich sorgte Noll als von der Gauleitung Wien ernannter "Betriebszellenleiter" für regelmäßige Appelle und Turnveranstaltungen im Museum sowie für die politische Überwachung der MitarbeiterInnen, ab August 1938 auch in der Funktion eines Vertrauensmannes des Reichsbundes der Deutschen Beamten. Im Vorfeld der Volksabstimmung über den "Anschluss" organisierte er die am 26. März 1938 in Saal VII der Gemäldegalerie eröffnete Propagandaausstellung Zum 10. April 1938. Im Mai 1938 absolvierte er einen Luftschutz-Ausbildungslehrgang in Berlin und wurde Luftschutzbeauftragter des KHM. Da Noll im Juni 1938 angab, bereits von 1932 bis zum Verbot der NSDAP Mitglied des Kampfopferringes gewesen zu sein, seine Mitgliedskarte jedoch anlässlich einer Hausdurchsuchung verbrannt zu haben, erhielt er rückwirkend die NSDAP-Mitgliedsnummer 6,127.590 mit Eintrittsdatum 1. Mai 1938. Gemeinsam mit dem Numismatiker und Parteigenossen Fritz Manns nahm Noll 1939 an den Ausgrabungen des römischen Carnuntum/Petronell in Niederösterreich teil und unternahm im selben Jahr Studienreisen nach Berlin, Frankfurt am Main und Bad Homburg. Zwar galt er als Luftschutzreferent im Herbst 1939 als unabkömmlich, er ließ die UK-Stellung jedoch im darauffolgenden Jahr aufheben, um im Dezember 1940 zur Wehrmacht bei einer Einheit der Luftnachrichtentruppe einzurücken. 1941 erfolgte seine Ernennung zum Beamten auf Lebenszeit und zum Kustos im KHM.

Von 1945 bis Anfang 1947 befand sich Noll in jugoslawischer Kriegsgefangenschaft. Als ehemaliges NSDAP-Mitglied war er im Juli 1945 des Dienstes enthoben worden und schied nach seiner Rückkehr nach Wien 1947 "mangels eines freien Dienstpostens" als Kustos aus dem KHM aus. Zwar beantragte er bereits wenige Wochen später die Wiederaufnahme in den Bundesdienst mit der Begründung, dass er seine Zugehörigkeit zur NSDAP nie missbraucht, keine persönlichen Vorteile daraus gezogen und sich nicht bereichert habe, doch blieb ihm vorerst die Rückkehr verwehrt. Noll lebte anfangs mit seiner Familie von der Kriegsversehrtenrente, 1948 bis 1952 verdiente er seinen Lebensunterhalt als Platzanweiser in einem Kino, bis er nach weiteren Bewerbungen, aufgrund seiner fachlichen Kompetenz und einer frei werdenden Stelle infolge der Pensionierung von Direktor Fritz Eichler Ende 1952 als Vertragsbediensteter in die Antikensammlung des KHM zurückkehren konnte. 1955 erfolgte seine Ernennung zum wirklichen Mitglied des Österreichischen Archäologischen Instituts sowie zum Kustos 2. Klasse. Nach der Suspendierung von Eichlers Nachfolger als Leiter der KHM-Antikensammlung Rudolf Sunkowsky wegen Herstellung und Verkaufs von Falsifikaten übernahm Noll 1956 de facto dessen Funktion, formal stieg er 1957 zum Kustos 1. Klasse, 1958 zum Leiter und 1963 schließlich zum Direktor der Antikensammlung auf. Im selben Jahr verlieh ihm die philosophische Fakultät der Universität Wien die Lehrbefugnis für klassische Archäologie mit besonderer Berücksichtigung der römischen Provinzialarchäologie und den Titel Honorarprofessor. Seit 1961 war Noll ordentliches Mitglied des Deutschen Archäologischen Instituts, ab 1966 korrespondierendes und ab 1970 wirkliches Mitglied der Österreichischen Akademie der Wissenschaften. Ende 1971 ging Noll in Pension, lehrte jedoch noch an der Universität Wien bis 1980. 1972 erhielt er den Kulturpreis des Landes Niederösterreich, 1982 den Wilhelm Hartel-Preis der Österreichischen Akademie der Wissenschaften.