Der am 3. März 1904 in eine Berliner Arbeiterfamilie hineingeborene Rudolf Schwarz erlernt nach dem frühen Tod seiner Eltern Arthur und Regina Schwarz im Jahr 1915 den Beruf des Schlossers. Der seit 1921 in der Kommunistischen Jugend organisierte junge Mann arbeitet von 1924 bis 1928 als Redakteur der Zeitschrift des Kommunistischen Jugendverbandes Junge Garde und ist hauptamtlicher Mitarbeiter des Jugendverbandes. Er leitet die Rote Jungfront in Berlin-Brandenburg, gehört zur Bundesführung des Roten Frontkämpferbundes (RFB) und ist verantwortlicher Redakteur von deren Zeitschrift Die Rote Front. Nach dem Verbot des RFB arbeitet er im „Antimilitaristischen Apparat“ der KPD, deren Abwehrressort er 1933 leitet. Er ist für die Vorbereitungen auf die illegale Arbeit der Partei verantwortlich.

Seit 1926 ist er mit Ella Schwarz, geb. Winter, verheiratet.

Anfang Januar 1934 gerät der im Untergrund lebende Schwarz in die Fänge der Geheimen Staatspolizei. Am 1. Februar 1934 wird er den drei weiteren führende kommunistische Parteifunktionären John Schehr, Eugen Schönhaar sowie Erich Steinfurth ermordet. Diese Männer werden wiederholt aus dem Columbia-Haus zu Vernehmungen und Folterungen in das Geheime Staatspolizeiamt gebracht. Am Abend des 1. Februar 1934 fährt der Gefangenentransporter, der die Häftlinge vom Geheimen Staatspolizeiamt zurück in das Columbia-Haus bringen soll, zum so genannten Kilometerberg (Schäferberg) in Berlin-Wannsee. Dort werden alle vier Männer bei einem angeblichen Fluchtversuch erschossen.