Rudolph ist seit 1978 Mitglied der SPD und war von 1985 bis 1991 Vorsitzender der Jungsozialisten im Bezirk Westliches Westfalen. Außerdem war er von 1990 bis 1996 Vorsitzender des Ortsvereins Wetter-Wengern und von 1992 bis 1998 stellvertretender Vorsitzender des Unterbezirks Ennepe-Ruhr. Seit einigen Jahren ist er Mitglied im Ortsverein Brilon (Hochsauerlandkreis). Zwischen 1985 und 1997 gehörte Rudolph dem Vorstand des Bezirks Westliches Westfalen, von 1997 bis zur Auflösung des Bezirks im Jahr 2000 dessen stellvertretender Vorsitzender. Von 2001 bis 2012 war Rudolph Mitglied des Landesvorstandes und Präsidiums NRWSPD. Er gehörte der Programmkommission der Bundespartei an und ist Mitglied der Historischen Kommission beim Parteivorstand der SPD. Bis 2012 war er auch Vorsitzender des Unterbezirks Hochsauerland