Durch den Ausbruch des zweiten Weltkrieges wurde die sportliche Betätigung arg beschnitten und kam bald ganz zum Erliegen. Aus den restlichen Mitgliedern des SS 05 und der HSV 03/04 bildete sich eine Kriegs-Spielgemeinschaft, die den Sportbetrieb notdürftig aufrecht hielt.
Da nach dem Krieg in jedem Stadtteil nur ein Sportverein sein durfte, schlossen sich im Jahr 1945 der Turnverein Westfalia 1891, der Reichsbahn Turn- und Sportverein 1928 und der SS 05 zum VfB 91/05 Hamm e.V. zusammen. So konnten außer Fußball noch Leichtathletik, Turnen, Handball und Rollhockey angeboten werden. Im Jahr 1948 war die Mitgliederzahl auf über 600 angewachsen.