
Kuna pere majanduslik olukord oli raske (Peale Jaani oli peres veel neli poega: vanem Mihkel ja nooremad Jüri, Hendrik ning Kustas. Viie vennaga jagasid mängumaad veel neli õde: Mari, Ann, Triinu ja Liisu), pidi Jaan Rumm aasuma ametisse Hageri Mäekülla õpetajaabina, kuid siiski otsustas tema isa lasta õpihimulisel pojal edasi õppida. Algul õppis Jaan Rumma Tallinna Katariina II linnakoolis, mille lõpetas 1906. aastal. 1906-1907. aastal omandas Valgas ja Tallinnas pedagoogilistel kursustel algkooliõpetaja kutse ning läks kolmeks aastaks kooliõpetajaks Märjamaa kihelkonna Paeküla vallakooli. 1911. aastal asus õppima Pihkva Õpetajate Instituuti, kust ta 1913. aastal lõpetas neljade-viitega. 1913-1916 oli maateaduse ja ajaoo õpetaja Tapa algkoolis. 1916. aastal võeti Jaan Rumma sõjaväkke, kuid kopsupõletiku tõttu pääses ta juba 1917. aasta veebruaris koju.