1928年春末，东省特别区教育厅决定在一面坡新成立一所中学，叫第六中学（第一、二、三、四中学都在哈尔滨，第五中学也是新建的），教育厅派一个“督学”来创办，他先上红俄学校参观，发现舒群是中国人，便把舒群赶出红俄学校，令其上第六中学。舒群被迫离开了他心爱的红俄学校，辞别了女教师周云谢克列娃。临走时，苏联女教师送给舒群两本书，一本是通俗的共产主义读本，一本是“七人”编著的俄文文法，果里没东西送，给的是几滴眼泪。夏初，舒群转入一面坡东省特区第六中学。
1930年春，十七岁的舒群经少年朋友温少筠同学的帮助，又重新回到哈尔滨一中初中三年级读书。当时，哈尔滨一中分成两派，一派反帝反日，一派反苏。反帝反日派是主流，它有反帝大同盟组织的领导，反帝大同盟的活动是在共产党的领导下进行的，它是党的外围组织。舒群一入学，便参加了这场斗争。
因为舒群对共产党、十月革命，对列宁早有了解和认识，所以他积极参加反帝反日派，跟反帝大同盟一起活动。他参加游行、示威，走上街头宣传抗日，演活报剧。舒群亲眼看到了抗日势力的高涨，激发了他的爱国主义热情。在这期间，舒群开始阅读大量古今中外名著，如中国古典小说《红楼梦》《水浒传》《三国演义》，俄国作家托尔斯泰的《战争与和平》，法国作家梅里美的《卡尔曼》《高龙巴》，美国小说家欧·亨利的《二十年后》，以及英国唯美派大师王尔德的作品。同时，还阅读了鲁迅、郭沫若、茅盾、田汉、蒋光慈、杨骚、白薇等中国现代作家的作品，使他对国家、社会和人生有了许多新的认识。舒群从阅读大量的文艺作品中，找到了自己的第一个文学上的老师蒋光慈。蒋光慈的作品给舒群的早期创作以有力的影响，指引他走上文学道路。然而，哈尔滨一中的大门口，却醒目地张贴着校方禁读蒋光慈作品的布告。舒群看了十分气愤。当局和学校越禁止蒋光慈的作品，越引起广大师生对蒋光慈的热爱，越争读蒋光慈的作品。舒群阅读并研究了蒋光慈的大量著作，着重熟读了当时影响最大的两部诗集《新梦》《哀中国》。舒群深深被作者强烈的爱国主义精神和对帝国主义、封建军阀的强烈仇恨所感动。舒群特别喜欢蒋光慈作品中所充满的革命激情及艺术魅力，这对舒群后来从事文学创作，形成自己作品的艺术风格有着很深的影响。从舒群作品深沉、激越、悲愤、有力的艺术风格和含蓄深邃、铿锵作响的文学语言，也可看出蒋光慈作品对他的极大影响。舒群曾说：“蒋光慈的作品对我的影响是最大的。不仅影响到我的思想，而且也影响了我后来从事的写作。蒋光慈即使不是我的第一个政治老师，政治老师有家庭、有社会、有周云谢克列娃，然而，他确实是我的第一个文学老师，是我没见过面的第一个文学老师。”暑期，舒群于哈尓滨一中读完初三毕业。这时，恰巧听说一所免费的哈尔滨商船学校招生，校长是王时泽。这是青岛海军学校分校，但需具有高中一年级的学历方可报考，当时有两位喜爱他的教师热心地帮助他突击补课，并搞了一份证明，舒群终于考入商船学校驾驶丙班。九一八事变第二年，该班并入青岛海校。舒群投考此学校，并不是醉心于“造就海军将校之材”的宗旨，无非为他的“官费”。在这个学校，舒群熟识了进步同学、党的地下工作者傅天飞，接触了数学老师、后来成为抗联领导人之一的冯仲云，但还是因为家庭生活无着，只读半年书就退了学。但他对这所学校有深刻的印象，他曾回忆说，这学校与世隔绝，同监狱一样，铁网一围，防范森严；同庙宇寺院一样，宁静恬漠，不染红尘；同孤山孤岛一样，空空落落，满眼荒凉，是一处多么奇特的境界。然而，学生供给一律官费，衣住不说，吃的是双合盛面粉，学习用的是派克钢笔、英国仪器、英国的对数表。除外，每月发给五元补助费，随你零用，买牙膏、肥皂之类。有着如此优越生活的学生对老师却格外挑剔。在冯仲云之前的那位教授，第一堂课竟被学生出的三道题难倒打道回府。据了解，那位教授并非草包，几何很有水平，与那位数学教授相比，穿着破旧的冯仲云尽管被严肃地介绍为“教授”，但那些穿水呢料海军制服的学生，对这位身材瘦高衣不合体（冯仲云离开清华来东北时，刚出狱不久，所穿衣服是同学们凑的）的二十二岁教授，自然也以三道难题作为见面礼，没想到这位瘦高穷酸的冯教授很快把三道难题一一解出。一下子，冯教授在学生中建立了威信，其大名也很快传到校外，有些学校慕名请冯教授兼课。