日本侵略军在舒城犯下的滔天罪行，激起了驻舒中国军队和舒城人民的强烈义愤，驻舒军队与人民一起投入抗击日本侵略军的行列。
1938 年初，国民党新桂系李宗仁的二十一集团军在上海失守后退守安徽，总部先后设在舒城、六安、立煌县。国民党第二十七集团军第二十军杨森部队也从前线撤到舒城。日军大举侵犯皖中时，国民党第二十军正面进行了抵抗，但是，战斗力弱的川军一触即溃，根本不是日军的对手。
6月8日，日军坂井支队二四三联队第三大队攻占桃溪，驻守在舒城的国民党第二十军第一四五师在桃溪进行阻击，徐源泉部奉命侧击，第四十一师、一九九师从双河开往舒城拦截日军，在桃溪激战3小时，伤亡惨重，败退到南港一带。城关沦陷后，日军继续向南推进，退守在南港、沟二口、鹿起山、傅冲以及舒桐交界的大、小关一带的第二十军，集中力量挖战壕，筑工事，设防阻击。工兵营炸毁了马家盆口大桥，并在鹿起山构筑工事阻击日军。日军久攻鹿起山不克。6月10日，在汉奸带领下从下七里河涉水过河，从侧面绕过鹿起山，迂回侧后包抄扼守在鹿起山的工兵营，并派飞机对鹿起山进行狂轰滥炸。面对强大的日军，工兵营官兵虽奋力搏击，终因孤立无援，寡不敌众，除10余人负伤脱险外，大部阵亡。驻守在大、小关一线的川军也相继溃退。
7月，皖北涡阳、蒙城等县被我国民党军队克复，日军约4000 余人困守舒城。第五战区司令长官李宗仁率部会同当地游击队，于 21 日克复舒城，敌军不支溃退。
8月3日，日军第十三师团、第十师团三十旅团及十四师团一部，共 10 万余人，集结在合肥、舒城一带，准备西犯六安、霍山，进而占领豫南，夺取信阳，最后侵占华中中心城市武汉。27日，日军第十三师团2000人沿舒城至霍山公路西犯霍山，国民党第五战区宋希濂第七十一军展开阻击战，暂时遏制日军西进。28日，日军增到 3000 人，国民党冯治安第七十七军的张凌云、王长海两师奉命增援阻击部队。下午，日军又增1000余人，并以飞机协同作战，数架日军飞机对霍山城进行轰炸，霍山城很快沦陷。与此同时，近3000日军又回舒城县城，城关再陷敌手。
在国民党军队从正面战场抗击日本侵略军的同时，共产党领导的新四军第四支队东进舒城，迅速开展抗日游击战。5月16日，九团侦察队和二营四连在巢县东南郊蒋家河口伏击下乡抢掠的日军，毙敌 32人，伤敌 14人，缴获步枪 9 支，手枪2 支，敌旗 1面。我军无伤亡。这是新四军成立后抗击日军第一仗，从此揭开了新四军抗日斗争的序幕。
舒城沦陷后，为牵制日军，阻止日军继续西犯，配合正面战场作战，四支队司令员高敬亭命令已开赴庐江、无为一带的七、八、九团和支队部撤回舒城，进驻西汤池、新开岭、河棚、廖家湾等地，依托山区与日军开展游击战。
6月下旬，八团团长周骏鸣率二营在舒桐公路的大、小关之间伏击日军，毙伤敌 30 余人，活捉数名。
7 月，九团撤销，其一营改为特务营，二营调为七团二营。
8 月上旬，高敬亭在西港冲召开会议，部署对日军作战计划。会议决定：皖中各县党组织领导发展的抗日游击队统编为四支队第二游击纵队，辖3个大队；八团开赴寿县、合肥、全椒一带，与四支队东北挺进纵队会师，在皖东开展抗日游击斗争，统由八团指挥；七团在安合、六合公路沿线打击日军，其中一营负责舒合、六合公路一线，二营负责打击舒桐公路段日军，三营负责打击桐安公路段敌军；特务营和手枪团机动；吸收青年参军，组织新兵营。此后，四支队全线出击，打击日军。
8月20日晚，七团三营袭击桐城三十里铺守敌。与此同时，七团一营在舒合、六合公路上开展对敌斗争。不久，又打下汉奸盘踞的合肥周家老圩据点，缴长短枪百余支和大量财物。
七团二营和特务营也在舒桐公路沿线开展游击斗争。
手枪团的游击斗争也按计划有序地开展。夏秋之交，支队参谋长林维先率手枪团一部在舒城东西港冲等游击队的配合下，在舒城的方家岗袭击敌汽车运输队，毙敌 6 名，俘敌 3 名，击毁敌汽车3辆，缴机枪2挺、长短枪10支、子弹5箱、手榴弹两稻箩。九、十月间，袭击毛竹园东边一个小镇汉奸维持会。拂晓时与敌一个大队遭遇，经半个小时激战，毙敌数名，伤敌20余名。
此外，参谋长林维先还指挥七团、手枪团、特务营、新兵营，于10月23日和11月2日先后攻克无为和庐江县城，歼灭反动武装2800余人，缴枪1600 余支，为组建淮南抗日游击纵队解决了部分武器。
八团则按支队计划，奉命东进全椒、巢县等地抗击日军，并取得辉煌战绩。
据不完全统计，四支队自1938年3月至1月初，共进行大小战斗40 余次，有力地打击了敌军，袭扰和疲惫了敌人，扩大了我军的影响，鼓舞了人民的斗志，增强了抗击日军的信心。在此期间，形成了以舒城为中心的抗日游击根据地。遭受我抗日军民打击的日军成为惊弓之鸟，惶恐不安。日军白天不敢随便走出营门，不敢靠近山边，夜晚更是龟缩城里。10月7日，日军撤向桐城，潜山方向。舒城光复。
在驻舒的中国军队英勇抗击日军的同时，舒城地方抗日游击队在四支队和舒城共产党组织的领导下，也开展了机智灵活的歼敌、袭敌斗争。地方游击队迅速发展壮大，成为抗日游击斗争的一支生力军。此间，舒城及其边界地区共建立了10 支抗日游击队：东沙埂抗日游击大队、舒城县巡逻大队、安徽省第三督察专员公署人民抗日自卫军独立第一大队、东西港冲游击大队、城关小园上游击队、徐洼傅冲游击队、西汤池游击队、秦家桥巡逻队、沙河观游击队、舒六合抗日支队等。这些地方人民武装，在日军侵占舒城后，奋起抗击日军，运用游击战，机智、灵活地袭击敌军。
东沙埂抗日游击大队一成立，就多次袭击驻守南港的日军据点。在日军侵占南港的第三天，便袭击该敌，在松墩活捉日军通讯连长洪龙保章。此人参加过九一八事变、淞沪战争和一二八战争，双手沾满中国人民的鲜血。被俘后多次反抗，被游击队在东沙埂沙滩上处决。日军为此进行了疯狂的报复，扫荡了东沙埂，烧毁了东沙埂街上全部房屋，并反复扫射附近村庄。
一天，东沙埂游击队侦察到几个日军在南港河里洗澡，枪就挂在岸边的房子里，只有一个日军站岗，当即出击，悄然摸到哨兵的背后，抱住哨兵，堵住嘴巴，很快收缴了屋子里的枪支。正在河里洗澡的4个日军，一看不妙，慌慌张张无处藏身，只得往水里钻，但最终只能做俘虏。我游击队未费一枪一弹抓获5名日军，缴枪5支。
东沙埂游击大队采取奇袭、摸岗、袭击单独活动的日军等灵活战术，共活捉日军 10 名，其中因故处决 2 人，其余 8名送到了四支队政治部，经教育均参加了抗日反战大同盟。
东沙埂游击大队还多次配合四支队七团、八团在舒桐山区开展游击战。在舒桐公路沿线埋地雷，炸桥梁、砍电线杆、切电线，破坏日军交通和通讯，阻滞日军南进。先后拆毁军埠梁山桥，破坏大小关、沟二口、军埠、黄泥坎子、沈家塘埂、南港等地公路，还配合四支队进行“夜袭南港”、“大小关伏击战”等战斗。
1938年7月，舒城县巡逻大队夜袭舒城县城日军，歼敌5名。8月，徐洼傅冲游击队在鹿起山夺取日军长枪7支。舒六合抗日支队还乘夜色在花岗附近小青阳伏击日军汽车数辆，炸毁汽车1辆，击毙日军数10 名，缴获大批物资。这年夏天，自卫军独立第一大队在安合公路的糍粑店劫烧日军伪币27万元。随后，又在石岗谢家河袭击日军汽艇，击毙敌军3 人，活捉1人。舒城县巡逻大队界河中队在柏林河湾的野外与除草群众一起打死从丰乐河汽艇上岸抢掠财物的2名日军。9月的一天夜晚，舒六合抗日支队在五十埠与董岗之间的公路上伏击运送弹药、粮食和士兵的日军车队，炸毁军车2辆，炸死敌军5名，缴长枪6支，还把车上的粮食分给当地群众。10月上旬，城关小园上游击队把装有爆竹的20 多个洋油桶乘夜色放到城关四牌楼、南门大桥等地燃放，使城里日军如坐针毡，惶惶不安，弄得日军吃不好饭，睡不好觉。秦家桥巡逻大队也经常到城关袭击日军。舒六合抗日支队500 余名战士在桂俊亭、凌正明的带领下，袭击日军驻桃溪据点，击毙敌军20余名，烧毁敌人部分军事设施，缴获很多军用物资。
