12月20日，日軍遠山聯(lián)隊100多人、偽軍300多人，靠漢奸李聘三引路，偷襲彭城，還妄圖一舉摧毀磁縣抗日政府。張南生指揮部隊在路邊設伏，痛殲了由彭城急回打援的日軍100多人，并繳槍100余支。

　　1938年2月，張南生調(diào)任晉冀豫軍區(qū)先遣支隊政治委員兼冀西地委委員、軍事部長。此后，他把主要精力用在擴大抗日武裝，配合八路軍主力作戰(zhàn)上。僅8個月時間，他所在的部隊由組建時的600多人發(fā)展到4個建制團4000余人，槍由300余支增至2000余支，成為抗日斗爭的一支生力軍。

　　同年10月1日，張南生又被調(diào)到晉冀豫軍區(qū)政治部任組織部部長。他到任后，立即著手組建黨的基層組織，逐級成立黨支部或黨小組，使上至司令員、政治委員，下到每個黨員都參加黨小組生活，定期匯報思想和工作。他還制定了干部管理規(guī)定，對排以上干部逐個鑒定講評。同時，對問題較多的衛(wèi)生部進行整頓，對連隊指導員進行培訓、調(diào)整，還對職工認真進行了鋤奸保密和破除迷信的政治教育，使黨員、干部隊伍的建設進一步得到加強。

　　1939年3月18日，張南生被調(diào)到八路軍第129師晉冀豫軍區(qū)晉冀豫游擊司令部獨立支隊兼第2軍分區(qū)任政治委員。這個3000余人，主要活動在晉中一帶山區(qū)的隊伍，在反“掃蕩”中，先后對日偽軍作戰(zhàn)30余次，殲滅日軍2000余人，粉碎了日偽聚殲晉冀豫根據(jù)地八路軍主力的企圖。

　　1942年1月，張南生任第129師政治部組織部部長。在任部長期間，他結(jié)合工作實踐，先后精心修改形成了《連隊政治指導員工作暫行條例》、《支部組織與工作暫行條例》、《救亡室工作暫行條例》、《朱德青年隊與各級青年組織暫行條例》等4個基本文件。他的工作得到劉伯承、鄧小平的高度贊揚。這幾個文件在連隊推廣執(zhí)行后，使129師連隊政治工作有了依據(jù)，大大加強了黨對軍隊的絕對領導，使廣大干部戰(zhàn)士在殘酷戰(zhàn)爭歲月能保持旺盛的革命斗志。這期間，為了粉碎日偽軍的“蠶食”政策，擴大解放區(qū)，張南生根據(jù)劉伯承、鄧小平首長的指示，從抗大六分校調(diào)出儲備干部，組成精干的武裝工作隊，深入到日偽軍兵力薄弱的地區(qū)進行政治攻勢。這對扭轉(zhuǎn)當時根據(jù)地的危險局面起到了很大作用。

　　由于張南生工作出色，1943年10月，他被調(diào)任八路軍野戰(zhàn)總部政治部組織部副部長；1945年8月，調(diào)任晉冀魯豫中央分局組織部副部長兼晉冀魯豫軍區(qū)組織部部長。