台儿庄大战结束以后，国民党军队撤出山东，八路军化整为零，日军大队长竹林在汉奸辫子爷卜敬斋带领下，偷袭八路兵工厂，战斗惨烈，八路军首长郭春林在战斗中身负重伤，无奈下令炸毁兵工厂，其妻陈若水在战场上产下一女，被日军打晕俘虏。为救出陈若水和她的女儿，摘星手左北泉接受了任务。
日本军队进入县城，竹林召集日伪军官，宣布占领沂水全境，并在城里设立红部，铃木带人驻扎葛庄，佐藤驻扎王庄，三处互相支援呼应。陈若水被敌人严刑逼供，伪军伙夫田小德目睹陈若水宁死不屈，非常敬佩。
卜仙元抱怨他爹不该带着日本人打八路。卜敬斋的二儿子卜蓝珠却向日军秘密告发了县警察大队秘密驻扎地，警察大队队员全部遭到杀害，老百姓也被杀害一百多口。方同山独自逃脱，发誓要为弟兄们和老百姓报仇。
左北泉未婚妻桑桑化装成女看守在田小德的协助下进入日军牢房，救出小孩，陈若水壮烈牺牲。
以左北泉为核心的一支代号叫麻雀的短枪班，和敌人展开了麻雀战。受条件所限，左北泉手下只有两个人李淞和长腿子。李淞为报仇私自行动被辫子爷活捉，惨遭杀害，其妹女扮男装化名黑小子替兄报仇，却给父母带来杀身之祸。左北泉和长腿子出发去惩处辫子爷，中途被鬼脸货郎劫道，左北泉略施小计，将其制服。
左北泉、长腿子等人使计将辫子爷处决，卜蓝珠出动人马拦截，左北泉等人逃脱。
代号叫麻雀剧照
卜仙元来到辫子爷被吊死的现场，非常生气。日本特务春花趁机向卜仙元劝降，卜仙元终于认可，投奔了日军。
田小德升任中队长，随铃木一起来到葛庄。左北泉等人路遇日伪军追击方同山，大家拼命解救，方同山化险为夷。方同山介绍烟绺子作为麻雀队员。他们决定一起侦察葛庄，伺机行动，打击日伪军。烟绺子的老婆秋桂被日军侮辱杀害，烟绺子誓死报杀妻之恨。
在追查左北泉的过程中，田小德再次遇到桑桑，心生爱慕，桑桑倍感烦恼。桑桑向田小德提出以枪支弹药为嫁妆的要求，田小德一一应允。左北泉得知真相为时已晚，隐痛接受新的任务，保卫抗日大会。
日伪军偷袭抗日大会，左北泉带领麻雀班拼死抵抗，左北泉落入敌人手中被执行枪决，麻雀班队员救回奄奄一息的左北泉。在八路军卫生员范玲和其父的全力抢救下得以大难不死。范玲日夜照顾左北泉，对其心生情愫。麻雀班误解桑桑，对桑桑恶语相向。
卜蓝珠暗中监视田小德夫妻，卜蓝珠以宴请的方式，挑唆田小德，田小德差点上当。卫生员范玲上山挖药，被土匪劫持，左北泉不顾伤痛，拼命解救，范玲安然无恙，左北泉伤愈归队，范玲恋恋不舍。铃木召集人马偷袭县委机关，麻雀队员浴血奋战，掩护县委成功转移。
方同山得知峪子村惨案告密者是卜蓝珠，私下离队寻仇，却误杀了田小德的父亲和哥哥。田小德在桑桑的说服教育下，正准备起义，面对赤心忠胆的麻雀队员,田小德决定将起义进行到底，左北泉与范玲历经误会后也终成眷属。
左北泉等人向北寻找县委，把方同山留在红石村养伤，铃木和卜蓝珠带领日伪军到红石村搜查八路军伤员和枪支弹药，方同山为救老乡，饮弹自尽。
左北泉率麻雀班去接应田小德起义，田小德以进行实弹演练为借口，将伪军拉向柿子岭，铃木和卜蓝珠带着日伪追赶上来。战斗中刚起义的伪军战斗力不强，纷纷想逃，后在左北泉等人说服下，与麻雀队一起英勇战斗，将铃木和卜蓝珠阻在了山下。
麻雀班的一系列行动，激怒了日军。竹林命令卜仙元围剿麻雀班。左北泉利用敌人各自为战的弱点，巧施智谋，分组诱敌，致使卜仙元的伪军自相残杀，大败而归。
沂水城解放，城乡举行庆祝活动，鬼脸货郎在山区查知卜仙元踪迹，发出信号。左北泉率长腿子、黑小子火速奔往雪山捉拿卜仙元。左北泉等人一路追赶，终将卜仙元抓获，鬼脸货郎壮烈牺牲。
日本投降。左北泉等人去墓地追悼牺牲的战友。
