1949年，大上海解放前夕。八路军先遣队入城，国民党尚未完全撤离，城内势力犬牙交错，敌我难分。潜伏在军统上海分站的中共地下党罗康趁乱盗得一份绝密文件，被军统处长李少云带领便衣特务队紧追不舍，负伤的罗康逃到德兴洋行，找到了自己的单线联络人德兴洋行老板，地下党员叶正龙，告知叶正龙军统正组织人马前去炸毁沪江电厂。
叶正龙赶至电厂报信，却险被守卫电厂的工人纠察队当成搞破坏的特务拒之门外。这时，国民党守军载满炸药的汽车随即开至电厂门口，危机之下，叶正龙带领护厂队工人与敌人斗智斗勇拖延时间，终于坚持到八路军前来救援。李少云循着血迹找到了德兴洋行，机警的罗康藏好了文件箱逃匿。李少云率特务追赶。
就在即将抓住罗康之时，却遭遇解放军进城先遣部队。连长高青山救下了罗康，却怀疑罗康的身份，将他关在临时收容所。保住电厂的叶正龙赶回洋行，发现罗康已被收押。急切间却无法证明罗康和自己的地下党身份。被扣押的罗康担心那份绝密文件的安全，于是向先遣队团长说明情况，并希望安排人员马上回洋行取文件箱，孰料文件箱已被神秘人取走。
而另一边，叶正龙四处寻找能证明罗康身份的人。紧张的一夜即将过去，叶正龙带着组织上开具的罗康身份证明材料赶往临时看押所。就在看押所大门口，他听见里面传来一声枪响，再进去时，被单独关押在收容所小房间里的罗康已倒在血泊之中，毙命身亡。其时上海局面混乱无比，这件事就这么被压了下来。
枪声背后剧照
上海解放后，百业待兴。叶正龙在地下工作时的老上级贾文林想安排叶正龙继续隐藏身份在工商界工作。叶正龙却为罗康之死和下落不明的文件箱耿耿于怀，要求恢复身份去公安局工作。叶正龙说出了一个贾文林无法拒绝的理由——那个罗康拼命盗取的文件箱里装着的是军统在上海的潜伏特务名单，他一定要把它和杀害罗康的凶手找出来。
此时，奉命潜伏的军统特务邵舒杰和李少云从另一个潜伏特务赵兰手中拿到了一个绝密文件箱。文件箱依然密封，只有持有钥匙的人才能打开。赵兰透露是代号708的神秘潜伏特务获取了文件箱并处决了罗康，总部命令邵舒杰带着文件箱回台湾总局复命，李少云接到的新任务是1个月后炸掉电厂。
沪江公安局正式成立，叶正龙和贾文林与高青山成为侦查科同事，团长郑海风担任局长，副团长韩永年担任副局长，而这后三个人都与罗康的离奇遇害前有直接接触。叶正龙一直对3人心存芥蒂。而因罗康事件与叶正龙有过冲突的高、韩两人也瞧着满身资产阶级做派的叶不顺眼。
邵舒杰去舟山途中，文件箱被盗。他找到小偷窝点寻到箱子，十多个小偷亦被李少云全部灭口。但其间却遗漏了与小偷头子素有交情的江湖混子蒋文虎。上海商会会长大米商蔡荣贵的女儿蔡玉喜欢叶正龙，经常来找叶正龙，大街上二人正聊着碰见了蒋文虎，叶正龙丢下蔡玉与蒋文虎赶至小偷窝点，从现场蛛丝马迹中，叶正龙推测出蒋文虎看见的那只箱子就是罗康盗取的军统绝密文件箱。
箱子为什么又回到了军统特务手上?叶正龙怀疑解放军内部有内鬼。邵舒杰在舟山岛安顿下来，伺机等待偷渡去台湾的时机。李少云等潜伏特务则密谋炸掉电厂，已经进入了倒计时。蔡玉的闺友，电厂女工金巧玲答应替男友南原将一包紧俏的盘尼西林带进电厂，捎给家有病人的远房堂弟。可金巧玲在衣帽间换衣服时，那盒药却被一双手悄悄拿走了。电厂锅炉房的两个工人发现了装在饭盒里的定时炸弹，工人老易在危急关头将炸弹扔向煤堆。电厂设备保住了，老易因此牺牲。
