1939年，许世友压在129师的386旅中当副旅长，陈赓将他安排到了党校学习。原本陈赓是不想这样做的，因为他舍不得这样打仗勇猛的指挥员，可是在386旅中的政委谢富治，同许世友压根就合不来，两个人也没有啥私交，因此也了减少矛盾的发生，陈赓就将许世友安排走了。

许世友很想去前线打仗，他不想在后方学习，所以在当朱老总来学校的时候，他就试着对朱老总说，386旅他不想回去了，你把我调到山东去吧，看看我许世友到底能不能打仗。对于许世友的脾气，朱老总也是知道的，所以在他回去之后就将这个事情上报给了中央。

没多久中央就下了命令，许世友就成为了山东纵队的一员，并担任三旅的旅长，也就从那一刻他在山东地区打下了一片天地。而许世友在多年之后回忆这件事情时，还感慨的说道：朱老总是真的好司令。

在许世友进入山东时，陈光与罗荣桓带着115师进入山东，不过山东纵队与115师之间的领导并没有统一，在协调上两支队伍存在很大的问题，山东地区的整体抗战局面也没有被打开。

1941年皖南事变发生之后，国民党就对山东地区进行了进攻，而这里的解放军处境比较困难。山东地区的国民党主要是12师为主，而后将到底的武装土匪给拉拢了，这支杂牌军的人数众多，在抗日时期竟然直接向日军投降。

而在日军对山东地区进行扫荡的时候，蔡晋更就将根据地的核心地给占领了，也就是牙山。在敌人的不断侵蚀下，山东的八路军也就只剩下东海地区没有被侵占了。当时国民党甚至还说道，要将解放军在东海地区消灭。

山东分局考虑到了胶东地区的形势比较紧急，所以就派了许世友去胶东，对国民党发起反击，为此还嘱咐他，一定要用胜利的战斗，将国民党的顽固军队给打败。其实在许世友到达胶东呢时候，率领了一个团，就是第一独立团，虽然第五旅与第五支队也归许世友指挥，可是他们都被隔绝在了蓬莱，招远还有栖霞等地区。

虽然国民党军的势力比较大，可是在这样复杂的局势下，许世友还是看到了机会。国民党虽然有五万人马，可他们的战斗力不强，再加上也不齐心协力，私下还进行多次争斗，蔡晋康在将牙山占领后，赵保原对此特别的眼红，因此双方经常爆发冲突，直接到了兵戎相见的地步。还有就是在这里被国民党统治的百姓生活得很不好，他们对国民党怨声载道，可又没有办法。

在许世友来胶东之前，毛主席还对他嘱咐过，一定要将所有的优势都集中在一起后，再去同国民党作战。而许世友也是雷厉风行的人，既然已经决定那就开始行动，不过这个背后所考虑的问题比较多，他也不会鲁莽行动。

经过许世友的调查发现赵保原就是最弱的一个，可以从这里打开突破口，于是在许世友的安排下，赵保原的部队军心立刻涣散了，而后我军就轻而易举的将赵保原部全部给歼灭了。总的来说，许世友来到胶东之后，一切都在往好的方向发展。

1942年7月胶东军区建立，主要是以第五支队作为基础发展起来，而后许世友就成为司令，政委是林浩。1942年日军对胶东地区发起大扫荡，许世友在得到消息后，立刻命令部队保存力量，分散行动。就这样全军民一起行动，不仅将敌人扫荡的阴谋破坏了，还将胶东地区的武装力量也给保存下来。所以胶东地区能够打开战略局势，与许世友的努力分不开的。