不过,司马越赶上的这个时代实在是太乱了。他刚刚毒死晋惠帝,刘渊便把并州都督司马腾痛打一顿,占据了晋北。司马越一时抽不出兵来,刘舆遂向司马越举荐他的弟弟刘琨为将。司马越知道刘琨打仗很行,便命他为并州刺史,他直接对付刘渊,而把司马腾调到了冀南的邺城。
司马腾早被刘渊打怕了,一接到司马越的调令,没等刘琨前来,自己就先带着兵马及大部分百姓跑到河北了,给刘琨留下一座空城。刘琨是光杆司令,一路走一路招兵。由于山西战乱频仍,又被司马越带走了一大批百姓,到处少见人烟,豺狼当道,一直走到了并州才招了五百多人。并州留下的都是一些老弱病残的百姓,个个面带菜色,羸弱不堪。战死和饿死的尸体已经变成了白骨,被野狗叼来叼去。刘琨带着人把街道清理了,房屋修好,城墙加固,又贴出告示,召流民回来耕种荒废的土地。这时刘渊已经绕过晋阳,直向南攻,很快占据了除晋阳外的整个山西省。
刘琨这边守住了晋阳,司马腾却没能守住邺城。汲桑和石勒被兖州刺史苟晞击溃以后,落草为寇,竟然很快弄了上万兵马,不久又卷土重来,再攻邺城。司马腾派大将冯嵩带三万兵出战。冯嵩打了一个大败仗逃了回来。司马腾奇怪地问道:&ldo;你带三万正规军难道打不过一万土匪么?&rdo;
冯嵩道:&ldo;战士们很久没有发饷了,过的还不如土匪呢!怎么能好好打仗?现在国库空虚,您不如把家里的钱拿出来来激励将士,这样才能取胜!&rdo;
司马腾一听就怒了:&ldo;你怎么不把你家的钱拿出来?&rdo;
冯嵩道:&ldo;我那点家产顶个屁用,谁像你有数亿家资。再说了,如果邺城被夺去,你那数亿家资还不是被人家夺了去?&rdo;
司马腾一想也有道理,于是命家人把米和布拿出一部分来给大家分,因为实在舍不得,拿出来的并不多,每名士兵不过分到几天的粮食和只够做一身衣服的布。将士们见司马腾这么抠门,谁还肯为他卖命,领了东西便一哄而散,跑个精光。司马腾这下着急了,再想携家资逃跑,连赶车的车夫都找不到了,只好捡些黄金细软骑了快马离城南逃。在城外司马腾被汲桑部将李丰追上刺死,最终落得个人财两空。汲桑、石勒本就是做土匪的,进入邺城之后,把邺城大大地抢掠一番,又杀了不少百姓,临走放一把大火,竟把邺城给烧了。所谓杀人放火抢东西,真是和强盗没有任何分别。
二人抢完烧完,又举兵向南,直袭兖州,去攻老仇家苟晞。
苟晞和他的弟苟纯、部将王赞带兵拒敌。汲桑、石勒虽拥有威力很大的精骑兵,但鲁西以山地为多,苟晞的步兵并不吃亏,所以双方打了几仗,不分胜负,形成僵局。苟晞极善用兵,知道汲桑和石勒两军中汲桑最弱,于是派苟纯连夜率三千精兵去东武阳设伏,又请冀州刺史丁绍断汲桑和石勒北逃的后路。安排停当,第二天出兵和石勒混战。汲桑本来准备整军增援,哪知道刚走了不一会儿,后营苟纯偷袭,急忙回去,又被苟纯伏击。汲桑大败,幸亏石勒发现右军出了问题,整兵回救,这才把汲桑救下。但苟晞也乘势追杀而来,石勒等人来不及整军,一路败了下去,败到河北,又遇到丁绍的伏兵,汲桑、石勒在乱军中失散。汲桑在今天冀鲁的交界处乐陵遇到了司马腾的旧将田兰和他所带的几百散兵游勇,落地的凤凰不如鸡,汲桑被手下败将田兰捉住杀死。
石勒辗转逃回上党武乡,这个地方活动着一支数千人的土匪,匪首叫做张背督。石勒找到张背督,问道:&ldo;现在刘渊占据了整个山西,你认为你能在山西一直立足下去么?&rdo;
张背督道:&ldo;当然不能了。&rdo;
石勒道:&ldo;既然不能,而且您的手下都受过刘渊的恩惠,我担心他们迟早有一天要叛离您啊。&rdo;
张背督惊问道:&ldo;石英雄,你给你出个主意,我该怎么办?&rdo;
石勒道:&ldo;我看刘渊必成大业,将来天下都可能是他的。咱们不如早一点去投他,混个荣华富贵绝不成问题。&rdo;
张背督想了一个晚上,第二天早上便带众土匪随石勒投奔了刘渊。刘渊十分高兴,封石勒为辅汉将军、平晋王,封张背督为亲汉王。在欢迎宴上,刘渊无意中提到乌桓人张伏利度是一支隐患。此人在乐平镇聚有数千兵马做土匪,仗着天险和刘渊做对。刘渊硬攻无果,招抚又不成。石勒听了笑道:&ldo;这有何难,请让我为大王招抚。&rdo;
刘渊半信半疑,不过既然石勒已经张口,不妨让他试试。石勒假装被刘渊赶出来,投奔张伏利度。张伏利度是土匪,石勒也是土匪,见面自然有话谈,谈来谈去,越谈越投机,当即便与石勒结为异姓兄弟,派他下山率众抢劫。石勒打仗很有一套,其他地方的土匪稍触即败,可谓所向无敌。渐渐地大家就都认为石勒的才能远在张伏利度之上,对石勒颇为信服。石勒见机会成熟,在宴会上一把将张伏利度摁住。张伏利度不知道怎么回事,喊道:&ldo;石兄,你这是干什么?&rdo;
石勒并不理他,转头问众土匪:&ldo;我和伏利度,你们愿意服从谁?&rdo;
众人齐声道:&ldo;愿随石将军!&rdo;
石勒遂绑了张伏利度,带了众人来投刘渊。刘渊对石勒更加信任,又加封石勒为都督山东征讨诸军事。