晋穆帝永和五年（己酉，公元349年）张豺找太尉张举谋划诛杀司空李农，然而张举和李农历来关系密切，就把此事悄悄地告诉了李农。李农闻讯后逃到广宗，率领乞活等残余部众数万家固守上白，刘氏派张举统领多路朝廷禁卫军队包围了他们。张豺任命张离为镇军大将军，监督朝廷内外的各项军务，以作为自己的副手。

彭城王石遵行至河内时，听到了父亲病故的丧讯。姚弋仲、蒲洪、刘宁以及征虏将军石闵、武卫将军王鸾等人在讨伐梁犊后的归途中，和石遵在李城相遇。他们一起劝石遵说：“殿下年长而且德才兼备，先帝也曾有意让殿下当继承人。正是因为他晚年昏然迷惑，才被张豺所欺误。如今女主当朝，奸臣独揽朝政，上白那里双方相持不下，京师的守卫力量空虚，殿下如果声讨张豺的罪行，击鼓进军对他进行讨伐，有谁不打开城门、掉转武器而迎接殿下呢！”石遵听从了劝说。

石遵自李城发兵，掉头直奔邺城。洛州刺史刘国率领洛阳的部众前来与他会合。讨伐檄文到邺城后，张豺十分害怕，急忙命令包围上白的军队返回。丙戌（十一日），石遵的部队驻扎在荡阴，士兵达九万人，石闵为前锋。张豺打算出去拦截，但邺城的德高望重的老人和羯族士兵都说：“彭城王前来奔丧，我们应当出城迎接他，再也不能为张豺守城了！”于是纷纷翻越城墙跑了出来，张豺虽然以杀头来制止，但也不能奏效。就连张离也率领龙腾卫士二千人，冲破关卡，准备迎接石遵。刘氏十分恐惧，召张豺来到宫中，裴痛地对他边哭边说：“先帝的棺材还没有入土，而祸乱就到了这种地步！如今太子年幼，只能依靠将军您了。将军您打算怎么办呢？我想给石遵加封显赫的官位，这样能安抚住他吗？”张豺这时也十分惊慌害怕，不知道该怎样回答，只是说：“是的是的。”于是刘氏便发下诏令，任命石遵为丞相，兼领大司马、大都督、督中外诸军，总管尚书职事，并给予他以持黄钺、加九锡等特殊权力和礼遇。己丑（十四日），石遵抵达安阳亭，张豺十分害怕，出来迎接，石遵命令拘捕了他。庚寅（十五日），石遵身穿铠甲，炫耀武力，从凤阳门进入邺城，登上太武前殿，捶胸顿足，宣泄悲哀，然后退至东阁。在平乐市杀了张豺，还灭了他的三族。石遵借刘氏之令说：“太子年幼，之所以立他为太子，那是先帝个人的情义所致。然而国家大业至关重要，不是他所能承担的。应当以石遵为继位人。”于是石遵便即皇帝位，实行大赦，并解除了对上白的包围。辛卯（十六日），封石世为谯王，废黜刘氏为太妃。过了不久，便把他们全都杀了。

李农前来归附谢罪，石遵让他官复原位。尊奉石遵的母亲郑氏为皇太后，立妃张氏为皇后，原来燕王石斌的儿子石衍被立为皇太子。任命义阳王石鉴为侍中、太傅；沛王石冲为太保；乐平王石苞为大司马；汝阴王石琨为大将军；任武兴公石闵为都督中外诸军事、辅国大将军。

甲午（十九日），邺城内狂风拔树，雷电交加，下的冰雹像盂钵和粮升一样大。太武殿、晖华殿发生火灾，波及到许多门观亭阁，烧得荡然无存，皇宫的车乘服饰，也被烧了大半，金银玉石之类，全都损失殆尽。大火一直烧了一个多月才灭。

当时沛王石冲正在镇守蓟城，当听说石遵杀掉了石世自立以后，就对辅佐他的同僚们说：“石世是秉承先帝的旨意继位的，石遵专横地把他废黜并杀掉，再也没有比这更大的罪过了！命令内外严加戒备，我要亲自出征去讨伐他！”于是石冲留下宁北将军沭坚守卫幽州，自己率领五万士兵自蓟城南下，并将讨伐檄文传递到燕、赵之地。他每到一地，人们都云集而来，等到抵达常山，兵众已有十多万。驻扎在苑乡时，石冲见到了石遵实行大赦的诏书，他说：“石世、石遵都是我的弟弟，死去的已无法复生，为什么还要再互相残杀呢！我要返回去了。”石冲手下的将领陈暹却说：“彭城王石遵杀君夺位，自立为帝，罪大恶极！虽然君主您要挥旗北返，但我还将继续南进，等到平定了京师，擒获了彭城王，然后再来恭迎您的大驾。”听到这话，石冲又改变了主意，于是继续前进。石遵急速派王擢送信劝说石冲，但石冲没有听从。石遵便派武兴公石闵及李农率领精锐士卒十万人讨伐石冲。双方在平棘交战，石冲的军队大败。他本人在元氏县被擒。石遵赐他自杀，并活埋了石冲手下的士卒三万多人。

武兴公石闵对石遵进言说：“蒲洪是杰出的人才，如今让他镇守关中，我恐怕秦州、雍州之地就不再会归赵国所有了。让蒲洪镇守关中虽然是先帝临终前的指令，然而如今陛下登位，自然应当改变