晋元帝建武元年（丁丑，公元317年）春季，正月，汉军向东进攻弘农郡，太守宋哲逃奔江东。

黄门郎史淑、侍御史王冲从长安逃奔凉州，称说西晋愍帝出降前一天，派他们携带诏书赐封张，拜张为大都督、凉州牧、侍中、司空，禀承制书处理事宜。诏书还说：“朕已下诏琅邪王及时代摄帝位，希望你们协助琅邪王，共渡多难之秋。”史淑等到达姑臧，张隆重哭奠愍帝三天，辞谢不接受封职。

当初，张的叔父张肃任西海太守，听说晋都长安危亡在即，自请任先锋赴援。张以他年老为由不同意。等到听说长安失守，张肃悲愤而死。

张派遣太府司马韩璞、抚戎将军张阆等率领步兵和骑兵共一万人向东攻击汉军，命令讨虏将军陈安、安故太守贾骞、陇西太守吴绍各自统领本郡兵马为前驱。又送信给相国司马保说：“晋王室遇有灾祸，我没忘投身报效。以前曾派遣贾骞视先生举动行事，后来接受符命，敕令贾骞回军。不久听说敌寇进*长安，胡崧屯兵不前，允带着五百金向他求救，于是我决定派遣贾骞等翻山越岭进军赴援，刚好听说朝廷已经倾覆，未能实现尽忠的愿望，我悲痛心情之深重，虽死也有余责。现在重新派遣韩璞等率军前往，一切听从您的命令。”韩璞等人的军队始终不能东进，只好退军。

军队行至南安，被多支羌人部族截断退路，双方相持一百多天，韩璞等人的军队箭尽粮绝。韩璞把拉车之牛杀掉犒饷士卒，流着眼泪对他们说：“你们思念父母吗？”士卒回答：“思念。”“思念妻子儿女吗？”回答说：“思念。”“想活着回家吗？”回答说：“想。”韩璞又问：“愿意听从我的号令吗？”士卒回答说：“愿意。”于是擂鼓呐喊，进击博战。适逢张阆率金城士兵随后赶到，夹击羌人，大破敌军，斩首数千。

长安失陷以前，曾有民谣说：“秦川之中，血流没腕，唯有凉州倚柱旁观。”等到汉军攻陷关中，氐族、羌族攻掠陇右，雍州、秦州的人民十有八九死亡，唯独凉州安然无恙。

二月，汉主刘聪派堂弟刘畅率领步兵、骑兵三万进攻荥阳，荥阳太守李矩屯兵韩王故旧壁垒，双方相距七里，刘畅派遣使者招降李矩。当时刘畅的军队突然到达，李矩来不及设备防御，于是派遣使者见刘畅，诈称愿降。刘畅不再防备，大肆犒劳士卒，主要将领都喝醉了。李矩打算乘夜偷袭，但手下士卒都心存畏惧，李矩便派部将郭诵到子产祠祝祷，让巫祝扬言说：“子产神灵告知，到时会派遣神兵相助”。众人都踊跃争先。李矩挑选勇士千人，令郭诵率领他们，突然袭击刘畅军营，斩首数千。刘畅只身逃出，仅免于死。

辛巳（二十八日），宋哲到达建康，称说奉晋愍帝诏书，令丞相、琅邪王司马睿总摄国家所有事宜。三月，琅邪王换上素色服装，避居于别室，举哀三天。此时西阳王司马和官员、部属等共同进上皇帝尊号，琅邪王不肯即位。司马等坚持请求，不肯罢休。琅邪王感慨地流着眼泪说：“孤是有罪之人。诸位贤良如果*我不止，我将返归琅邪封国。”并传呼私人奴仆，让他们驾车准备返回封国。司马等于是请求琅邪王依照魏、晋旧有成例，称晋王。琅邪王同意了。辛卯（初九），琅邪王即晋王位，大赦天下，改年号为建武，开始设置百官，建立宗庙和社稷。

主掌官员请求立太子，晋王喜爱次子宣城公司马裒，想立他为太子，对王导说：“立太子应当视其德行。”王导说：“世子与宣城公，都有清朗隽秀的美德，但世子年长。”晋王听从了王导的意见。丙辰（疑误），晋王立世子司马绍为王太子，封司马裒为琅邪王，继承恭王的祭祀；仍任司马裒为都督青、徐、兖三州诸军事，镇守广陵。任西阳王司马为太保，封谯刚王司马逊的儿子司马承为谯王。司马逊是晋宣帝弟弟的儿子。又任征南大将军王敦为大将军、江州牧；扬州刺史王导为骠骑将军、都督内外诸军事、领中书监和录尚书事。丞相左长史刁协被任为尚书左仆射，右长史周被任为吏部尚书，军谘祭酒贺循任中书令，右司马戴渊、王邃为尚书，司直刘隗任御史中丞，行参军刘超为中书舍人，参军事孔愉长兼中书郎，其余参军全部封官奉车都尉，部属封驸马都尉，行参军舍人官拜骑都尉。王敦辞谢江州牧的官职，王导因为王敦已统领六州，辞谢都督内外诸军事的职务，贺循因年老多病辞去中书令，都获得晋王的同意。任命贺循为太常。此时承续西晋的丧乱之后不久，江南东晋政权刚刚草创，因刁协久在西晋时为官，熟悉旧制；贺循为当世儒学泰斗，精通礼学，所以凡遇疑碍难决的问题，都由他们定夺。