进据洛阳

永兴元年(304年)，刚被立为皇太弟的司马颖已见骄横，大失众望。司空司马越和右卫将军陈昣和长沙王故将上官巳等于是起兵谋讨伐在邺城的司马颖，并带晋惠帝一同出征。司马颙见此，则命张方领二万兵到邺城营救司马颖，但途中司马颖部将石超就已击败司马越军并带晋惠帝到邺城，司马颙于是改命张方镇守洛阳。

上官巳和苗愿等人出拒张方但被击败，留守洛阳的太子司马覃夜袭苗愿和上官巳，二人出走而司马覃向张方投降，张方于是进驻洛阳。同年王凌和东嬴公司马腾讨伐司马颖，司马颖兵败并带晋惠帝逃回洛阳，张方又到芒山迎接晋惠帝。

逼帝西迁

张方在司马颖带晋惠帝回洛阳后拥兵专政，同时士兵亦几乎将洛阳的物资都搜刮殆尽，都很想回到长安。张方于是意图让晋惠帝迁都长安，但又怕晋惠帝和众大臣不顺从，于是决意劫持晋惠帝到长安。

张方曾请晋惠帝拜谒宗庙，意图途中晋惠帝到长安，但晋惠帝拒绝。及后张方决定领兵入宫逼晋惠帝上路，晋惠帝躲在后园的竹树之间但都被发现，并强行拉上车，送到张方的营垒去;

同时张方的士兵亦在宫中大肆搜略，魏晋以来所累积的财宝几乎都被一扫而空。张方更为了让人们没有重返洛阳之心，打算焚毁宗庙和宫室，幸有卢志以董卓火烧洛阳之事成功劝止张方。三日后张方即劫持晋惠帝和皇太弟司马颖等宗室和官员到长安。到长安后，张方升任中领军、录尚书事，领京兆太守。

被诬枉死

永兴二年(305年)，东海王司马越以让晋惠帝还都洛阳为名起兵，因司马越兄弟三人都督三州军事，又得到范阳王司马虓和王浚等人的支持，很快就组成一支强大的军事力量。但同时豫州刺史刘乔却起兵反抗，不受司马越指挥更攻击司马虓的根据地许昌和抵挡向关中地区西进的司马越大军。司马颙见此，于是以张方为大都督，领兵十万与吕朗等到前方支援刘乔。

后来刘乔在当年十二月被司马虓所派部队击败，洛阳因而被司马越军占领;张方则于霸上停驻，按兵不动。曾被张方侮辱的参军毕垣见司马颙在刘乔兵败后考虑退兵和解，却因怕张方反对而犹豫不决，向司马颙说张方在霸上不动其实是见司马越军强盛，意图叛变，还称张方亲信郅辅知道叛变的事，而缪播和缪胤亦认为张方一死，司马越大军就会自己解散。

毕垣在郅辅见司马颙前威吓郅辅，教他回答时都只答是(尔尔);司马颙于是相信张方叛变，又希望以张方换取司马越罢兵，便命令郅辅杀张方。张方因视郅辅为亲信，所以对他的没有防备，最终轻易地被郅辅杀死，司马颙即送张方的头颅给司马越请求和解，但遭司马越拒绝，而且大军更逼近长安，又利用张方的头颅诱降司马颙的其他兵将，最终都让司马越成功击败司马颙。