西晋时期，统治集团内部矛盾重重。持续十六年之久的八王之乱给国家和人民造成了深重的灾难。北方的匈奴贵族刘裕乘机起兵入侵。晋怀帝永嘉三年（公元309年），匈奴军队两次长驱直入，一直打到西晋都城洛阳，但都被西晋军队击退。

面对动荡不安的时局，卫ji决心把家迁往南方。他的哥哥卫zǎo在朝廷担任官职，母亲不忍心和卫zǎo分离，卫ji劝她要以家庭大计为重，终于说服母亲同意南迁。永嘉四年，卫ji告别哥哥，离开洛阳，带着母亲和妻子一起南下。

卫ji一向体弱多病，一路上步途跋涉，餐风饮露，经受了千辛万苦。在将要渡长江的时候，他的神情容貌都显得憔悴不堪。他对左右的人说：见到这白茫茫的江水，心里不由得百感交集。只要是一个有感情的人，又有谁能排遣这万千的思绪和感慨呢！

由于社会动荡，卫ji南迁也没有能够安居乐业。过江不久，妻子不幸亡故。他辗转到达建康（今江苏南京），于永嘉六年（公元312年）病逝，年仅二十七岁。