孙恩起兵，消耗了晋廷兵力，造成京防空虚，这给盘踞长江上游军事重镇荆州、虎视三吴的桓玄以可乘之机。元兴元年（402年），骠骑大将军司马元显率军西讨桓玄，桓玄也率荆楚大军南攻司马元显。司马元显派刘牢之抵御，刘裕也随军前往。刘牢之率部到达溧州（今江苏溧阳）时，遭遇桓玄所部，刘裕请求发起攻击，未得同意。刘牢之打算派刘敬宣到桓玄营中讲和，遭到刘裕与刘牢之的外甥何无忌联袂坚决谏阻，刘牢之不听。桓玄攻入建康（今江苏南京），杀司马元显，收夺刘牢之兵权，以其堂兄桓修代之。刘牢之惧祸而逃，后自缢身亡。刘裕审时度势，暂投桓玄以行韬晦。由于刘裕屡建军功，于北府旧部中颇有声望，故桓玄也不敢小视他，任命他为中兵参军。

小主，

孙恩死后，余众推其妹夫卢循为主。卢循率义军残部南下，攻占永嘉（治永宁，今浙江温州）、晋安（今福建福州）等地。桓玄为安抚地方，任卢循为永嘉太守。卢循表面应允，但仍不断进攻沿海郡县。

元兴元年（402年）五月，桓玄派刘裕东征，讨伐卢循。

元兴二年（403年）正月，刘裕败卢循军于东阳（治长山，今浙江金华）。卢循逃往永嘉，再为刘裕追败，部将张士道也被杀。刘裕一路追击至晋安，卢循渡海南逃。六月，刘裕因功被加封为彭城内史。

桓玄掌控朝政，获封楚王，并打算篡夺皇位。一次，桓玄的从兄桓谦私下询问他对禅代的看法，刘裕假装称赞桓玄的功勋，表示桓玄“乘运禅代，有何不可”。桓谦大喜道：“你说可以，便应该是真的可以了。”

元兴二年（403年）十二月，桓玄篡位，刘裕随徐兖二州刺史桓修入朝。桓玄看见刘裕，对司徒王谧说：“昨日看见刘裕，气度不凡，是人中豪杰。”

于是更对刘裕款待备至，恩宠有加。桓玄的妻子刘氏颇能识人，她多次劝桓玄除掉刘裕，但桓玄却以要借刘裕荡平中原为由拒绝。同时，桓玄称帝后为消除隐患，欲瓦解北府兵，大力剿杀北府兵旧将，北府军几乎遭到灭顶之灾。正在桓玄盘算之际，刘裕也在暗中和北府兵残余兵将联络，伺机反攻桓玄。

元兴三年（404年）二月，刘裕以打猎为名，聚集北府兵残余兵将一千七百余人，在京口举兵起义，歼灭了桓楚在此的兵力，杀死桓修。接着，众人推刘裕为盟主，传檄四方，各地纷起响应。

桓玄自从获悉刘裕率众起义后，成天忧心忡忡，想不出对策。有人说：“刘裕等力量弱小，哪里具备成气候的力量，陛下何必担忧呢？”

桓玄回答说：“刘裕堪称当代雄才；刘毅家无多少储蓄，却像掷骰子一样捐出百万；何无忌，刘牢之的外甥，很像他舅舅。他们联合起来，共举大事，怎能说他们不会成功呢？”

桓玄先派手下猛将吴甫之及皇甫敷带领精兵抵抗刘裕，刘裕先于江乘杀吴甫之，至江乘以南的罗落桥时奋力作战，又杀皇甫敷，继续进攻。

三月，刘裕进攻覆舟山，并命弱兵登山，持着旗帜分道而行，营造四周皆有士兵，数量很多的假象；而又因桓玄守军大多是北府军出身，面对刘裕都没有斗志，刘裕于是与诸军进攻，顺利以火攻击溃桓玄守军，而桓玄亦弃城西逃。

元兴三年（404年）三月，刘裕进驻石头城，派冠军将军刘毅、辅国将军何无忌、振武将军刘道规率各军追击桓玄。

王谧等人公推刘裕领扬州刺史，刘裕极力推辞，于是由王谧录尚书事，领扬州刺史。而刘裕则被推为使持节、都督扬徐兖豫青冀幽并八州诸军事、领军将军、徐州刺史。