于是，桓玄这一战，到彦之并没有参与其中，等刘裕平定桓玄再次见到他的时候，对于这个老乡，刘裕心中有了怨念，对到彦之就说了：
喂，我在前面和桓玄打架呐知道不？
哦，你知道啊？你知道你还不来帮我？
你老铁我在前面打架，你在后面看热闹？
咱哥俩可是老乡啊，有你这样的吗？你知不知道我以少打多很难的？我就盼着你来帮我呐，你倒好，直接在后面看热闹。
行了，这架我打完了，场子也都拿下了，你现在出现是啥意思？要分场子吗？
那么，打架的时候你不来，现在我凭啥给你分场子？
嗯，用我们的话就叫：穷困潦倒你不陪，荣华富贵你是谁？
就这样，两老乡之间的友谊小船差点翻了。
但面对刘裕的问责，到彦之没有说话，孟旭也没有说话，而心有碎碎念的刘裕还以为到彦之默认了，也就没对他做出奖赏。
直到义熙元年(405年)，刘裕知道了详情，他才被刘裕任命为镇军行参军、广武将军。
可就在他到彦之春风得意、心有自满，从一介屁民升级成将军的时候，他也迎来了他人生中的转折。
那就是卢循攻打石头城的时候，到彦之被后秦派来支援卢循的苟林击败，而他也因此被刘裕免了官。
战场、官场的失意，对到彦之的打击很大，于是，让他决定痛定思痛，痛改前非，痛痛痛……
而刘裕也是见到了到彦之的改变，就在西蜀大将谯道福趁卢循之乱占据白帝城的时候，刘裕再给了到彦之一个机会，让他领兵去攻打谯道福。
这一战，才是他到彦之展现真正技术的时候，此一战，到彦之勇猛异常，大破谯道福的两万西蜀军队，并且成功收复了白帝城。
对于这个战果，刘裕很是满意，当时的刘裕还是太尉是没办法为到彦之封爵的，于是，他就上书天子，请封到彦之为佷山县子，任太尉中兵参军。
此后，到彦之又被刘裕委派到荆州，这一待就是好几年，直到刘义隆出镇荆州刺史的时候到彦之还在荆州掌控着荆州的军权。
等刘义隆到了荆州的时候，因为到彦之是他老爹刘裕的老乡，所以他对到彦之格外信任，一直当做心腹、叔辈看待，而到彦之也对得起刘义隆，一直不曾有过二心。
但就这么一个人，就这么一个从屁民走出来的将军，却令徐羡之他们有些忌惮。
在他们想来，刘义隆把谁调在身边都行，唯独这到彦之不行。
因为他们是和到彦之同一时期跟随在刘裕身边的人，他们深知到彦之的能力。
其一生跟随气吞万里如虎的刘裕作战，也深得刘裕的作战之法，而且，他还是刘家的死忠。
对于徐羡之他们来说，这样一个极为难缠的人物要是来到建康，那他们的日子就不太好过了。