公元401年十二月，张法顺对
司马元显说：“
桓玄继承凭借他家世的名望和资历，双向来具有一股豪气，已经吞并了
殷仲堪、杨期，自己独霸了荆楚一带的广大地区，但是您所能控制的真正可以算做属于您的疆界，也不过就是三吴之地罢了。
孙恩制造祸乱，使
东部地区损失巨大，一片荒芜，朝廷、百姓积蓄枯竭，生活窘困，
桓玄一定会乘此机会大肆施展他的奸恶凶残的手段，实现他的阴险目的。我心中以为这是值得我们忧虑的一件事。”
司马元显说：“对此我们能怎么办呢？”张法顺说：“
桓玄刚刚把荆州强占到手，当地百姓的人心和情感也都并没有完全归附他，因此，他也正在努力平定局势，安定民心，没有功夫考虑别的事。如果乘着这个时候派遣
刘牢之为前锋，而您随后亲自带领大部队进发征剿，那么，
桓玄一定可以被我们消灭。”
司马元显以为这话很对。正好这时武昌太守
庾楷因为
桓玄与朝廷的权要结下仇怨，恐怕事情以后不能成功，大祸牵连自己，所以偷偷地派人前来，主动向
司马元显投靠，说：“
桓玄非常不得人心，他的部下也不太听从他的命令，如果朝廷这时派军队去征讨，那么我一定作内应。”
司马元显非常高兴，马上派遣张法顺到京口去，找
刘牢之商量。
刘牢之却觉得征讨
桓玄很困难。张法顺回来后，对
司马元显说：“我观察
刘牢之的表情言谈，一定是与我们怀有二心，所以不如把他召到京城来杀掉。如果不这样，他就会败坏了我们的大事。”
司马元显没有听他的活。
公元402年正月，张法顺对
司马元显说：“骠骑司马
桓谦兄弟常常当长江上游荆州方面的耳目，为
桓玄提供情报，应该把他们斩了，来杜绝今后类似奸计阴谋的发生。而且此次出军讨伐
桓玄，能否达到预期目的，关键就在前锋部队如何，但是
刘牢之为人反复无常，万一他那里发生什么变化，那么我们的失败和大祸就会马上到来。所以，您可以让
刘牢之杀掉
桓谦兄弟，来说明他和我们没有二心。如果他不接受命令，那么我们好在祸患到来之前，先打算好怎么办。”
司马元显说：“现在如果不是
刘牢之，没有人可以与
桓玄对敌。况且刚开始做这件事，便诛杀自己的大将，容易使人心不得安宁。”一而再、再而三地拒绝张法顺的请求，不加允许。他又因为桓氏家族世代都得到荆州一带居民的归附，
桓冲尤其是为那里的百姓留下了很多好处，而
桓谦又是桓冲的儿子，所以才把
桓谦由骠骑司马调任都督荆、益、宁、梁四州诸军事及荆州刺史，打算用这种方法收买西部地区百姓的人心。