张放等人不悦，过一会儿起来上厕所，然后溜走了。
当时长信宫(太后宫)的一位女官，正好奉派前来，看见了这一场对话，回去向太后汇报。太后涕泣说：“皇帝最近脸色瘦黑，班侍中本来是大将军王凤所推举的，应该特别宠信他，并且多找一些像他这样的人，来辅助圣德!富平侯张放应该遣送回他的封国去!”
皇上说：“诺!”
皇上的诸位舅舅听说了，便示意丞相、御史等找寻张放的过失。御史丞相薛宣、御史大夫翟方进弹劾说：“张放骄纵恣肆，奢侈淫逸，毫无节制，拒闭使者(侍御史修奉命到张放家搜捕盗贼，张放家奴紧闭大门，张设弓弩，不许使者进去)，伤害无辜(张放知道李游君要把女儿献进宫中，他却想得到那个姑娘，李游君不给他，他就派家奴上门抢夺，闯入李家，杀伤三人)，他的随从奴仆都乘着他的权势，做尽暴虐之事，请将张放遣送回他的封国!”
皇上不得已，将张放调任北地都尉。
以后几年，一直有灾变，所以张放久久也不能回京。然而皇上的玺书慰问源源不绝。张放的母亲敬武公主生病，皇上下诏让张放回来探视。过了几个月，他母亲病好了，又将张放外放为河东都尉。皇上虽然亲爱张放，但是上迫于太后的压力，下迫于大臣的反对，所以经常流着泪把他送走。