时间一长，再厚的纸巾也包不住火焰。汉灵帝渐渐意识到袁隗的司徒府在人事选任方面上下其手、大有文章，遂十分疑忌，于五年之后忍无可忍，起用著名的清官廉臣、弘农杨氏的族长杨赐来取代了袁隗的司徒之位。《后汉书·杨震列传》记载：
（汉灵帝熹平）五年，（杨赐）代袁隗为司徒。是时朝廷爵授，多不以次。
这个“是时”指的就是袁隗在司徒之位上的时候。而且，杨赐对以袁隗为代表的司徒府之所作所为在给汉灵帝的密奏中写得更为具体：
而今所序用无它德：有形势者，旬日累迁；守真之徒，历载不转；劳逸无别，善恶同流。
这说明袁隗正是靠着担任宦官集团的政治“黑手套”到处卖官、腐败成风。而他被杨赐取代，也算是汉灵帝对汝南袁氏一个不大不小的打击。
但仅仅过了一年多，袁隗的哥哥袁逢便在汉灵帝光和元年（公元178年）十月出任司空之职，依然拥有人事辟召之权。这标志着袁氏一族又回到了汉室权力核心圈。而这一切，显然都是他们的宗亲、中常侍袁赦在幕后运作而来的。