当时的朝廷要员徐仁、上官安、朱山拊、张安世、杜延年、韩增等人的父亲或岳父全都在武帝时官居三公或九卿。但除了韩增之父外，其余人都是政治新贵，都是从官僚集团的底层慢慢爬上权力塔尖的。事实上，韩增是霍光辅政时期唯一一位家族荣显的历史可以追溯到武帝之前的。但和张安世与杜延年一样，韩增的父亲在他尚未在官场有所建树就去世了：他仕途得意主要得益于霍光的栽培。③
基于上述分析，我们可以发现，之前那些累世身居高位的名门望族在霍光辅政时期几乎消失殆尽了。但这些显赫家族都有哪些?他们掌握了什么手段能确保家族成员在西汉前半期一直享有特权获得高层职位?霍光又是如何成功地将他们排除在政治舞台中心的呢?
这些权贵世家可以被划分成三个集团：第一是辅佐高祖刘邦建立汉朝的开国元勋，第二是在西汉建立之后的军事行动中功勋卓著者，第三是皇亲国戚。他们中的佼佼者享受着世袭的爵位。从汉朝建立一直到武帝统治结束，一半以上的高层官员来自这些家族。仕宦之家的子弟享有政治优势，很多人在仕途早年就能接触到王室或可以跟随太子左右。他们中有不少人都有担任郎吏或任职太子府的经历。虽然这属于没有多少实权的低层官职，却给他们提供了与朝中重臣，乃至皇帝或太子建立私人联系的机会。①在这之后，他们通常都会升任官僚系统的中层官员。②