而霍光迎立宣帝，其权力登上了顶峰。朝中各项事项由霍光先行决断，然后再上奏皇帝。为了进一步削弱早已式微的外朝官的权力，霍光先后以杨敞、蔡义、韦贤三人为丞相，其中杨敞曾为霍光的属吏，“素谨畏事”；蔡义为相时年逾八十，韦贤也是七十余岁的老翁。霍光任用亲属，建立私党，他的儿子霍禹、侄孙霍云是统率宫卫郎官的中郎将；霍光的兄弟、子女、女婿、内外孙．甚至兄弟的女婿、外甥、同族的子弟、远亲近邻都得了官，霍党遍及朝野，结为一体，盘根错节，极为牢固，占据了朝廷的半壁江山。霍光的权势和声望已经到了无以复加，登峰造极的地步。

    霍光为政严酷，在翦除了上官氏集团及燕王刘旦之后，他为了确保权力的独立运作，“遂遵武帝法度，以刑罚痛绳群下。”公元前78年，在距上官桀等谋反已经平定两年之后，霍光竞借朝臣审治侯史吴藏匿桑迁的事发难，廷尉王平、少府徐仁及左冯翊贾胜胡因“坐纵反者”被诛杀，并险些祸及丞相田千秋，在朝中引起强烈震撼。霍光过分集权，多置私党及为政严酷，已经严重削弱了霍氏集团的统治基础。

    宣帝即位时，霍光大概有六十上下，在那时已是长寿之人了，但已开始老病，有了不久人世的征兆。其妻霍显为了继续保持富贵，谋划长治久安的举措：让女儿成君做皇后，再生下太子。于是利令智昏的她仗着霍光有天下大权的庇护，和宫廷女医淳于衍勾结，用药害死了妊娠中的许皇后。宣帝闻知许皇后猝死，十分悲痛，当即命有司拿问诸医。“显恐急，即以状具语光，因日：‘既失计为之，无令吏急衍!’光大惊，欲自发举，不忍，犹与。会奏上，光署衍勿论。”霍光的权力来自武帝的托管，内心以伊尹周公自许，汉代外戚虽权势显赫，然在官场和民间舆论中却一直饱受讥贬，不被尊重。霍光与另一位托孤重臣上官桀是儿女亲家，霍光的外孙女做了昭帝皇后，上官父子以此炫耀，但霍光并没有与有荣焉的表示，可见他对做国丈并不热衷。但事已至此，霍光还是采取了得过且过，瞒多久算多久的策略，说皇后的崩逝是命中注定，若加罪于诸医，未免有伤仁德，况且诸医也无胆敢害皇后，宣帝遂不再坚持。霍光晚年竞被悍妇摆布，做如此乱礼法之事，霍家之败已见端倪。

    霍成君被册立为皇后后，奢侈绝伦，不可一世。霍显为了摆阔气，耍威风，擅自变更了霍光生前自己设计的坟茔规格，违制建起三道阙门，筑有宽阔的神道，并修饰有祠堂、阁道，规模庞大，并把一批官奴婢妾幽闭其中，为其守墓。其气势规格可与皇陵媲美。霍显又为自己大兴土木，营造宅第，墙面上都绘有五彩之图，并用黄金、锦绣加以装饰，极尽奢侈之能事。单是她的辇车就非同一般，用熟牛皮包裹车轮，中间实以棉絮，车内外饰以精美的锦绣，外壳饰以黄金，出引时命令侍女挽着五彩丝绦，悠哉游哉，四处游玩，宛若天仙。她的子侄也学她样，大造园林宅第，极尽犬马声色之娱。霍云每当朝见时，就称病不出，实际上却带领众多手下四处张围打猎。

    霍家的后代子弟，因失去霍光的管束，更加肆无忌惮。他们会不以为然地得罪新势力，引起霍光生前众多政敌的不满。霍家家奴总管冯子都张扬跋扈。有次他带一批家奴出门，路上碰到御史大夫魏相的家奴，为了争道，双方互不相让，冯子都下令众家奴大打出手，把魏家奴打得落荒而逃。霍家奴犹不解十艮，竞打上门去，吓得魏相亲自出门，低声下气向霍家奴叩头谢罪，方才悻悻离去。以御史大夫之尊尚且忍气吞声自认倒霉，更何况平民百姓呢!

    古语有云：君子之泽，五世而斩。富贵不过三代。霍光殁后，宣帝又有了新的宠幸圈子，霍光后代被排除在核心之外。宣帝诏命御史大夫魏相兼任给事中一职，参与朝中的机密决策，不久又任命为丞相，任命邴吉为御史大夫，“同心辅政，上皆重之”，又封太子的外祖父许广汉为平恩侯，重用祖母史良娣和许皇后两家的人才，形成了自己的核心，并逐步将霍家集团的一个个重要成员进行异地分散为官或流放边郡。此时霍家面临的问题就是保护自己的权势及财富，不要被新生贵族势力替代和夺取。西汉第一任丞相萧何早就认识到这一点，他不愿为儿孙留有更多的权势及财富，“勿为势家所夺”，韬光晦迹，以保全自身及后裔。和霍光同朝多年的张安世深知世态炎凉，低调行事，主动让权，这是华族生存的唯一办法，也使他保存了自己的家族。而长期处于霍光权势荫庇之下的霍禹诸人，缺乏必要的政治才干，以贵胄子弟的奢侈妄为加速了自身的灭亡。当霍家认识到宣帝对他们日益不满和怀疑，权势被日益削夺时，霍氏诸人除了“缮治宅第，走马驰逐”，骄恣享乐，就是相对涕泣，自怨自艾。霍显更是惶惶不可终日，只得将毒死许后的经过一五一十告诉霍禹、霍云及霍山等人。霍家众人听罢大为惊恐，决定鱼死网破孤注一掷，举行叛乱，但在策划阴谋时，便被人告发。宣帝以静制动，下诏先不必抓人，将霍云及霍山免职回家，而不动霍禹官职，以图稳住霍氏家族。而霍家更为恐慌，认为这是看在上官太后的面子才不得如此，灭门之祸随时会降临霍家，于是加快了准备反叛的步伐，定下釜底抽薪之计：以为宣帝外祖母祝寿为名，设宴诱杀大臣．废黜宣帝，拥戴霍禹为帝。但因计划并不周密，被严阵以待的宣帝很快瓦解了。霍云、霍山自杀，霍禹被腰斩，霍显及霍氏兄弟姐妹全被处死，与霍家有牵连的十余家被斩尽杀绝，霍皇后被废，12年后亦死。

    霍光在汉朝皇帝孤立无援之际，拥昭帝，立宣帝，可与古时贤臣伊尹周公相比，为汉延辛劳监国20年，功勋卓著。但霍光长期专擅大权，不知自动引退，反在朝中广植私党，致使君王积蓄怨愤于上，官民增长不满于下，咬牙切齿，侧目而视，都在等待时机，准备将其置于死地。霍光自己能够幸免，己然是十分侥幸了，何况子孙更加骄横奢侈，怎能不加速灾祸的降临呢?而且还纵容妻子霍显耍权术，搞阴谋，而他的宗族又多不奉公守法，这些都为霍氏家族埋下祸根。霍家终被宣帝灭族，身败名裂，霍光积累的一世基业也毁于一旦。

    历史告诉我们，满招损，谦受益，太过锋芒毕露，必然招惹他人嫉恨，留下隐患。富贵之家更应该隐藏锋芒，才能使家族之树常青不衰。