赵广汉欣然领会，前往拜访右将军霍禹。好言相劝，希望霍家把奴仆交出来。霍禹怒气冲冠，却不得不委婉道：“府君，这件事能不能缓几日？我霍府奴仆被抓，传出去不好听，既有损我霍家声誉，也对皇后殿下名声有碍。我的意思，等我把他辞退了，你随意抓捕。到时候他不是我霍家的人，自然与我霍家无关，如何？”赵广汉大喜，欣然同意。
霍家与京兆尹一战，可谓赔了夫人又折兵。胡显气不过，怒道：“你堂堂右将军，妹妹还在宫里当皇后，一个小小的京兆尹都能骑在你头上作威作福，你也不怕丢你爹的人？”霍禹叹气道：“后母责备的是，只不过京兆尹秉公办理，并不是有意针对咱们霍家。他是个硬柿子，不好捏。”胡显稍稍点头道：“那就找个软柿子捏，咱们霍家得找回颜面！”
霍禹首先想到了大鸿胪董梁，当初董梁也是反对为霍光以天子礼仪下葬的人之一。大鸿胪分管蛮夷事务和诸王列侯朝聘事务，下面有鸿胪文学、大行治礼丞、大行卒史、行人、翻译、主客等。
一日卫尉范明友上奏道：“启禀陛下，广陵王想朝见陛下，不过至今大鸿胪不给安排。听说是大鸿胪府的人想要索贿，索贿不成，所以不给安排。”董梁大惊，忙起身道：“微臣不知道卫尉这话从何说起！自从微臣执掌大鸿胪府，事无巨细全部亲自审阅，岂会有索贿之事？至于广陵王的事，不是微臣不给安排，实在是奏疏上达，至今没有音讯。”
病已大惊道：“奏疏上达，没有音讯？召未央卫尉来！”
不一会霍山前来，他是未央卫尉，兼领尚书事。霍山躬身道：“陛下，微臣详细查问了一遍，实在是没有大鸿胪府的奏折。尚书仆射、尚书丞都可为微臣作证！”顿时群臣哗然，议论纷纷。董梁忙下拜道：“启禀陛下，微臣也有人证！鸿胪文学、大行治礼丞都可为微臣作证。”群臣争辩不休，有人认为问题出在大鸿胪府，也有人认为问题出在尚书署。
病已心惊肉跳，暗暗皱眉。他心里清楚，董梁向来秉公办理，不徇私情，问题必然出在尚书署。尚书署本为少府的属官，负责管理少府文书和传达命令，职位不高，但权力较大。后来汉武帝为了削弱相权，设内朝官，任用尚书上呈群臣奏章，参议决策，于是尚书一跃成为实际上的丞相。霍光去世后，病已为了笼络霍家，任命霍光侄孙霍山领尚书事。没想到短短数月，整个尚书署成了霍山的掌中玩物。
卧榻之侧岂容他人鼾睡？病已自然不会允许有人在自己眼皮底下建立独立王国。立刻下令道：“这件事交给丞相和御史大夫去查，务必查清原委，不要冤枉一个好人，事事秉公办理，但求无愧于心。”
丞相韦贤、御史大夫魏相齐齐领旨。详查之下，问题果然出在尚书署。病已暗恨，碍于皇后面子，没有重罚霍山，只是责备道：“未央卫尉，你领着尚书事，尚书署出了这么大问题，难道你就没有责任？尚书署该整顿了！先把尚书丞撤了，交廷尉治罪。另外，今后朝廷大事，百官都可密封上奏，无需经过尚书署，称为秘章。”霍山早已满头是汗，慌忙叩拜。
胡显听闻后大怒，指着霍山骂道：“你真是没用，废物！之前你不是说万事俱备，没有一点纰漏吗？为什么一查就查出问题？”霍禹忙替他求情道：“后母息怒，这件事也不能全怪霍山，他确实安排得很周到。只不过没想到那个魏相如此狡猾，竟然利用奏章封箱查出了蛛丝马迹。每个封箱二十本奏疏，谁会想到利用封箱查？”胡显暗恨，却又无可奈何。
事后奴仆冯子都一边捶着胡显肩膀，一边谄笑道：“太夫人，这个御史大夫太不是东西了，处处与咱们霍家作对。不如派人收拾收拾他！”胡显叹气道：“现在陛下对咱们霍家十分忌惮，还是不要主动惹事了。等成君以后有了儿子，看我怎么收拾他们！”
数日后霍家与魏相家奴仆在长安街相遇，双方驾车抵头，谁也不肯先让路。霍家奴仆指着魏家奴仆大骂，魏家奴仆忍无可忍，上前撕扯。双方竟在长安街大打出手，几十个人打成一团，个个鼻青眼肿。
霍家奴仆禀报冯子都，冯子都咬牙道：“他娘的，这帮狗日的，找死！太夫人说了不准主动惹事，是不是他们先动的手？”那奴仆眼珠一转，忙附和道：“是，是他们先动的手。”冯子都冷笑一声，抬手道：“跟我走！”
冯子都亲自来到魏相府外，指着“魏相第”三个大字道：“去，把这匾额摘了！”接着命人在府外大叫：“魏相出来，再不出来我们就砸门了！”
魏相正在家读书，听到外面乱糟糟，急忙出屋询问。奴仆上前跪道：“主人，是霍家的奴仆打上门来了！”魏相大惊，细细询问才知道上午祸事。气得咬牙道：“你们……怎么敢得罪霍家的人？要是让皇后知道了，陛下必然为难。跟我出去给霍家赔礼！”
冯子都见魏相府门打开，双手背后，头颅高昂，露出不屑一顾的神情。魏相恭恭敬敬赔笑：“请冯郎回去禀告将军和太夫人，都是我家奴仆不长眼，冲撞了贵府车驾，我立刻让他们赔礼道歉。”冯子都冷笑道：“光他们赔礼道歉，那怎么成啊？我的属下可都被打伤了，这要是上奏到朝廷，御史大夫该什么罪？我们霍家虽然不如从前，可宫里还有皇后，朝廷还有右将军、卫尉等人，你们不要打量着我们霍家好欺负，就蹬鼻子上脸！今日不给个说法，我们誓不罢休！”
魏相苦着脸道：“冯郎的意思，想让老夫怎么办？”冯子都斜笑道：“御史大夫也是年近五十的人了，五十知天命，御史大夫难道不知道天命吗？能不能请您亲自赔礼道歉？”魏相身躯一颤，惊问道：“你……你想让我下跪？”
冯子都大笑道：“将来皇后有了龙子，那就是嫡子，是要承继大位的。你得罪了皇后的娘家，就不怕以后太子找你秋后算账？乖乖磕个响头，今日之事就算罢休，否则……”冯子都一挥手，身后众人齐齐摩拳擦掌，叫喊道：“砸了他的门！”
魏相大骇，咬牙跪地道：“都是我魏相管教不严，望冯郎回去禀报将军，魏相不敢与将军作对，请将军高抬贵手！”冯子都大笑，扬长而去。魏家奴仆忙扶起魏相，只见他老泪纵横，牙关紧咬。这件事很快传遍京师，人人都将它作为茶余饭后的谈资，一时京师震悚。