和杨坚相比，杨广现在既没有强大的外敌，而且还很年轻，再加上他对天下的掌控力极强，完全可以借着杨集创造出来的大势将规避制和轮换制执行下去。
「此法极好，就这么办！」杨广心中已经有了决定，想着自己是皇帝，不宜亲自下场，于是说道：「此事就由高公、张公负责，蜀王从旁协助。」迪
「臣遵命！」三人起身应命。
杨秀与杨广利益一体，荣辱与共；高颎自绝天下世家门阀，已成杨广的人了；而张衡在发迹之前，就是杨广的心腹亲信了。所以三人都没有丝毫退路可言，只能与杨广共进退。
议定这件大事，杨广又想到了违法违规、倍受攻讦的杨集。
他沉吟半晌，心中立刻有了主意，抬眸向张衡说道：「张公，在此事之前，你先要做两件事。」
张衡闻言，立刻抱拳一礼，神情肃然的说道：「请圣人示下！」
「卫王现在是河北行台尚书令、辽东道行军大总管，虽然有先斩后奏之权，可他所杀的幽州官员实在是太多了，在法理上，怎么说都说不过去。」杨广很是严肃的说道：「你要做的第一件事就是发动御史三台的御史言官，给我拼命弹劾他。」
「啊？」张衡一下子愣住了，在杀官这件事上，杨集虽然杀红了眼，可他这一杀，既是解决了后患、安定了民心，而幽州百姓对朝廷和皇族的信任感不但没有减弱，反而更上一层楼。此外，他还包括高建武在内的高句丽细作一网打尽、一祸端走。迪
从内部纷争上说，杨集消灭了杨广视为心腹之忧的元家渔阳系、元家幽州势力，令元家和元派进入了非常危险的困境。所以无论从哪个方面来说，杨集都是有大功而无过。
然而杨广没有奖赏也就罢了，反而还要让自己发动御史三台弹劾杨集。
这怎么可能？
「张公，依法而为即可。」高颎却是明白了杨广的良苦用心，同时也对杨广的远见深感佩服。
这是因为杨集不管对错与否、用意何在，他那违法违规行为都是不可抹除的。如果作为皇帝的杨广不闻不问，置律法何在？日后又如何治国？
更何况在接下来的彻查义仓、推行规避制和轮换制等等大动作之中，朝廷必将拿下很多不法官员、必将造成天下一片哗然；很多势力很多世家门阀为了维护自身利益、维护派系官员，必然拿杨集来说事。
如果杨集没有被罚过，那么杨广无法向天下人交待、无法秉公执法，他为了重新塑造一个公正的形象
，只能将处于风口浪尖杨集从重处罚，但是这时候不管罚得有多重，都没有说服力，都给人一种掩耳盗铃、欲盖弥彰之感。但是杨广要在此之前、在第一时间就惩罚了杨集，别人日后无论怎么说，都没用。迪
之所以让张衡发动御史三台一起弹劾，就是营造出一种声势，让天下人都知道他杨广是个「铁面无私」的皇帝、让天下人都知道御史台的确是个不畏强权的机构。
最张，皇帝和御史台的权威立了起来，而杨集也只是受到轻飘飘的责罚，而那些受损严重的政治势力和世家门阀也无错可抓。
可谓是一举多得。
「臣照办！明天就弹劾卫王。请圣人吩咐下一件。」张衡才智虽然不如高颎高，但也不是简单的人物，一经高颎这么微微提醒，立刻明白了杨广的深意。
「第二件，与高句丽有关。」杨广停顿了一下，说道：「高建武乃是高元的弟弟，现在被关押在涿郡大牢之中，此外还有两千多户人家是高句丽慢慢向我大隋渗透的细作。」
「考虑此案重大，涉及人员众多，我决定让御史台、大理寺、刑部联合会审，然后将一切的一切真相，都公示天下，也让天下人知晓高句丽的野心、卖国贼的真面目。」
一时间，便是高颎也是大吃一惊，暗道一声「元家完了」！迪
。。。。。。。
翌日早朝，张衡发动御史三台御史官员，对杨集发起了声势浩大的弹劾：弹劾杨集滥用权力、擅自杀官、诛人满门；此外还弹劾杨集动用军队缉捕幽州七郡诸县官员，大有以军事干政之嫌……若不严惩，国将不国。
御史台这场声势浩大的弹劾，震惊太原上下，无数人为张衡「不畏强权」的行为叫好的同时，也为他捏了一把冷汗。
杨集不但是一人之下万人之上的第一人，而且他的做法在情理上也没错，此外还是东路军的主帅，皇帝无论是从哪个方面考虑，都不可能惩罚杨集，搞不好还因为战争的原因，以惩罚张衡方式来安抚。可是结果却出人意料——
杨秀和萧玚等人虽然在朝堂之上为杨集奋力争辩，到最后，便是杨广也亲自下场了，但张衡就是不听，就是一力坚持自己的主张。而不明底细的薛道衡更是引经据典、振振有辞。
高颎也劝杨广也大局为重、以律法为重。
无奈，杨广只好含着泪，忍痛免去杨集检校兵部尚书侍郎、检校左翊卫上将军之职，其武散官从从二品镇军大将军降为正三品的冠军大将军升、文散官从从二品右光禄大夫降为正三品金紫光禄大夫。此外，罚俸五年。迪
这个惩罚不谓不重。
张衡和薛道衡、高颎等等诤臣这才心满意足的罢休了。
然而这份重罚对于杨集的实权来说，有影响吗？半点都没有！
顶多就是少了一些俸禄。不过杨集穷得只剩下钱了，又怎么可能在意这些？
尽管如此，可是担心杨集有所误会的杨广还是专门写了一封密信，说明了自己重罚他的用意，然后让杨集派遣过来的信使带回去给杨集。