胡亥在坐上皇帝后，更是对其他众多的兄弟姐妹更是残忍有加，毫无人性。
胡亥屠杀自己兄弟最残忍的是在XY市（市即古代城市中的商业区）将十二个兄弟处死。另一次在杜邮（今陕西咸阳东）又将六个兄弟和十个姐妹碾死，刑场惨不忍睹。将闾等三人也是胡亥的兄弟，最终也被逼了自尽。
在胡亥的众兄弟当中，死得名声好一点的是公子高。他眼看着兄弟姐妹们一个接一个被胡亥迫害致死，知道自己也难逃厄运。但逃走又会连累家人，于是下决心用自己的一死来保全家人的安全。他上书给胡亥，说愿意在骊山为父亲殉葬。
胡亥很高兴，又赐给他十万钱。除了兄弟姐妹，胡亥对其他不听话的文武大臣也不放过。
首先迫害的是蒙恬兄弟俩，开始胡亥想继续用他们兄弟俩，但赵高害怕他们对自己构成威胁，就向胡亥造谣说，秦始皇原来曾想立胡亥做太子，但蒙恬的兄弟蒙毅极力阻止，秦始皇这才打消了立他做太子的念头。
胡亥却信以为真，不但没有释放蒙恬，还将蒙毅也囚禁在代郡（HEB省蔚县东北）的监狱中。后来，胡亥派使者逼蒙毅自尽，然后又派人到阳周的监狱中逼蒙恬自杀，蒙恬开始不肯，声辩说要见胡亥，请他收回诏命，使者不许，蒙恬见生还无望，只得服毒自尽。
对于其他大臣，胡亥在赵高的唆使下，也大开杀戒。右丞相冯去疾和将军冯劫为免遭羞辱而死，选择了自尽。
在杀死大臣的同时，赵高将自己的亲信一个个安插进去，他的兄弟赵成做了中车府令，他的女婿做了都城咸阳的县令，都是要职，其他朝中的要职也遍布赵高的党羽。胡亥只知道自己享乐，对赵高的这些阴谋动作毫无防备，最终死在了赵高之手。
杀了许多朝中的大臣，赵高还不满足，又寻找机会唆使胡亥对地方官吏也下毒手。在胡亥即位的第二年，即公元前209年初，胡亥效法自己的父亲秦始皇，也巡游天下。南到会稽（浙江绍兴），北到碣石（河北昌黎北），最后从辽东（辽宁辽阳）返回咸阳。
在巡游途中，赵高阴险地对胡亥说：“陛下这次巡游天下，应该趁机树立自己的威信，把那些不听从的官吏诛杀，这样您才能有至高无上的威信。”胡亥不问青红皂白，就连连下令诛杀异己，结果弄得大臣们惶恐不安。赵高实际上把年轻的胡亥当成了扩张自己权势的工具。