五年(188)，凉州贼王国包围陈仓，再任皇甫嵩为左将军，督前将军董卓，各率二万人抵御。董卓想很快去陈仓，皇甫嵩不听。董卓说：“聪明人不失时机，勇敢的人不迟疑。快救，城就可以保全;不救，城就会破灭。保全或破灭的形势就在这时，皇甫嵩说：“不是这样。百战百胜，不如不战而屈服人之兵。

所以先要作不可胜的样子，用以等待敌人之可以战胜。不可胜在我，可以胜在敌。敌人防不胜防，而我进攻则非常主动，想打哪里就打哪里。有余的，好像动于九天之上，不足的，好像陷入九地之下。现在陈仓虽然小，守城的工事坚固完备，不是九地之坑陷，王国虽然强，进攻我之所不救，不是九天之上的形势。

没有九天之上的形势，进攻的就要受害。陷入九地之下，防守的就不会被攻破。王国现在已经陷入受害之地，陈仓可保不被攻破。我可以兴兵动众，收到全胜的功，为什么要救呢!”终不听董卓的。王国包围陈仓，自冬到春，八十余天，城坚守固，终究没有攻下。

贼部队疲敝不堪，结果只得自己解围而去。皇甫嵩指挥部队进击。董卓说：“不可，兵法说，被打败了的敌人，不要追赶，撤回去的部队，不要逼迫。现在，我们追击王国，是逼迫撤回的部队，是追打被打败的敌人，被围困的野兽，还要挣扎，蜂虿有毒，况这么多人呢!”皇甫嵩说“：不是这样。

以前我不进击，是躲避他的锐气，现在进击，是等到敌衰弱的时候了。我们进击的是疲敝的敌人，不是撤回去的部队。王国的部队，准备逃走，没有斗志。用堂堂之阵，进击溃乱之师，这不是叫做追穷寇。

”就独自率兵进击，使董卓殿后，几仗下来，打得王国大败，斩首万余人。王国逃走而死。董卓又惭愧又嫉恨。因此忌恨皇甫嵩。第二年，董卓被任为并州牧，诏令要他把部队交给皇甫嵩，董卓不听从朝廷的命令。

皇甫嵩的侄儿皇甫郦这时在军中，劝皇甫嵩说：“本朝动乱，政治腐败，人民疾苦万分，能够挽回危局，使不倾覆的，只有大人与董卓两人而已。现在两人已经结了怨恨，势不能两立。董卓奉诏交兵给您，上书不交，这是违反皇帝的命令。他又因京师紊乱，迟迟不行，这是怀奸。

他凶暴，无亲信的人，将士不附。大人今为元帅，依靠国威讨伐他，对上显露了您的忠义，为下除凶害，这是桓文的事业啊!”皇甫嵩说“：董卓不听命虽然有罪，但我专诛也是有责的。不如正大光明地上奏朝廷，使朝廷处理。”于是上书朝廷。灵帝责让董卓的不是。董卓更加怨恨皇甫嵩。

等到董卓后来执掌政权，初平元年(190)，征召皇甫嵩为城门校尉，想杀掉他。皇甫嵩准备去，长史梁衍劝他说“：汉朝微弱，宦官乱朝，董卓虽然杀了宦官，不能尽忠国家，掳掠京师邑县，废帝立帝，随他的意。今征召将军，不遭大祸，也要受到困辱。

现在董卓在洛阳，天子来西，用将军的部队，精兵三万，迎接皇上，奉令讨伐叛逆，向海内发布命令，征集兵力，集合诸帅，袁氏从东面来打他，将军自西面而去打他，捉董卓不成问题。”皇甫嵩不从，于是应征召。官吏承董卓的命令，奏皇甫嵩交狱吏，准备杀掉他。皇甫嵩的儿子坚寿与董卓相好，自长安赶到洛阳，投奔于董卓。

董卓正置酒欢迎他，坚寿走到董卓面前质问董卓，以大义责备董卓，叩头流涕。在坐的人都为之感动，都起身请董卓不要杀害皇甫嵩。董卓起来，牵了皇甫坚寿与他共坐。派人免囚皇甫嵩，再命皇甫嵩为议郎，升御史中丞。到董卓还长安，公卿百官在道旁迎接。

董卓暗示御史中丞以下官吏都得下拜，屈服皇甫嵩。事毕，拉着皇甫嵩的手说“：义真服不服呢?”皇甫嵩笑而向他请罪。董卓才解了恨。到董卓被杀，任命皇甫嵩为征西将军，又升车骑将军。这年秋天，受命为太尉。

冬，因出现流星免官。再任为光禄大夫，升太常。不久，李莈作乱，皇甫嵩也病死，赠骠骑将军印绶，任家中一人为郎。皇甫嵩为人仁爱谨慎勤勉，前后上表陈谏对国家有补益的五百余事，都自己亲自书写，并随即把草稿毁掉，不向外宣扬。又虚心下士，尽力汲引，家里没有因为没受推引而留下来的客人。当时人都称赞他，拥护他。坚寿也有名于时，后来为侍中，辞不就，病死。