八月，皇甫嵩在苍亭击败黄巾卜已部，擒获卜已，屠杀七千多人。这时，张角占据广宗，控制河北腹地，卢植为宦官所诬，被召回，继任的董卓被击败。于是朝廷下诏命皇甫嵩率兵进击。在这紧要关头，张角病死，张梁担起守卫广宗的重任。

皇甫嵩攻城，因张梁兵精，未能得逞，便闭营休士，以观其变。等到张梁被迷惑，放松了警惕。皇甫嵩立即乘夜调兵，鸡鸣时分冲入其阵，黄巾军仓促应战，张梁战死，阵亡三万多人，投河而死的有五万多人。皇甫嵩焚烧黄巾辎重车三万多辆，将张角“剖棺戳尸，传首京师”。

十一月，皇甫嵩与巨鹿太守郭典攻克下曲阳(今河北晋县西北)，杀死张宝，斩杀俘虏十余万人，皇甫嵩将十万人的尸骨筑成了“京观”。汉廷任皇甫嵩为左车骑将军，领冀州牧，并晋封他为槐里侯，食槐里、美阳两县的租税，食邑共八千户。

平定黄巾主力之后，皇甫嵩奏请免除冀州一年田租，用来赡养饥民，汉灵帝听从他的建议。史载百姓作歌说：“天下大乱兮市为墟，母不保子兮妻失夫，赖得皇甫兮复安居。”

皇甫嵩镇压黄巾，威震天下，但当时朝政日非，海内空虚。汉阳人阎忠劝他把握机会，南面称制。皇甫嵩不用其计。

同年，湟中(今甘肃湟原)胡人北宫伯玉和先零羌起事，共拥边章、韩遂为帅，攻杀护羌校尉泠徵、金城太守陈懿。

公元185年(中平二年)，北宫伯玉等人侵三辅地区，朝廷诏令皇甫嵩回镇长安，保卫皇家园陵。

当初皇甫嵩征讨张角时，途经邺地，发现中常侍赵忠住宅超过了规定，便上奏皇帝予以没收。另外，中常侍张让向他索要五千万钱，他不肯给。于是赵忠和张让联起手来，劾奏皇甫嵩连战无功，耗费钱粮。灵帝听信谗言，召回皇甫嵩，收回他的左车骑将军印绶，削夺封户六千。改封都乡侯，食邑二千户。