郡里把他推荐给陈蕃，陈蕃问到他的妻女，知道赵宣的五个子女，都是居丧期间生的。陈蕃于是大怒说:"圣人制礼，有品行道德的人，都得遵守;不肖的人，也应努力做到。而祭祀不须次数太多，太多了，反而不敬。你现在睡在墓中，在墓中养儿育女，欺世盗名，迷惑群众，污辱鬼神，岂有此理!"于是办了他的罪。

大将军梁冀大权在握、威震天下，当时派人送信给陈蕃，请陈蕃办私事。送信的人无法见到陈蕃，于是假托他事请见陈蕃，陈蕃发怒，将其打死，因而获罪被降为修武县令。稍得升迁后，任尚书。当时零陵、桂阳山贼造反为害，公卿商议要遣军队剿平，桓帝又诏令州郡，权宜推选孝廉、茂才。

陈蕃上疏辨驳说:"以前高祖(刘邦)创立大业，海内人民，如释重负，官吏抚养百姓，如同自己的儿子一样。现在二郡的老百姓，都是陛下的孩子，导致孩子们为害的原因，难道不是当地官吏贪污暴虐造成的吗?应该严厉责成三府，暗暗考核刺史太守县令长，发现那些为政乖乱，残害百姓的人，立即向朝廷揭发，另选清正贤明、廉洁奉公。能够宣扬法令，爱护百姓的人去代替他们，这样可以不必烦劳大军，盗贼自然会平息啊!另外，三署的郎官两千多人，属官超过规定限额还未加任用，只应选择好的授予官职，那些昏庸不法的应挑出来不要他们。这样，哪里还要您下诏权宜推举人才，因而助长请托的风气呢?"

因此上疏而得罪了桓帝的近臣，被外放为豫章太守。陈蕃性情严肃方正，不接待宾客，士民也敬畏他的清高。征召他任尚书令时，送行的人都不敢走出外城门。