接着常林就把叔父被关押的情况说了一遍，胡母彪立即写信责备王匡，王匡就把常林的叔父给放了，常林于是迁到上党避乱，在山中耕种。当时正逢旱灾，当地只有常林家获得丰收，于是他把周围的邻居都叫来，把自己的粮食整升整斗地分给他们。

常林住的地方紧挨着已故河间太守陈延家的围墙。陈冯二姓都是官宦旧族。张杨企图霸占这两家的妇女和财产，常林就为陈冯两家出谋划策，两家在被围困了六十多天后终于保全了性命和财产。并州刺史高干上表荐常林为骑都尉，常林婉言谢绝。

后刺史梁习又举荐州内的名士常林以及杨俊、王凌、王象、荀纬，曹操任命他们都当上了县令。常林任南和县令，治理有方，卓有成效，因而提升为博陵太守、幽州刺史。所在之处，政绩斐然。公元211年(建安十六年)，曹丕获任命为五官中郎将，常和被选为五官将功曹。同年，曹操西征关中，田银、苏伯乘机反叛朝廷，幽州、冀州动荡不安。

曹丕想亲自带兵去讨伐他们，常林说：“我曾任职博陵、幽州，对于贼寇的情况，是可以猜测推断的。北方的官吏百姓，崇尚和平安定，厌恶战乱，受教化已久，安分守己的占绝大多数。田银、苏伯乃乌合之众，阴谋虽大但才智不足，难成大患。如今我军主力远离京师，外面又有强敌，将军在此坐镇天下，如轻易出兵远征，即便取胜也不算大智大勇。”

曹丕点头称是，便派手下将官前去讨伐，果然不费吹灰之力就把叛军消灭了。常林以后出任平原太守、魏郡东部都尉，后又担任丞相府的东曹。公元213年(建安十八年)，曹操封魏公并建魏国，常林升任尚书。魏国建立以后，被授予尚书。