贬谪江州

815年，宰相武元衡遇刺身亡，白居易上表主张严缉凶手，被认为是越职言事。

其后白居易又被诽谤：母亲看花而坠井去世，白居易却著有“赏花”及“新井”诗，有害名教。遂以此为理由贬为江州(今江西九江)司马。

818年，白居易的弟弟白行简至江州与白居易相聚。当白居易被任命为忠州刺史时，白行简也一同与兄长溯江而上。

途中与元稹相遇于黄牛峡，三人相游之处被称为三游洞。在忠州任职的时间，白居易在忠州城东的山坡上种花，并命名此地为“东坡”。

同年冬，被任命为忠州(今重庆市忠县)刺史，819年到任。820年夏，被召回长安，任尚书司门员外郎。

白居易的母亲虽因看花坠井去世，然而白居易早有许多咏花之作，而依宋代的纪录，新井诗作于元和元年左右(新井诗今已失传)，可见此事不能构成罪名。他被贬谪的主因，很可能与他写讽谕作品而得罪当权者有关。

贬谪江州是白居易一生的转折点：在此之前他以“兼济”为志，希望能做对国家人民有益的贡献;至此之后他的行事渐渐转向“独善其身”，虽仍有关怀人民的心，表现出的行动却已无过去的火花了。

然而白居易在江州虽不得志，大体上仍能恬然自处，曾在庐山香炉峰北建草堂，并与当地的僧人交游。

任职苏杭

820年冬，转任主客郎中、知制诰。821年，加朝散大夫，始正式著五品绯色朝服，(绯色即朱色，为五品以上官员所用的服色)。转上柱国，又转中书舍人。

822年，白居易上书论当时河北的军事，不被采用，于是请求到外地任职，7月被任命为杭州刺史，10月到任。任内有修筑西湖堤防、疏浚六井等政绩。

824年5月，任太子左庶子分司东都，秋天至洛阳，在洛阳履道里购宅。

825年，被任命为苏州刺史，5月到任。826年因病去职，后与刘禹锡相伴游览于扬州、楚州一带。

在杭州刺史任内，见杭州有六口古井因年久失修，便主持疏浚六井，以解决杭州人饮水问题。

又见西湖淤塞农田干旱，因此修堤蓄积湖水，以利灌溉，舒缓旱灾所造成的危害，并作《钱塘湖石记》，将治理湖水的政策、方式与注意事项，刻石置于湖边，供后人知晓，对后来杭州的治理湖水有很大的影响。

离任前，白居易将一笔官俸留在州库之中作为基金，以供后来治理杭州的官员公务上的周转，事后再补回原数。

当这笔基金一直运作到黄巢之乱时，当黄巢抵达杭州，文书多焚烧散失，这笔基金才不知去向。

西湖有白堤，两岸栽种有杨柳，后世误传这即是白居易所修筑的堤，而称之为白公堤。

事实上这道“白堤”在白居易来杭州之前已存在，当时称为“白沙堤”，且见于白居易的诗作之中。

当白居易在杭州时，元稹亦从宰相转任浙东观察使，浙东、杭州相去并非太远，因而二人之间有许多往还的赠答诗篇。

当白居易任满离开杭州时，元稹要求白居易交出全部的作品，编成《白氏长庆集》五十卷。

在苏州刺史任内，白居易为了便利苏州水陆交通，开凿了一条长七里西起虎丘东至阊门的山塘河，山塘河河北修建道路，叫“七里山塘”，简称“山塘街”。