不久，有传闻说李陵曾带匈奴兵攻打汉朝。汉武帝信以为真，便草率地处死了李陵的母亲、妻子和儿子。司马迁也因此事被判了死刑。

据汉朝的刑法，死刑有两种减免办法:一是拿五十万钱赎罪，二是受"腐刑"。司马迁官小家贫，当然拿不出这么多钱赎罪。腐刑既残酷地摧残人体和精神，也极大地侮辱人格。司马迁当然不愿意忍受这样的刑罚，悲痛欲绝的他甚至想到了自杀。可后来他想到，人总有一死，但"死或重于泰山，或轻于鸿毛"，死的轻重意义是不同的。

他觉得自己如果就这样 "伏法而死"，就像牛身上少了一根毛，是毫无价值的。他想到了孔子、屈原、左丘明和孙膑等人，想到了他们所受的屈辱以及所取得的骄人成果。司马迁顿时觉得自己浑身充满了力气，他毅然选择了腐刑。面对最残酷的刑罚，司马迁痛苦到了极点，但他此时没有怨恨，也没有害怕。

他只有一个信念，那就是一定要活下去，一定要把 史记写完，"是以肠一日而九回，居则忽忽若有所亡，出则不知所往。每念斯耻，汗未尝不发背沾衣也。"正因为还没有完成史记，他才忍辱负重地活了下来。