他的直系八世祖先是战国中后期秦国著名的武将司马错。秦惠文王时期，司马错曾经在朝堂上与张仪辩论，辩论内容被收入《战国策·秦策》，后收入《古文观止》，名为《司马错论伐蜀》。辩论胜利后，秦惠文王派司马错等人出兵巴蜀，得胜而守之。

六世祖司马靳(司马错次孙)为名将武安君白起副手，参与长平之战，坑杀赵卒四十万人，司马错、司马靳等军事之功为秦国奠定了一统天下的军事基础。高祖司马昌是秦始皇的铁官。曾祖司马无泽，在汉初作长安的一个“市长”(管理市场)。祖父司马喜，没有做官，而有第九等爵位，为五大夫。

司马迁的父亲是西汉武帝时期太史令司马谈。司马谈是当时一位非常杰出的学者，著有《论六家要旨[4]》一文，系统总结了春秋战国秦至汉初以来阴阳、儒、墨、法、名、道各家思想的利弊得失，并对道家思想进行了高度肯定，该文是对春秋战国以来的诸子百家思想的高度概括和凝练总结。司马谈在约汉武帝建元六年至元封元年间任太史令。

公元前145年，司马迁出生于家乡夏阳(今陕西省韩城市)，从小受到良好的教育。在《史记·太史公自序》上，司马迁说：“迁生龙门，耕牧河山之阳。年十岁则诵古文。” 二十岁时，他从长安出发，足迹遍及江淮流域和中原地区，所到之处考察风俗，采集传说。司马迁在《太史公自序》中说“(他)二十而南游江、淮，上会稽，探禹穴，窥九疑，浮沅、湘。