再比如说在曲阜他去瞻仰了孔子的墓，还和孔子故乡的一些儒生在一起揽衣挽袖、一步一揖，学骑马、学射箭，学行古礼，以此表达他对孔子的纪念，高山仰止，对孔子的纪念。再比如讲，在孟尝君的故乡薛城，他走乡串巷，考察民风，而且他考察这个地方的民风跟当年孟尝君好客养士有什么关系，所以他走一路、考察一路，可以这样说，司马迁在漫游的旅程中，不放过任何一个了解历史的人，不放过任何一个存留于人们口碑上的故事，获得了许许多多从古籍当中所得不到的历史材料，同时他深入民间，广泛地接触了人民群众的生活，使得他对社会，对人生的观察、认识逐渐深入。此外，他遍历名山大川，饱览了祖国山河的壮美，陶冶了性情，从而也提高了他的文学的表现力，所以司马迁这的这次漫游，正是司他走向成功的极为坚实的一步，是非常典型的所谓读万卷书行万里路。后来，司马迁因为自己的父亲司马谈的缘故，回到长安后得以仕为郎中。元鼎六年（前111年），驰义侯何遗受命平定西南夷，中郎将郭昌、卫广率八校尉之兵攻破且兰，平南夷。夜郎震恐，自请入朝称臣。汉军又诛邛君，杀笮侯，冉駹震恐，请求臣服并设置官吏。随后汉武帝在西南夷设置武都、牂柯、越巂、沈黎、文山五郡。而正随汉武帝东行巡幸缑氏的司马迁在继唐蒙、司马相如、公孙弘之后，再次出使西南，被派往巴、蜀以南筹划新郡的建设，最远处到达了云南昆明。
司马迁随后又抚定了邛、莋、昆明，在第二年回朝向武帝复命。元封元年（前110年）春天，汉武帝东巡渤海返回的路上，在泰山举行封禅大典。据后人描述，当时步骑十八万，旌旗千余里，浩浩荡荡，场面甚是壮观。司马谈身为参与制定封禅礼仪官员，却因病留滞在周南，未能继续前行，更因此而心中愤懑，以致病情加重。奉使西南的司马迁在完成任务后，立即赶往泰山参加封禅大典，行到洛阳，却见到了命垂旦夕的父亲。弥留之际的司马谈对司马迁说我们的祖先是周朝的太史。远在上古虞舜、夏禹时就取得过显赫的功名，主管天文工作。后来衰落了，难道要断送在我这里吗？你继为太史，就可以接续我们祖先的事业了。如今天子继承汉朝千年一统的大业到泰山封禅，而我不得从行这是命中注定的啊。我死以后，你一定会子承父业做太史。做了太史，你千万不要忘记我要编写的论著啊。况且孝是从侍奉双亲开始的，中间经过事奉君主，最终能够在社会上立足，扬名于后世。而光耀父母，这是孝中最主要的。天下称颂周公，是说他能够歌颂周文王、武王的功德，宣扬周、召的遗风，使人懂得周太王、王季的思想以及公刘的功业，以使始祖后稷受到尊崇。周幽王、厉王以后，王道衰落，礼乐损坏，孔子研究、整理旧有的文献典籍，振兴被废弃了的王道和礼乐，很好整理《诗》、《书》、《春秋》等书籍。直到今天，学者们仍以此为法则。
从鲁哀公获麟到现在四百多年了，其间由于诸侯兼并混战，史书丢散、记载中断。如今汉朝兴起，海内统一，贤明的君主、忠义的臣子的事迹，我作为太史而不予评论记载，中断了国家的历史文献，对此我感到十分不安，你可要记在心里啊。司马迁低下头流着泪说小子虽然不聪敏，但是一定把父亲编撰历史的计划全部完成，不敢有丝毫的缺漏。司马迁继承了父亲的遗志，赶到泰山参加封禅。他随后沿着东海，绕道长城塞外回到长安。在此后一段时间内，司马迁因为在长安任职，又逢“汉之得人，于兹为盛”的汉武盛世，司马迁得以结识汇聚于长安的天下贤能之士。这其中，就包括了贾谊之孙贾嘉、公孙季功、樊哙之孙樊他广、平原君朱建之子、冯唐之子冯遂、田叔少子田仁、梁人壶遂、杜陵苏建等。然而，对司马迁影响最大的莫过于董仲舒与孔安国。司马迁与上大夫壶遂讨论文学之时，曾说过我听董生说周朝王道衰败废弛，孔子担任鲁国司寇。当时诸侯们害他，卿大夫阻挠他。孔子知道自己的意见不被采纳，政治主张无法实行，便褒贬评定二百四十二年间的是非，作为天下评判是非的标准，贬抑无道的天子，斥责为非的诸侯，声讨乱政的大夫，为使国家政事通达而已。元封三年（前108年），司马迁38岁时，正式做了太史令，有机会阅览汉朝宫廷所藏的一切图书、档案以及各种史料的机会，他一边整理史料，一边参加改历。
等到太初元年（前104年），我国第一部历书《太初历》完成，他就动手编写《史记》。而纵观《史记》可知董仲舒之公羊学对司马迁的影响。而这种影响主要分为三点，其一，公羊家颂扬汤武革命，主张以有道伐无道，成为《史记》反暴政的思想基础。其二，公羊家“尊王攘夷“，主张“大一统“的思想，成为《史记》贯串全书的主要观念。其三，公羊家崇让、尚耻之义是《史记》褒贬历史人物的道德标准、因为孔安国为孔子后人，家中有当世失逸的《古文尚书》十余篇，并兼通今古文学。故而司马迁亦尝就《古文尚书》问故于孔安国，学习古文经学的故训，以及别择古文资料的古文学，掌握考信历史的方法。而《古文尚书》作为整个古文学的核心，司马迁写上古三代史亦从中作了大量的引用。司马迁曾在《史记·孔子世家》中，给予孔子“高山仰止，景行行止。”的高度赞扬。其亦吸收孔子学说和六艺经传的精华，效法孔子精神，继《春秋》作《史记》，完成一代大典。太初元年（前104年），汉朝自建立以来已经102年了。汉室建立之初，诸事草创，大部分都沿袭了秦朝的制作。历法则采用了较为贴近的《颛顼历》。尽管如此，《颛顼历》对朔、晦的计算亦与实际情况相异。于是时任太史令的司马迁和大中大夫公孙卿以及壶遂等人，向汉武帝刘彻进言说《颛顼历》已经不适合现在的情况了，因该重新定制历法。