根据历史史实，当年司马迁虽然因“李陵事件”受了宫刑，但已经处于盛年，应当有女有子，中国近现代相交时期著名学者王国维说过：“史公子姓无考。汉书本传，至王莽时，求封迁后，为史通子。是史公有后也。”
根据史料记载，司马迁的女儿及外孙杨恽，非常机智果敢。《史记》能流传后世，完全是他们两人的功劳。当年，司马迁“下狱死”而被查抄，情势非常严峻。司马迁的女儿像“义士救孤”那样保藏了《史记》，司马迁的外孙杨恽又像“沉香劈山救母”那样救活了《史记》！
据传说，司马迁遭难后，司马迁的夫人柳倩娘为保住《史记》副稿，让两个儿子司马临（字与仲）、司马观（字何求）将《史记》副稿藏在身上，逃回故乡韩城。
司马迁的族人怕株连九族，连夜由族长司马厚召集主事人共同紧急商议，决定改姓并且迁居。商议决定司马家在“马”字旁加两点，改姓“冯”；次门在“司”字旁加一竖，改姓“同”。
改姓之后，逃往荒无人烟的巍山老牛坡下，定村名为“续村”，表示“高门之续”；后来他们又担心被官家识破，取同音字为“徐村”。“徐”与“续”同音，“徐”字又有“余村双人”寓意，暗指司马迁有两子，即长子司马临，次子司马观。