后来，梁松被处死。第五伦因为罪责不是很大，所以被削为平民，放回原籍。这可真是辛辛苦苦几十年，一朝回到解放前。不，甚至连解放前都不如了。
但那第五伦并没有像梁松一样怨天尤人，反倒是一副不在乎的样子。回到原籍以后一天到晚的种着他那点儿小田，不和任何人交往。
几年以后，大概是因为汉明帝也觉得就这样放弃有才的第五伦实在太白瞎了，便又任命他为宕渠县的县令。结果第五伦到宕渠县没多久，宕渠县便教化大兴，百姓丰衣足食。
四年以后，因为第五伦政绩卓著便又被提拔为蜀郡太守。其在蜀郡任职七年，期间罢免贪官污吏，致力于民，蜀郡在他的带领下GDP年年向上蹿升。
基于此，汉章帝上任以后没过多久便将第五伦提拔为司空，让其协助处理日常事务。
可谁知第五伦一上任便对马氏一族极为鄙视，认为这一族之人尽是朝中的蛀虫，便上书汉章帝，希望汉章帝能够大削马氏之权势，不要重蹈前朝王氏之覆辙。
虽然汉章帝最后并没有答应第五伦的奏请，但其不畏权贵的名声却在第一时间便响彻朝廷。
第五伦奉公尽节，议论国事从来都是直来直去，毫不兜圈子。不管是皇帝爱听或是不爱听。
他的儿子们经常因为这档子事劝第五伦，让他捡好听的说，以免遭受杀身之祸，可每次都被第五伦骂得狗血喷头。