但在杰斐逊离开白宫后，亚当斯对这个曾经击败他的人，开始采取和善态度。1805年，亚当斯恢复了和本杰明·拉什的联系，拉什的反联邦党政治立场曾破坏了他们的关系。在拉什的调解下，亚当斯和杰斐逊通过信件往来忘却了彼此的分歧，重享他们在独立战争时期曾经有过的亲密友谊。从1811年到1826年，两人来往的信件超过了200封。同时，亚当斯还与独立战争时期的其他老友保持着大量的通信联系，在信中他们几乎探讨了一切问题。
亚当斯的晚年时间除了花在农场、读书上，还花在组织一些活动上，他担任过美国艺术科学院院长、马萨诸塞州农业促进会成员和哈佛大学视察员委员会成员。参加这些组织之后，他就经常到波士顿，在那里，他与政治观点相同的老朋友聚首。
亚当斯生活节俭，尽管他从来没有富裕过。妻子艾比盖尔善于持家，把一个大家庭撑了下来。家庭农场倒是提供了一部分食物，但几乎没有什么进项，全家的收入主要靠艾比盖尔数年来购买的债券。
亚当斯的5个子女中，二女儿苏珊娜幼年夭折，只活了一年多，亚当斯夫人曾为之长时间痛心不已。长女阿比盖尔·阿美利亚，乳名纳比，她所受的教育及其举止、神态和那个时代的一般美国妇女没有什么两样，但在性格上却受到在家里支配一切的双亲的巨大影响，特别是父亲的独裁作风使她养成了文静怯懦、百依百顺的性格。正是这种性格加上父母的阻止，使她与心爱的恋人罗亚尔·泰勒律师分道扬镳，而后来她所嫁的父亲的助手威廉·斯蒂芬·史密斯并不爱她，没有带给她幸福。