回家后的亚当斯，一连几个月思索自己失败的原因，竭力想弄明白投票人为何转而反对他。最后，他认定自己的行动都是正确的，是投票人不理解他，错就错在投票人方面。痛苦的心情使他愿意对任何能倾听的人解释他的失败原因，他曾给一位朋友写信，在列举了他的政绩后这样写道：“我虽然取得了这些成就，但还是被国民赶下台，丧失了名誉和地位。不过我对此还是感到高兴的，我并不感到丢脸，因为我没有觉得于心不安。”
亚当斯在家宅中定居下来。这是一个很大的乡村宅第，它的附带屋宇似乎伸向每一个方向，以满足一个有很多人的大家庭的需要。在这个大家庭里，聚居着亚当斯的儿孙侄甥和经济困难的亲戚，人员众多。
他很快适应了平静的生活，每天在房前屋后辛勤劳作。他拂晓即起，穿上工作服，然后处理手头各种任务。繁重的户外劳动逐渐增进了他的健康，所以他很享受这样的生活。但是他的儿子约翰·昆西·亚当斯认为父亲应该写部自传，亚当斯起初未接受这个建议，但终于在1804年被儿子说服，开始执笔写自传。
亚当斯一度渴望重操律师旧业，但又觉得不可能而丢了这个念头。“我的最大遗憾是不能重当律师。做了律师，我就会暂时忘记自己曾经做过美国国会议员、外交部长或总统。可惜我不能说话。”最后一句话指他患前声带疾病，而且，由于牙槽溢脓，他的大部分牙齿都掉了，他又拒绝带当时那种不舒服的假牙，所以说话口齿不清。