后来，汉成帝微服出巡经过阳阿公主家，喜欢上了公主家的歌舞女赵飞燕，将其召入后宫，十分宠幸；赵飞燕有一个妹妹，也被召入后宫，姿容特别艳娟洁，汉成帝身边的人见到她们，都啧啧称赞。汉宣帝时期的披香博士淖方成站在汉成帝身后，唾弃道：“这是祸水啊，一定会扑灭汉朝兴盛的火焰。”赵飞燕姐妹都被封为婕妤，尊贵压倒后宫。许皇后、班婕妤都失宠了。于是赵飞燕诬告许皇后、班婕妤利用巫蛊妖媚之术诅咒后宫嫔妃，责骂皇帝。冬季，十一月，甲寅日，许皇后被废，安置到昭台宫，皇后的姐姐许谒等人全部被处死，皇后的亲属被遣送回家乡。又拷问班婕妤，班婕妤答道：“我听说‘生死有命，富贵在天’。修行正道尚且还没有获得福报，为什么还要走邪路呢？如果鬼神有知，不会听取这些不臣之人的诬告；如果鬼神无知，就算倾诉了又有什么用？所以我不会做那些巫蛊诅咒之事的。”汉成帝欣赏班婕妤的回答，将她赦免，赏赐黄金百斤。赵飞燕姐妹嫉妒班婕妤，班婕妤担心时间久了会有更大的危险，于是请求去长信宫侍奉太后，汉成帝准许了。