可是他在朝廷里并没有上可通天的关系，找来找去倒被他找到了一条途径，去和已是半老徐娘的裴光庭的夫人武氏私通了。裴光庭当时任侍中，也是宰相，，李林甫的家人朋友都很为他担心，更不理解，劝他说：“你是世家子弟，虽非豪富，美妾艳婢还是买得起的，何苦去和一个上年纪的女人鬼混，她丈夫又是宰相，—旦事发可是掉脑袋的事，你这是图的什么?”
李林甫却不听劝，天天和武氏打得火热，也不知是两人掩饰得好，还是裴光庭根本不在乎，两人始终未东窗事发。
不久，裴光庭去世，两人更是肆元忌惮，武氏竞想让李林甫接替死去的丈夫在朝中的职位，也就是宰相，而且还很有办法。
原来当朝第一红人高力士原本是武三思的家奴，而武氏就是武三思的女儿．，武氏找到高力士，死缠硬磨，非逼着高力士举荐李林甫为宰相。
高力士顾念旧主情谊，又禁不住武氏的死缠烂打，只好答应想办法。当时朝中的日常事务都是由高力士代替玄宗处理，但他为人谨慎，任命宰相这样的大事，他不但不敢代劳，连向玄宗开口推荐都不敢，只能等待时机。
因裴光庭死后，宰相位置有一空缺，玄宗征询宰相萧嵩的意见，对萧嵩提出的几个人选都不满意，便自己决定任命韩休为相。