孙叔敖按照自己说的做了，避免了不少麻烦，但也并非是一帆风顺，他曾几次被免职，又几次被复职。有个叫肩吾的隐士对此很不理解，就登门拜访孙叔敖，问他：
“你三次担任令尹，也没有显得荣耀；你三次离开令尹之位，也没有露出忧色。我开始对此感到疑惑，现在看你的气色又是如此平和，你的心里到底是怎样的呢？”
孙叔敖回答说：
“我哪里是有什么过人的地方啊！我认为官职爵禄的到来是不可推却的，离开是不可阻止的。得到和失去都不取决于我自己，因此才没有觉得荣耀或忧愁。况且我也不知道官职爵禄应该落在别人身上呢，还是应该落在我的身上。落在别人身上，那么我就不应该有，与我无关；落在我身上，那么别人就不应该有，与别人无关。我的追求是随顺自然，悠闲自得，哪里有工夫顾得上什么人间的贵贱呢！”
肩吾对他的话很钦佩。
孔子后来听说了这件事，很有感慨地说：
“古代的真人，有智慧的不能使他意志动摇，美女不能使他淫乱，强盗不能劫持他，就是伏羲、黄帝也不配和他交游。死和生对于人是极大的事情了，可都不能改变他的操守，何况是官职爵位呢？像他这样的人，精神穿越大山无阻碍，潜入深渊也不会被水沾湿，处于卑微地位不会感到狼狈不堪。他的精神充满天地。他越是给予别人，自己越是感到富有。”