第二天早上，范仲淹的妻子李夫人哭泣着诚恳的拉着丈夫：“夫君啊！我们这几年的生活不容易，始终在颠沛流离中，今天早上咱们能不能不去了？不知这一贬又贬到哪里去了！”
“雷霆日有范，始可报君亲！”这哪里拉得回来。李夫人还没等范仲淹出门就在家里收拾行李了。
范仲淹走了，何时能回来还不得而知。郭皇后也被废，孤苦的死在了一座寺庙当中。杨、尚两个美人也没有什么好下场，被杨太妃赶出了宫。这样的结局就在中华历史上不断上演，大臣总要去管皇帝的家事，认为官员不该列队拜见太后的时候，说皇帝敬奉母亲是家事，官员不该参与。皇帝要离婚时，又说皇帝的婚姻是国事，应该遵循大臣的意见。学者们研究伦理，又不好好深入研究以指导社会，没谈两句就转到“治国、平天下”这样的宏大主题上去了。范仲淹哪弄得懂什么是伦理，什么是政治？如果连范仲淹都弄不懂，郭皇后、杨美人、尚美人哪里又能懂呢？结果无一例外的都做了大宋政治权力斗争的炮灰。
这次范仲淹被贬的地方是睦州，这时的桐庐郡也属睦州。离开汴京的时候，来送他的人就少了一些，但还是有人来，并称：“范公此行愈光！”这也成了“三光”宰相的第二“光”。
一路水路并不平静，但范仲淹还是对未来充满了希望:“圣宋非强楚，清淮异汨罗……”显然睦州对于范仲淹来说，就如同多年以后黄州对于苏轼，成就了范仲淹的诗文。这里可不是“人道是”三国周郎赤壁，这里切切实实的发生过严光与汉光武帝刘秀的故事。严光，字子陵，与光武帝刘秀同游学。建武元年（25）刘秀建立东汉，严光就在桐庐富春江畔隐姓埋名，每日垂钓。刘秀踏破铁鞋终于找到了严光，并极尽恭敬的将他接到京城。严光有位旧交叫侯霸，王莽执政时出来做官，后来又成为了光武帝的红人，位列三公。他知道皇帝器重严光，就提前去慰问了一下这个旧交。严光回了封信说：“怀仁心为苍生做事有善报，阿谀奉承有恶报！”侯霸气愤的把信交给了刘秀，刘秀叹道：“子陵还是老样子！”就亲子直奔严光的住所。
“哎呀，子陵，就不能出来帮着做点事吗？”刘秀摸着严光的肚子说。
严光闭着眼睛不说话，半晌无奈的说：“尧那样的圣君在时，巢父、许由听说要授予官职尚且还去洗耳朵。读书人人各有志，哪能强迫别人做官呢？”
刘秀无奈：“子陵，我竟然不能让你让步。”叹息着离开了。
后来二人依旧保持着深厚的友谊，只是严光始终没有应召出来做官。
范仲淹来到桐庐，往事越千年，感慨万千。子陵钓台已荒芜，故事也鲜为人知。一段高风亮节的君臣佳话在渐渐消逝。这与范仲淹所目睹的汴京官场污浊、卑微、荒诞完全格格不入。范仲淹此行派人修建了严子陵祠堂，写下了彪炳千秋的《严先生祠堂记》。“云山苍苍，江水泱泱，先生之风，山高水长。”这也恰似范仲淹的人格写照。
范仲淹从严光的身上获取了一种强烈的“存在”意识，深刻体会到了人的一生是通过践行来塑造自身和定义自身的。人在政治生活中也并不完全是被裹挟的，其尊严就在于对自由选择权的捍卫，并对选择承担全部责任。