之后岳飞被秦桧以莫须有的罪名迫害致死，李纲也受到牵连，被革去官职，并流放到当时离京城最远的海南岛，也就是当今的三亚。

　　当时的经济条件极为落后，去往南方路途之艰辛难以想象。李纲来到海南东山岭时大病一场，无法继续前行，于是暂时在东山岭山脚下住下。

　　一次闲时上山，进到当地著名寺庙潮音寺，请主持高僧算卦，以占卜未来前途。

　　高僧指点说：施主乃贵人天命，虽暂时受挫，但如若诚信拜佛，不久即会逢凶化吉，前途不可限量。

　　于是李纲决定上山修行，结果不到半年，宋孝宗继位，秦桧被惩处，李纲也接到朝廷赦免，并官复原职的圣旨。

　　李纲回到朝廷后，仕途通达，官至宰相，他对海南东山岭念念不忘，常常和人提起此事，后人便在民间流传东山再起之说，此事在海南省万宁市东山岭有石碑为记。

　　东山再起原义指退隐后再度出任要职。也比喻失势后重新得势恢复地位。