刘邦登上帝王之位后，便慢慢忘记了民间疾苦，整天沉醉于享乐和巩固自己的政权，与暴君秦始皇并无二多大差别，令张良越来越觉得靠扶佐所谓的明君拯救天下草民，无异于痴人说梦。
张良便托病隐居于东昏县西南的白云山中，闭门不出，精习《素书》下卷，十年之后初窥《势算》门径，已能推演出人个吉凶。
李邦死后，吕氏专权，很多有功之臣被杀，张良用势算之术，推演出自己将有血光之灾，便上表诈死，离开白云山，逍遥于天地之间。
是以史料对张良晚年活动之记述总是语焉不详，连张良这等名人死后究竟葬于何处，也成为千古之谜。
张良化名黄清，运用《势算》对天下大势的精准把握，积累下大量财富，创下了一个以拯救移民百姓这宗旨的秘密组织，叫做“遗履门”，自然是为了纪念那位纳履桥下的老者，同时也表明了门派的宗旨：以德为先。
遗履门在乱世之时，巧用手中财富赈济灾民，在治世则秘密扶持据有亲民思想的人进入朝堂，为黎民百姓争取最大利益。
在两千多年的封建社会，经中遗履门扶持登上高位的官员有很多，但因为遗履门季承张良遗训做事低调，不居功自傲，也因为他们的思想和行为一直和主流意识相悖，未有任何史书记载。
在民间流传甚广的包拯故事，有很大成份就有遗履门扶持的清官的影子，如果你仔细推敲就会发现，包拯的事迹，主要体现的就是为民做主，为民伸冤这一主题，很少有忠君这一主流意识存在。而包拯额上的那只眼，其实就是“遗履门”标志。
据说，张良仙逝时已经九十九岁，他在九十岁时，就《势算》习到最高境界，开了天眼，能观人知心。据说：张良在仙逝前，曾最后用《势算》之术对天下大势做了最后一次推演，看着推演的结果他良久不语他的大弟子钟离无用问：“刘家之后，又是那家人坐帝位？”
张良叹口气说：“潮起潮落，分分合合，无论谁家做了皇帝，享乐的都是达官显贵，受苦的都是黎民百姓啊。”
钟离无有说：“难道天下百姓就终无出头之日了么？”
张良笑道：“两千余年后，天下将会大变，大变之时，将有天眼再现，百姓或有出头之日也未可知。”
钟离无用将这一预言写出遗履门的祖训：凡遇天眼者，即奉为门主。天眼从此时起，也成为遗履门的标识。
遗履门长期派遣武功高强的人，寻找人迹罕至的与世隔绝之地建立秘密庄园，作为秘藏财富和避乱之用。当年陶渊明所写的《桃花源记》中所记述的世外桃源，并非虚构，就是遗属门避乱的秘密庄园之一，被人发现后，他们立即将出口堵死，人也迅速搬离，所以后人就无法找到了。
到了近代，人类的足迹无处不在，已经无法找到与世隔绝的世外桃源了，他们才选择地处深山的偏僻之地，建立庄园，也开始与外界正常交往。
两千年后，“遗履门”已传至468代，门主名叫胡幸文。遗履门的基地，也几经搬迁，最后搬入地处秦岭深入的胡家沟。