离开了绝情谷后，杨过和大牛小羊兄弟三人终于没能报尽深仇。
经过了公孙止的一番坦白，杨过对郭芙的仇恨立即翻倍。体现在他行事的力度上的变化――从前是尽量寻找到郭芙，令其给钱青健灵位磕头认错，现在则是必须找到郭芙，杀之而后快。
杨过的这个想法，除了梅超风之外的其他人都是赞同的，尤其大牛小羊，更是要和杨过同行，不报此仇誓不为人。
杨过表示，必须杀襄阳一个回马枪，看看郭芙是否回来了，就算郭芙依然没有回到襄阳，那么也要逼郭靖和黄蓉交出郭芙。什么？他两口子也找不到怎么办？简单，让他们两口子去找就是了！
人们询问杨过有什么办法时，杨过说到了襄阳你们就知道了。
回返襄阳正好途径南阳，杨过不会放弃这个宝贵的“路过”，他要去刺杀忽必烈。你想要吞并宋国我不管，你算计我钱伯父就不行，你就得死！
虽然钱大牛和钱小羊是忽必烈的亲表弟，但是既然杨过不打算放过忽必烈，大牛小羊也就不好阻拦。
说起来忽必烈还真的不知道他算计了多次的钱青健是他的亲姑父，不过这种志在天下的人物通常也不会因为亲情左右自己的意志，在江山社稷面前，就是亲爹亲儿子挡路，也是面不改色的杀了再说。
忽必烈的运气不错，杨过没能在南阳找到他，因为时逢蒙古太后乃马真的亲儿子贵由征战凯旋，被乃马真立为蒙古皇帝，蒙哥、忽必烈等人都被召回到中都去参加登基庆典了。
经过大牛小羊的一番规劝，杨过也意识到自己这些人到大都刺杀忽必烈还不够实力，就把这事先搁置了下来，从南阳径往襄阳。
经过一番暗中查探，杨过发现郭芙的确不在襄阳，就寻机将郭襄和郭破虏偷了出来，还留了字条告诉黄蓉，一天不交出郭芙，一天就别想看见郭襄和郭破虏。
杨过将两个婴儿连夜带出了襄阳，汇同三位妻子自回龙女山庄。钱大牛和钱小羊带着各自的妻子回斡难河畔成婚。
襄阳城内急坏了郭靖黄蓉夫妇，由于蒙古人的威胁始终存在，郭靖不敢离开襄阳，黄蓉在发动丐帮彻底搜查了城内之后，离开了襄阳城去找郭芙。她并不知道杨过已经对郭芙起了杀心，还以为杨过只是想要郭芙在钱青健的灵前磕头道歉，此时两个孩子同时被劫，已经不能不让步了，所以她才下定决心找回郭芙。
黄蓉当然知道郭芙在哪里。最初在明教和丐帮内讧发生之后，黄蓉第一时间就把郭芙转移，其实是让郭芙回桃花岛了。
然而当黄蓉回到了桃花岛一看，才真正傻了眼，桃花岛上只有傻姑陪着她的婆婆李萍，郭芙从头到尾根本就没回来过。
郭芙去哪了？没有人知道。黄蓉原本底气十足，笑看明教寻找郭芙的下落却始终找不到，到了现在她才真的慌了神，又通过飞鸽传书号令遍布天下的丐帮弟子一起寻找郭芙的下落。
找不到郭芙就换不回郭襄和郭破虏，不得已，黄蓉又去了铁掌山，请求梅超风说和，梅超风无奈，只有勉为其难，带着黄蓉到龙女山庄求情。
可是她们在龙女山庄却并未见到杨过，因为杨过夫妇回去之后，发现孙婆婆被人用绣花针杀死在山庄之内、古墓之外，杨过又已经出去找寻凶手了。
杨过的三个妻子不敢替杨过做主，只说等杨过回来之后才能决定是否交还两个孩子。黄蓉跟梅超风商量，想要巧取硬夺，梅超风表示你实力不够，龙女山庄的三个女子不论是双剑合璧，还是古墓中的机关，都是外人奈何不得的存在。一旦撕破脸，就不是还不还孩子的事情了，黄蓉只能恨恨而回。
此后经年，蒙古大军一直在南阳聚集却引而不发。黄蓉和梅超风每年至少去古墓两次，却很难看见杨过。
据陆无双说，杨过也一直没能确认杀害孙婆婆的人是谁，因此一直在外明察暗访，另外，杨过每年都要去绝情谷走上一遭，期待能碰见小龙女，却也始终未能相遇。在郭襄和郭破虏二岁时，陆无双和洪凌波先后生下来两个女儿，再一年，完颜萍也生下来一个女儿。郭襄和郭破虏又多了玩伴。
到了郭襄郭破虏四岁这一年，黄蓉终于看见了杨过，但是杨过却铁了心，谁的面子都不给，说除非钱伯父没死，只需见到钱伯父当面，从前的仇怨即可一笔勾销。否则说啥也没用，孩子就是扣住不还。要不就打一场，武功高的杀了武功低的，愿赌服输。
有杨过在场，黄蓉知道打肯定是不行的。就是喊了郭靖来也打不过龙女山庄的实力，若是加上父亲和梅超风，或许能有胜望，但是人家只需往古墓里面一躲，就依然奈何不得。
于是这件事情就僵持了下来，一晃十多年过去，郭芙生不见人、死不见尸，郭襄和郭破虏就在古墓中茁壮成长。
黄蓉每年探视的时候，赶上杨过在场，还可以远远地看一眼两个孩子，但是杨过从不给他们母女母子当面说话的机会。
杨过倒也没虐待郭家这俩孩子，嘱咐陆无双把这俩孩子和自己的孩子放在一起传授武功，就是寒玉床都给他们轮流使用。全真武功、古墓武功、《玉*女心经》、《九阴真经》一样没少教。
杨过也曾带着神雕去襄阳西北的荒谷，让神雕捉一些菩斯曲蛇来取胆，但是世间的事情总是那么辩证，没了神雕这个天敌的威胁，菩斯曲蛇的繁殖似乎变得更