当时，有个叫赵彦呐的押队，在夔州诛杀了吴曦的爱将禄禧，朝廷提拔他当泸州通判，杨巨源心里不平衡：杀禄禧能当上通判，杀吴曦也给个通判吗？还专门写信谢谢安权向朝廷推荐，其中有这么一句话：飞矢以下聊城，深慕鲁仲连之高谊；解印而去彭泽，庶几陶靖节之清风。
得知兴元都统制彭辂与当朝首辅韩侂胄有旧时，杨巨源便找到彭辂，请他将写好的材料转交给这位平章大人，让朝廷了解真相，哪知，人心叵测，彭都统表面答应，私下将此事告之安权。一而再地告安大人的状，欲至安大人于死地，已是宣抚使的安权彻底愤怒了。
正巧，有人报告，杨巨源与米福、车彦威阴谋作乱，安大人命令兴州都统王喜抓捕审问，不久，王喜报告，米福、车彦威招供，确有阴谋作乱之计划。
兴州都统司前军又报正将陈安复告：杨巨源联络一班亡命之徒，入大散关，欲焚兴州州治，伺机刺杀安宣抚。
有了借口就好办，安权开始行动。
这个时候，杨巨源不在兴州，兴州西北二百里外凤州。他忽然间，突发奇想，给金国凤翔府都统使写信，企图招降人家，让他献出凤翔府，投奔大宋，信中自称为宣抚副使，还加盖参议官官印。凤翔府都统使收到后，觉得好笑，便将这封信又送到了兴州宣抚司，落到了安权的手上。安以宣抚司的名义，敦促杨返回。
劝降信寄出后，杨也觉得金官员不会轻易来降，便率兵五百人进攻歧山县，却在长桥兵败。收到安权发来的公文，杨巨源有些怀疑，莫不是让我回去，追究兵败之罪？
对于这位安大人的手段他是亲身领教的。兴州都统司后军统制孙忠锐，不知怎么的，得罪了他。孙忠锐丢失了大散关，宣抚司出公文召回，欲让其回兴州治罪。孙忠锐知道此行凶多吉少，借故拖延。安权叫来杨巨源，让他与朱邦宁一道率兵两千前往凤州策应支援孙忠锐。杨朱带人到了凤州，孙忠锐出帐迎接，不料，在杨朱的队伍中，突然闪出几个大汉，举起刀向孙忠锐和他的儿子孙揆砍去，父子二人很快倒在血魄中。之后，安权上报朝廷，指责孙忠锐在吴曦投敌时，曾向吴曦上过贺表。
送来宣抚司公文的，是杨巨源的熟人，梁泉县主簿高岳成，杨巨源荐之为随军拨运官，见杨心中疑惑，高岳成拍着胸脯说，没事，宣抚大人不会降罪于你，我担保，。
杨巨源回到宣抚司幕府，果然没事，知兴元都统制彭辂来了，告诉他，代转给韩平章的信已送出，估计很快就有回音。讲完起身告辞，杨送出门，彭手一挥，两个军士上前按住。原来，彭辂是受安权之命来抓捕他的。
突然被抓，杨巨源大声叱责：你们这是干什么？俩位军士并不理睬，将他押至宣抚司大堂，杨声嘶力竭地喊：“我犯了什么罪？”安权隔着屏风看着他，手下人告诉他：“就凭你诈称宣抚副使，就能治你的罪。”
巨源说：“我那是用离间计，以后必会证明我是光明磊落的。”不由分说，给他戴上枷锁送往阆州监狱。
安权派人酒菜给他，告诉他，并非安大人与你过不去，你犯了三项大罪：一、与米福、车彦威阴谋作乱，这个有米车二人的口供；二、你联络亡命徒，欲焚兴州州治；三、冒用宣抚副使的名义写信给金贼。
杨巨源知道，这就是欲加之罪何患无辞，看来凶多吉少了。托人转告安大人：“杨某一身无愧，死且无憾；惟有小妹还未出嫁，请宣抚大人关照。”
几天后，杨巨源被押抵大安军龙尾滩，将校樊世显在岸上呼叫，杨知道死期到了，指着地：“死在这个地方很好。”樊世显说：“杨宣参，口渴了好久，不如喝杯酒吧？”杨摇头不饮。樊世显又说：“宣参荷械已久，戴枷锁累了吧，解开让你舒服一下？”未及回答，刽子手手起刀落，诛杀叛贼吴曦的另功臣也身首异处。
之后，阆州监狱以自杀上报宣抚司。
世上没有不透风的墙。杨巨源的被害，引起兴州副都统司官兵的猜测，两位英豪半年之内死于非命，谣言四起，纷纷指责宣抚司。安权生怕惹起动乱，自上条陈辞职，朝廷改安权知潭州，派刘甲出任四川安抚使，以稳定人心。