不久，几个派到街坊的倭军武士莫名其妙的死去了，于是出事的街坊中的一些高丽人被不分青红皂白抓起来，当众杀了头。但事情并没有平息，晚上在军营门口站岗的哨兵也遭到了袭击，这回没法抓街坊的高丽人了，但宇喜多秀家不管，在大街上随意抓了几个高丽人顶罪。于是更多的高丽人愤怒了，事情终于发展到了倭军士兵晚上不敢出来上街的地步了，结果李二控制的赌场妓院缺了大客源而纷纷倒闭，李二再没有了进项（他出城后，商人们也不再向缴纳保护费了），手下人也开始离他而去了。
没等李二想出办法，城里出大事了，宇喜多秀家住的太庙起火了，救之不及，烧成一片白地，这是件非常严重的事情。本来高丽人就把太庙看作神圣之地，汉城暴乱时，乱民和奴隶都不敢闯入太庙，倭军进入汉城后，因为其它宫殿被损，将领们都住在太庙，高丽人把这看作是非常无礼的行为，但也能勉强忍受。但现在太庙被大火烧毁，彻底惹怒了高丽人，所有高丽人都把这看作是无上的屈辱，倭军几乎一夜之间就损失了绝大部分的潜在合作者，就是现在那些与倭军合作的高丽人，也开始打退堂鼓了。少不更事的宇喜多秀家终于把丰臣秀吉安定人心、稳定高丽的策略给彻底破坏掉了，虽然他也觉得很冤，烧了太庙，他也没地方住啊，但高丽人却是把这笔帐算到了他的脑袋上。
李二在城外听到了太庙被烧，他知道倭军在汉城是彻底丧失人心了，即便现在宇喜多秀家要他回去，他也是没有办法了，反倒会让自己招更多高丽人的恨。
“李大人，那个松下叫你过去。”这时一个手下跑进来禀报。
“他有什么事？”李二担心宇喜多秀家想起来把他叫回汉城去收拾烂摊子。
“他没说，看样子很急。”
李二见到了松下一库，这是宇喜多秀家派给他的婆婆，平常气焰很高，都是拿鼻孔对高丽人说话的，他问道：“松下君，是增田奉行阁下还是宇喜大名阁下有令下来？”
“增田奉行大人又管不到我等，是大名阁下的命令，清州民变，小早川大人兵力不敷，稷山的宇田大将兵力也不够，特向大名阁下求助，大名阁下令我军出动，增援稷山的宇田大将。”
“就我们这一支军队？”
“还有加贺步兵大将的人马一道去，明天就走。”
“但我军粮草、兵器都不足。”
“龙仁、稷山那里多的是兵器粮草，都是你们高丽人大军留下的，到那里尽管去取。”松下嘿嘿笑了起来。
李二没吭声，现在他越来越怀疑当初投靠倭国人是否明智了，他给倭军立了这么大的功，出了这么大的力，到头来却被像狗一样丢出去当炮灰。但高丽人那边他是肯定回不去了，烧了景福宫、追捕贞慎翁主，光这两条就足够他千刀万剐了。现在唯一的指望就是这支军队了，只有把这支军队做大做强，让高丽人和倭军都不能忽视他，他才有活下去的本钱，他暗暗下了决心，一定不把这支军队拿去当炮灰消耗掉，而是趁机占个城池，当小军阀去。至于这个松下，出去找个机会宰了就是。
晚上，李二带着手下人给松下一库灌酒，还找来两个女人陪他睡觉，等松下筋疲力尽沉沉入睡之后，李二召集手下心腹商议，将意思给众人一说，其实此时他手下一干人等也知道没有后路了，于是都附和李二的意见，决定趁这个机会离开汉城、脱离倭寇的掌控，找个城池先占地为王再说，以后不管倭寇胜了还是朝廷胜了，他们大不了诏安就是，至少能保住各自的身家性命和掠来的财富。
第二天一大早，城里开出来一支倭军，五百来人，还跟着两三百的高丽民伕，李二的队伍已经收拾完毕，列队在等他们。李二手下原本有近两千人，这些天跑了不少人，还剩一千五百多人，他也没去抓民伕，自己的兵一大半都是没有武器的，权当辅兵使用。
李二的监军松下一库，兴冲冲的上前去和倭军带兵的将领加贺步兵大将打招呼去了，这两个倭军将领骑马过来，只是给李二淡淡的说了出发，就径直并排骑马走了。李二也不恼，等倭军走完了，他才下令跟在倭军后面，朝汉江而去。