再则，朱熹喜欢沽名钓誉，明知当朝宰相王淮是唐的亲家，京都多名大臣为唐辩解，仍然偏向虎山行。想博得为民除奸、不畏权贵之美名。为了打响这一如意算盘，尽管手中没有唐大人贪赃实证，仍然揪住不放，企图从一介弱女身上撕开缺口。所以不惜对台州营妓严蕊施用酷刑，致使严蕊遍体鳞伤，九死一生。试想，他一旦将唐的罪名坐实，不但唐从此不得翻身，就是宰相王淮和那几个为唐辩解的重臣，也难逃庇护之责。
堂堂地方大员、一代大儒，为一己之私，用心如此狠毒，可见，并非忠厚善良之辈。
不料，出身卑贱的严蕊却是个有骨气有担当的女子，什么都不说，拒不承认与唐大人有男女私情、以及其他方面的问题。弄得朱提举手足无措。
事情越闹越大，沸沸扬扬，震惊朝野。最终结果，叫人啼笑皆非。唐仲友难逃其咎，罢职回乡，朱提举小题大作，两面不讨好，灰溜溜辞职。胜利的倒是营妓严蕊，她赢得了众人的怜惜和赞叹，而那首《卜算子》也因此一举成名，后任仓司岳飞三子岳霖，也因成全严蕊，而博得好评。
那么唐严二人，到底有没有男女私情呢？虽然严蕊只承认二人只是诗歌唱和，文人相惜。发乎情，止乎理；但实际上，唐仲友在事发之前，以知州身份，为严蕊、卫惠等四名歌妓解除乐籍，恢复其自由。可想而知，他二人之间有私情，并且有你情我愿、惺惺相惜之成分。
罢职回乡后，唐仲友从此脱离官场，一心治学、刻书。一次，我随唐澄去金华东溪看他，态度谦和，俨然一副忠厚籍刊刻之术，绝口不言官场之事，完全一副书家模样。而所刻之书有《荀子》、《杨子法言》、《后典丽赋》和《昌黎先生集》，皆属刻印珍品，流传甚广。
淳熙十五年(1188年)秋，说斋先生去世，享年五十有三。我又再赴金华东溪，为他送最后一程。
事后，唐澄送我一套《说斋文集》。仍对朱熹耿耿于怀，认为不是朱熹再三弹劾，他二叔定不会如此。