因为江宁府廪生棒杀蔡京、李邦彦一案，吴子龙被迫引咎辞去礼部尚书之位。此举不啻公告天下，吴子龙乃铲除大宋之祸害，蔡京、李邦彦两大奸佞的主事者。他的去位，虽然有人拍手称快，但更多的人扼腕叹息，甚至愤愤不平，一些人上书请朝廷勿要让忠良寒心，一些人广张揭帖为吴子龙鸣冤。
吴子龙执掌礼部以来，着意提携理社的后进，为朝廷选材无算，门生遍布朝廷上下。但他律己甚严，虽朝夕门庭若市，却不曾受人一文钱礼，所得俸禄的节余也用来资助贫寒士子。理社后进的才俊当中，感念吴子龙恩惠的人极多。因此，他虽然被迫辞官，但大多数士子和普通百姓却不以为他做错了事。送别那天，除了陈东等清流重臣之外，鄂州及附近州县官吏，尚未入仕的书生上千人，自觉前往武昌门码头相送。沿岸的百姓，观者如堵，更为吴子龙大声鼓噪叫好，热闹得仿佛不是送别，而是迎接新官上任一样。
吴子龙应好友及门生相邀，将往杭州著书立说。武康县乃吴子龙久居之地，他在西湖畔买了一处农家院落隐居下来。当年蔡京秉政，吴子龙只是武康县令。义士胡可及刺死杭州知府蔡鋆，胡可及被朝廷处以凌迟之刑。提辖武松盗取胡可及遗骸后，吴子龙公然将胡可及安葬在西湖畔，题墓碑以“大宋之义士”赞之。虽然东南州县数万人上书声援，吴子龙因此第一次被贬丢官，此后他也一直以此为荣。
官船离开鄂州后，一路顺江而下，每在一处停泊，当地清流都盛情相邀。对于这样的应酬，吴子龙一律推掉，但消息传出去，许多廪生都到码头上拜望他，对这些慕名前来探访的人，吴子龙到不拒绝，无论对方声望如何，财势如何，他一律以礼相待，只是宦囊单薄，前来拜访的士人，只有粗茶淡饭，船家小菜招待。然而，人人皆以得礼部尚书一见为荣。
吴子龙早年有嫉恶如仇之性，担任礼部尚书后，更痛感官员良莠不齐，人人以利益相交，又以利益相互侵轧。朝廷命官己身不正，以至污吏横行，上行下效，积重难返，人心沦丧，世风日下。礼部革退了一个贪官，从前并无劣迹之人坐上官位，结果在很快又在浑浊的官场风气中堕落下去。这种情况，并非是斩杀一两个大奸大恶之徒所能扭转。因此，吴子龙认为要挽此末世之衰，须得用重典和教化人心双管齐下不可。他觉得本朝的“宋刑统”失之于过宽，已不能起到匡扶世道人心之效，只是他身为礼部尚书，既没有时间精力，又不好干涉刑名之事。如今虽然丢了官位，他反而一身轻松，决心圣人所谓“导之以礼，齐之以刑”，编纂出一部名为的“宋礼法”新刑律。这件事他在书信中与很多同道好友，以及弟子门人都谈及过。
到了杭州隐居下来之后，吴子龙就闭门谢客，与若干门人一起研讨礼法，著书立说。但是，朱森来访，吴子龙却不能不见。朱森既是理社元老，又赵柯的国舅。他在竹林书院讲学育人，声望不下于陈赵曹吴等人。陈东秉政后，理学大兴，曹良史、吴子龙等人都位高权重，相互间也有冲突，唯独朱森超然于朝政之外，与众人的情谊未变。但当理社不得不改奉“赵杞”为天子时，身为赵柯之国舅，朱森未出一言相责。单单这分度量，就令吴子龙不得不佩服。
杭州府郊外，一处竹林掩映青砖泥瓦的院子，此处便是吴子龙隐居之所。
书斋内弥漫着股墨香，桌上堆积着字迹工整的手稿，书桌左边是包括“尚书”经注在内的历代刑律，右边是周礼、易经、论语等儒家经注，在满地的典籍中间清理出一块狭窄的空地，摆了一张小方桌，桌上一壶两杯，吴子龙和朱森对面而坐。
“寒舍简陋，”吴子龙难得十分客气，笑道，“这刑名之学，朱兄有什么见教么？”
“刑名之学，并非愚兄所长。”朱森到不是客气。同样想要挽救世风日下，他专注于节制人欲，顺应天理之学，与赵行德颇有共鸣之处，但在刑名上面，他却涉猎得不多。吴子龙穷尽心血编写《宋礼法》，等闲人见不到他，见到他的人，必然要谈及这本尚未完成的煌煌巨著。在吴子龙执意请求下，朱森斟酌道：“吴兄匡扶人心的宗旨虽然不错，但吴兄欲尽废‘八议’之法，只怕在朝堂上的阻力极大，再如‘贪墨受贿者，纵一钱一线之微，亦坐赃去职，终身不得叙用。贪墨受贿值千钱者，流一千里，每千钱加流一千里，贪墨过三千钱者，处以绞杀。’是否过于严苛？如此照此刑罚，我朝的官吏，只怕没有几个不处绞刑的。”朱森暗想，《宋礼法》如此之严苛，待吴子龙听说那件事情，不知又会如何主张？
“贪墨受贿，绝不可姑息养奸！”吴子龙摇头道，“朱兄，你生在富贵之家，区区一千文钱何足挂齿，但你有所不知，可是对升斗小民而言，一二十文往往就能逼出人命来。天下熙熙皆为利来，受贿的官员也要给人家好处。贪墨和贿赂，都要成倍，甚至几十倍的压在百姓身上。地方官不敢得罪士绅豪富，往往要取之于民，朝廷的赋税本来已经过重，百姓怎能再承受起浊物的敲诈勒索呢？和百姓因贪贿所受之苦难相比，区区免官、流放之刑，我还嫌轻了呢！”吴子龙喝了口茶，又叹道，“至于‘八议’之说，议亲，议故，议贵，议宾之类，虽然是上古之制，但今时足以助长奸恶。蔡京何人？三朝老臣，因此朝廷要杀他千难万难，可天日昭昭！天日昭昭啊！王子犯法，不能与庶人同罪！‘八议’之说，使律法只能制约鸡鸣狗盗之辈，而姑息了真正的巨奸大恶！法网之失，可过吞舟之巨鲸，令我大宋纲纪无存，落到如今这田地，正是姑息养奸之过！”他讲到激动处，一掌拍在地上，震得桌上杯盘摇晃。
朱森皱眉，心中觉得这说法危言耸听，但他此行有求于吴子龙，也不直接反驳他，只沉吟道：“这两条且先放过，那‘男女私奔，相差四十岁以上婚配，寡妇居丧不满三年再嫁，与诸奸相同，有夫奸者并斩首弃市，无夫奸者男杖五十，女仗三十。’这律令前朝都闻所未闻。男欢女悦，律法能管人家的家事吗？”
吴子龙正色道：“这些情状，要么不合礼法，要么多强逼强取。所以如此......”他自己也觉得有些勉强，又特意解释道，“所谓出礼入刑，礼法之外，便当是刑罚。前朝律令粗疏，在礼法和刑罚之外，还有许多空白之处，所以才导致世风日下，遵守礼法的人反而不容于世。光靠教化已不能纠正世风，如今唯有矫枉过正，‘导之以礼，齐之以刑’，制定一部真正‘出礼入刑’的律令来，才能使奸人无隙可乘，让世人都知道我大宋的礼法不是儿戏。”
朱森点点头，叹道：“那‘只要有人旁证，不需契据便算订约’，岂非让人都开不得玩笑，大家说话都得小心些了。”
“君子战战兢兢，如临深渊，如履薄冰，”吴子龙道：“岂能轻易口出诳言，再说了，这旁证者若是作伪的话，也要受反坐之刑的。”他开始虽然虚心求教，但朱森多质疑了几次，心中也有不高兴了。
朱森暗道“如此苛刻的律令，必不能通行于天下”。但他深知吴子龙的个性，也没有一意劝说，反而提起了不久前发生在舒州的另一件事。有几个无耻之徒，干了逼良为娼之事，苦主到官府告状，官府惧怕那奸徒的靠山，只拿了几个替罪羊，见苦主不服，反而将苦主戴枷示众。朱森的一名门人恰巧得知此事，写信告诉于他，此事官府、州学都向着奸徒，苦主无依无靠，在这么拖下去，只怕要逼出人命来了。朱森虽然有心惩恶，却因为国戚的身份，恐怕招人物议，便找吴子龙出手干预。
“奸贼！”果然，朱森尚未说完，吴子龙就拍案而起，愤然道，“此等奸徒，若不严惩，我们和蔡京李邦彦何异？”
他负手而立，因为极度的愤怒，脸色有些可怕：“最为可恨的，是这些人居然能一手遮天，使一方百姓不知我大宋之王法！斯文扫地，戴枷示众的，应该是舒州知州！”他转了两圈停下来，按捺住怒气，对朱森道，“朱兄放心，此事会有一个公道。”见朱森脸上犹有疑色，吴子龙又道：“侠以武犯禁，辽军北退之后，刑部一直想把民间的火铳都管起来，但此事哪那么容易，温循直有求于我，这事情，他若不管，他的事情，我也不管了。若奸邪不除，大家犯禁才好呢！”
“如此，我代一方百姓，”朱森点点头，正色躬身施礼道：“谢过吴兄高义。”