梨洲性格或看问题上的偏与执，终于惹出了他一生人际关系中不堪的一幕——与吕留良反目。一个巴掌拍不响，此事想必并不简单，吕留良那边必也有其原因或责任，但此刻我们多从梨洲这边做检讨，毕竟他在不少事情上显出了为人的不足，换成另外一个人，也许就不至于此。另外，不光吕、黄之间，以他们共同的友好来看，也是梨洲和别人闹得不愉快；这当中，除了高旦中，连自己亲弟弟晦木最后也不太能够接受他，而感情疏远。
梨洲与晚村初遇，在1660年。是年，梨洲年五十一。他们的相会，是梨洲二弟晦木黄宗炎引见。晚村郑重地写了一篇《友砚堂记》，作为纪念：
己亥（1659），遇余姚黄晦木。童时曾识之季臣兄坐上，拜之东寺僧寮，盖十八年矣。当崇祯间，晦木兄弟三人，以忠端公后，又皆负奇博学，东林前辈皆加敬礼，所与游者负重名，如梅朗三、刘伯宗、沈昆铜、吴次尾、沈眉山、陆文虎、万履安、王玄趾、魏子一者，离离不数人，天下咸慕重之，一二新进名士欲游其门不可得，至有被谩骂去者。既乱，诸子皆亡略尽，而晦木气浩岸如故，后起不知渊源，习俗变坏，益畏远之，然晦木固不能一日无友者，左右前后顾则索然尔矣。于是得予，则喜曰：“是可为吾友。”晦木求友之急至此，盖可悲矣。晦木性亦嗜研砚，时端州适开水坑，同邑有官于粤者，予从购石十余枚，与晦木品其高下。晦木又喜以为有同好也，谓予曰：“予兄及弟子所知也，有鄞高旦中者。此非天下之友也，而予兄弟之友也。”戊子（1660），遂与旦中来，其秋，太冲先生亦以晦木言，会予于孤山。晦木、旦中曰：“何如？”太冲曰：“斯可矣。”予谢不敢为友，固命之。因各以研赠予，从予嗜也。其研，有出自梅朗三、陆文虎、万履安者。
晚村追述说，最早见到晦木还在十八年前，时仅一拜，算不上结交。1659年重新遇到，情况有些不同；“既乱”亦即国亡后，黄氏兄弟旧友“皆亡略尽”，眼下“习俗变坏”，把他们看成危险人物而对“畏远之”黄宗炎曾被捕险死，身边已经很少朋友。在此情形下，晚村表示愿意成为朋友。交往一年后，晦木认为晚村可以信任，先介绍他认识高旦中，秋天又引见给梨洲时梨洲游匡庐经杭州归，地点便在如今西湖景区中央的孤山。见面过程颇可玩味，“何如？”“斯可矣。”似乎请梨洲鉴其人品，晚村心中或许稍感别扭，故有“谢不敢为友”的表示，但梨洲随后态度是热情的，他和晦木、旦中各赠一砚，原主人俱为一时名节之士，转赠晚村，是很重的友情。
这四友，晚村与晦木、旦中始终是至死之交，独与梨洲反目。
在吕晚村，与黄氏兄弟交往促成了他思想上的大觉醒。明亡后，晚村虽然也有抗清的活动和表现，但他在（1653）年顺治十年应试，考取了清朝的邑庠生，同时投入很多时间在“选文”类似科举考试教辅参考书的工作上。这些行为都是糊涂的，带有承认清朝统治的意味。现在他幡然悔悟，替自己羞耻，决心与往事决裂，写下著名的七言诗：
谁教失脚下渔矶？心迹年年处处违。雅集图中衣帽改，党人碑里姓名非。苟全始识谭何易，饿死今知事最微。醒便行吟埋亦可，无惭尺布裹头归！
视参加清朝科举为失足，“醒便行吟”是说现在终于觉醒了，从此高举民族大义。1666年，生员考试前夕，晚村造访县学教谕陈执斋寓所，当面出示以上之诗，“告以将弃诸生”，宣布放弃秀才身份、拒绝清政府的出身：
执斋始愕眙不得应，既而闻其衷曲本末，乃起揖曰：“此真古人所难，但恨向日知君未识君耳！”于是诘旦传唱考试前点名，先君不复入，遂以学法除名，一郡大，亲知无不奔问徬徨，为之气短，而先君方怡然自快。
睌村从1661年起，也即与梨洲会面的第二年，洗手选事，在家乡语溪吕氏梅花阁，集本族童子教学，“只教童子不教求举业的人”，从娃娃抓起，让他们学习做人的道理，而非考试做官的技能。这既有反清的政治含义，也是教育学实验。晚村一直坚持这样的教育方针，以后，也是在这一点上，与梨洲存在根本的分歧。
起初，他们思想相当和谐，交往也十分密切。1662年，梨洲在旧著《留书》基础上，重写新书，也即不朽的《明夷待访录》。钱穆认为，吕、黄就此书必有交流：“《待访录》成于康熙壬寅、癸卯间，而癸卯梨洲至语溪，馆于晚村家。盖当时交游议论之所及，必有至于是者。故梨洲著之于《待访录》，而晚村则见之《四书讲义》。其后三年丙午，晚村则决意弃诸生，不复应试。然则此数年间，梨洲、晚村之交谊，其思想议论之互为助益，必甚大矣。”
而交往频密的一个更大由头，是晚村邀梨洲参与他的教育改革。1663年春，“四月，至语溪，馆于吕氏梅花阁。”这是《黄宗羲年谱》中梨洲从教的第一笔记载，因而说起来，梨洲的授徒生涯还由晚村启之。自此以迄1666年，梨洲连续四年在梅花阁任教。这件事，前已约略讲到。当时，梨洲结束“游侠”生涯，回归正常的社会状态，因而需要谋生和养家，却又没有适合的生计。梅花阁教席，恐怕是梨洲获取一定收入的较好途径。晚村聘请梨洲，为吕氏宗族子弟延致良师无疑是动机之一，而作为合理的推测，未必没有在梨洲窘迫时助他一臂之力的考虑。梨洲的现实毕竟摆在那里，没有家业，没有工作，也没有更多可自给的技能，做西席简直是他自食其力而不失尊严的唯一之选。当然，从梨洲角度来说，受此教席，大概也纯粹出于“稻粱”之谋，否则以他的学问和智识，仅仅教授几个童蒙初开的孩子，显然没有什么成就感可言，我们前面引了他怀念女孙阿迎的一些诗文，就流露出对这份工作的不满足情绪。
不管怎么说，1663、1664、1665、1666四年，梨洲必至语溪。两人年年相会，不光教书，还一起唱和、访友，从各种材料看，一直并没有明显的龃龉。
突变发生在丁未年1667。本年，晚村《梦觉集》有诗《问燕》云：
从来期汝二月天，杏花雨点杨花烟。朝窗夕窗相对语，不与俗物相周旋。哺食唶华同护惜，点茵汙帽恣狼藉。寒堂无伴老影孤，满眼春风慰萧寂。何图今岁得彫梁，翻然一饱成飞飏。老巢当位占高栋，群雏分户泥生香。汝居得所我亦喜，何子不复相过语。呢喃闻汝向雕梁，咒尽穷檐不堪处。寄声留取当时面，黄姑织女犹相见。雕梁久住过穷檐，尚有突栾窠一片。我闻人苦不知足，天下雕梁难更仆。明年莫更绕天飞，又咒华堂当茅屋。
晚村弟子严鸿逵，将该诗连同另外二首一起作注曰：
此以下三诗皆为太冲作也。凡浙东之馆浙西者，皆必以二月到馆，又其轻薄情事者有与燕适相类者，故借以为喻。盖自丙午子（指晚村）弃诸生，太冲次年便去，而馆于宁波姜定庵家，所以诬诋子者无所不至。此《问燕》《燕答》之所为作也。
惯例，浙东塾师去浙西任教，每年正月过后即应到馆。看来，梨洲的不赴语溪，竟是不辞而别。晚村过完二月，苦等到杏花开杨絮飞时节，仍无消息，后才辗转听说梨洲另有高就，故曰：“汝居得所我亦喜，何子不复相过语”——你不来也罢，怎么连个招呼也不打一声呢？两人关系之僵，可得而知。
所谓梨洲另有高就是什么？按严鸿逵所说，吕晚村听见这样的消息：“太冲次年便去，而馆于宁波姜定庵家”。这里，“次年”便即丁未年，馆于宁波姜定庵家即梨洲不来语溪是因转到了姜府做家庭教师。这姜定庵前面讲过，便是助梨洲恢复绍兴证人书院的待职在家的姜希辙。然而，我们不论查黄炳垕《黄宗羲年谱》、黄百家《行略》、邵廷采黄传、全祖望神道碑以及梨洲本人诗文，于尝馆姜府之事均无获焉。尤其梨洲专门写的《姜定庵先生小传》一文，也未提及任教姜家之事，只说“……老而师友俱尽，往往忍饥诵经，其间可以缓急告者，唯徐果亭即徐秉义与先生二人”，“可以缓急告者”是求助、求援的意思，应指受过姜氏赍助。再有，严鸿逵“宁波姜定庵家”连地点也搞错了，姜希辙家在绍兴而非宁波。梨洲为其所作小传言之颇明：“先生归为乡邦领袖，越中丧乱之后，人不说学……”越为绍兴古称之一；《清史稿》姜希辙传写得也颇清楚：“姜希辙，字二滨，浙江会稽人”，“康熙元年，考满，内升，回籍待缺”，会稽即绍兴，姜自1662年起回乡待缺；另外，梨洲与姜希辙一起在绍兴恢复证人书院，也是旁证。由此来看，严鸿逵实际是吕留良所谓梨洲不赴吕氏梅花阁乃因改馆姜家这个说法，恐怕得之耳食，而且这传言本身水分还比较大，但他们当时完全相信。
他们对传言信而不疑，与心态有关。他们愤然地断定梨洲是另拣高枝，一再以“雕梁”讥诋其事，自比“穷檐”，此其一。其二，还要注意“盖自丙午子弃诸生，太冲次年便去……”这一句，吕留良造访县学教谕陈执斋，当面宣布放弃诸生身份，正在1666年，“次年便去”云云，强烈地怀疑梨洲弃语溪而不回，是因晚村做出这激烈之举后，梨洲产生避嫌或“划清界限”的想法，从这个怀疑进而来看梨洲“馆于宁波姜定庵家”，就不光是攀高枝，更有一种“投靠”意味，因为姜希辙是清朝回籍待缺的官员。
矛盾接二连三地爆发。是年，吕有《与黄太冲书》，说夏天见到万言的时候，曾请他捎信“数行相候”；随后高旦中来，“得近况而无字”，总之自己的信函毫无回音。然而据另外一个来自绍兴的人说，“太冲有《与吕用晦书》，淋漓切直，不愧良友。而某竟未之见，何也？”“后问旦中，则曰：‘诚有之，不过责善意耳。’某于是浩叹，谓太冲其果不知某者也。茫茫宇宙，何处无流辈，顾数年以来，竭情尽慎，只此数人，若将终身焉者。岂果相藉为标榜哉？诚望切磨之益，使得闻其过，则日迁于高明之域无难也。太冲有责善之言，正某之所欲闻，奈何书成而不一示之耶！”他听说梨洲写了回信，却没有发出；问高旦中，经证实确有此信，内容是对自己的批评。得知如此，吕留良明显激动起来，语带讥讽，说几年以来自己待梨洲“竭情尽慎”，仿佛委以终身，莫非梨洲以为自己之如此，目的是傍名人、博取虚誉？自己原本就是为得一可以切磨、时时闻过的诤友，你的批评正乃我所需要的，为什么写下了却又吝于一示呢？信的最后再次敦促：“千万录示，以卒余教。”“余教”云云，显然暗示两人交缘已尽。
梨洲此信，终于未向晚村“录示”，甚至从世间蒸发。不但《南雷》各集未录，至今也从来无所发现，可以说杳无踪迹。想必梨洲在世的时候已亲手将它销毁了。两人恩断义绝也如此，信中又究竟说了怎样不堪的话，实令人万般好奇。这封《与吕用晦书》，吕留良虽未亲睹，但经人转述，也知其大略。它抑或关于它的传言，对吕、黄最终绝交，似乎起到一个一举成定局的作用。时人有曰：“东庄所以怨梨洲者，以梨洲曾有书数其失。”
前面还曾提到，也是这一年，由姜希辙出资、梨洲担纲裁定相当于今之“主编”，编刻《刘宗周遗书》；这件事居然也有吕、黄结怨的背景。《吕留良年谱长编》一则材料说：
晚村欲刻刘蕺山遗书，致刻费三百金。先生指梨洲受金不刻，而嗾姜定庵刻之，坿晚村名于后。晚村愠先生甚。
按此说法，《刘宗周遗书》原出资人是吕晚村，梨洲先已从他那里拿到了三百两刻费，却又另找姜希辙出资，让他享受《刘宗周遗书》出版人的名誉，而吕所出三百两并未退还，只将吕的名字以“后学”身份列在校勘者中间。有些细节，颇乏旁证，但吕、黄嫌隙与《刘宗周遗书》有关，是确实的。吕《后耦耕诗》中有一名“青火竹窗誊副本，白头兰幕出新书”，便指此事；严鸿逵注曰：“此专为太冲作也……是年又馆于宁波姜希辙家，悉出其所手录书以求媚”，“手录书”即梨洲所誊录的刘宗周遗著，他把它交给了姜希辙。
吕、黄的矛盾，又似乎还涉及思想门派。吕是宗奉朱子的，梨洲和他老师刘宗周却是王学一脉。中晚明以来，王学占了很大优势，但随着亡国，王学多少也有点“亡国文化”的意思，朱学的势力有所起来。梁启超说：“清初因王学反动的结果，许多学者走到程朱一路”，而满清官方也来插一杠子，自圣祖起提倡朱学，原因梁启超也有分析：“他们向慕汉化，想找些汉人供奔走，看见科第出身的人便认为有学问……清初那几位皇帝，所看见的都是这些人，当然认为这种学问便是汉族文化的代表。程朱学派变成当时宫廷信仰的中心，其原因在此。”总之，朱、王之间不仅有门户，在现实运数上也是消长的。晚村和梨洲，分别作为朱学门徒和王学门徒，尽管在政治现实和反清问题上引为同志，学术及思想总是别有根柢，不知会不会使他们日久生出相轻。这方面没有太多直接的材料，不过，梨洲不赴语溪馆学之后，晚村虚席二载，坚持等候当世朱学大师张履祥到来，却明显说明了他的思想倾向。他曾托人向张履祥表示：“考夫先生一日不来，这里仍可虚席。”后来，与张通信时又说了这样的话：“某窃不揣，谓‘救正之道，必从朱子；求朱子之学，必于《近思录》始’。又窃谓‘朱子于先儒所定圣人例内，的是头等圣人，不落第二等’，又窃谓‘凡朱子之书，有大醇而无小疵，当笃信死守而不可妄置疑凿于其间’。此数端者自幼抱之……今读手札，所教正学渊源，漆灯如炬，又自喜瓦声叶响，上应黄钟，志趣益坚，已荷鞭策不小矣。”他对朱子这么热切，称自己这番信念之于张履祥是“瓦声叶响，上应黄钟”，反推之，与梨洲在理念上一定缺乏共鸣，反倒可能时时相排斥吧？
进一步探其源绪，发现最初裂痕可能出在1666年，亦即梨洲馆于语溪的最后一年。
先来看梨洲《天一阁藏书记》一段叙述：
祁氏旷园之书，初庋家中，不甚发视。余每借观，惟德公知其首尾，按目录而取之，俄顷即得。乱后迁至化鹿寺，往往散见市肆。丙午，余与书贾入山翻阅三昼夜。余载十捆而出，经学近百种，稗官百十册，而宋元文集已无存者。途中又为书贾窃去卫湜《礼记集说》、《东都事略》。山中所存，唯举业讲章各省志书，尚二大橱也。
“祁氏”，即绍兴祁家，世代书香，藏书极丰且精，“旷园”或称“旷亭”即其藏书处。梨洲《思旧录》曾记昔年在祁彪佳书房的见闻：
入公书室，朱红小榻数十张，顿放书籍，每本皆有牙签，风过铿然。公知余好书，以为佳否，余曰：“此等书皆阊门市肆所有，腰缠数百金，便可一时暴富。唯夷度先生公之父所积，真希世之宝也。”
夷度先生，即祁彪佳之父祁承爜，晚明数得着的大藏书家。从中可见，梨洲对祁氏“旷园”心仪已久。明亡，祁彪佳殉国，其子等又因牵连抗清，或死或放，祁家由是散涣，藏书暂存化鹿寺在绍兴若耶山，若耶山又名化鹿山，准备低价处理。
《天一阁藏书记》的讲述，提供了时间丙午即1666年，而更多重要背景和情节则略去。集诸家之述如下。陆陇其《三鱼堂日记》：
黄梨洲……尝为东庄买旧书于绍兴，多以善本自与。
沈冰壶《黄梨洲小传》：
相传晚村以金托先生买祁氏藏书，先生择其奇秘难得者自买，而以其余致晚村，晚村怒。
全祖望《小山堂藏书记》：
旷园之书，其精华归于南雷，其奇零归于石门。
得概况三：一、梨洲购书系与晚村合伙；二、资金主要出自晚村；三、梨洲将所购中的好书归己，留给晚村的都没有什么价值。
全氏另一记述最详尽：
呜呼，吾闻淡生堂，书初出也，其启争端多矣。初南雷黄公讲学石门，其时用晦父子，俱北面执经。已而以三千金求购淡生堂书，南雷亦以束修之入参焉。交易既毕，用晦之使者，中途窃南雷所取卫湜《礼记集说》、王偁《东都事略》以去，则用晦所授意也。南雷大怒，绝其通门之籍。用晦亦遂反而操戈，而妄自托于建安之徒，力攻新建……然用晦所藉之购书之金，又不出自己，而出之同里吴君孟举。及购至，取其精者，以其余归之孟举，于是孟举亦与之绝。
淡生堂是旷园藏书楼。把以上过程归纳起来即：晚村出资三千两、梨洲则以梅花阁教书薪水入股，共购淡生堂藏书；晚村本人未去，委派他人与梨洲同往；交易结束，归途之中，晚村显然得到报告梨洲把好书都据为己有，乃令所委托者从梨洲那里偷走了两种宋版书（卫湜、王偁为两宋学者），也即梨洲《天一阁藏书记》所说“途中又为书贾窃去卫湜《礼记集说》、《东都事略》”，彼此就此撕破脸皮。按照这里的说法，连晚村崇朱斥王“建安”（即今福建建瓯），朱熹幼随父迁建安，后又在建安书院讲学，因以“建安”指朱熹；“新建”指王阳明，以其受封新建伯都起自与梨洲这次的过节。更奇的是后面又说，晚村那三千两也非自己的钱，而属同乡好友吴之振（表字孟举），晚村用梨洲对待他的办法对待吴，又导致后者与之绝交。
事情真可谓波澜迭起。然而全氏之述未可尽信，例如吕留良与吴之振交恶，其事固有，原因却未必是淡生堂购书风波，《吕留良年谱长编》作者卞僧慧借别的资料考证认为，吕、吴疏远经过与全祖望所说“殊不相应。其事恐非如祖望所云者矣。”另外，所谓“用晦父子，俱北面执经”即都曾以弟子事梨洲之说，学者也多不认同，觉得他们之间只是友人关系。全氏乃梨洲私淑弟子，他的讲述带点倾向性，大概不足为奇。
但基本事实应可确定：吕、黄共同购书，梨洲趁机占了很大便宜。这种行为，品质方面自是瑕疵。但其由来，则因痴爱书籍所致。且这两个人，同为嗜书如命的书痴。梨洲爱书，前面已有各种故事；晚村也是毫不逊色，后来他生活几乎揭不开锅，却远赴南京等地“淘书”，曾在与人书信中称：“某荒村腐子，生长丧乱患难之中，颠踣失学，今年四十又五矣。发齿败堕，志业不加进，本末无足观，挑灯顾影，辄自悲惋耳，又何云哉！自来喜读宋人书，爬罗缮买，积有卷帙。又得同志吴孟举互相收拾，目前略备。因念其为物难取而易散，又宋人久为世所厌薄，即有好事者，亦拣庙烧香已耳。再经变故，其澌灭尽绝，必自宋人书始。今幸于吾一聚焉，不有以备之流传之，则古人心血，实澌灭自我矣。”又有诗句吟其恋书癖：“检书摩印识，洒酒酹花丛。”惜之如花。设若两人当中如有一人，爱书尚不及痴，事情或不至于起，即便事起，怨啣可能也不会结得这么深。
然而，此事在反目过程中的分量，双方似乎都并不看重。梨洲对与吕留良交恶经过基本避谈，《与吕用晦书》本来必有线索，可惜彻底亡佚，《天一阁藏书记》叙述了这件事，却完全隐去吕的姓名。吕留良倒是留下好些有关的书信和诗篇，但也鲜涉购书风波。他谈得最多的，是梨洲“大节”上的问题，比如巴结权贵、讨好现政权。除前所引过的，《后耦耕诗》还有一首《燕答》，后半部分对梨洲的指责性暗示，可谓不堪：
投林择深木择荣，安能郁郁久居此。况君避世益荒寒，庭院无多帘箔单。瘦圃无花衔不得，破巢欲补秋泥乾。昨夜侯家歌吹发，先放双飞入珠幕。贵人头上坐听看，羡杀笼鹦与屏雀。老来爱雏过爱身，常恐失足寻常人。新巢喜得依王谢，千门万户终不贫。自古恶宾胜旧友，世情如是君知否。
而笔者总是怀疑，吕、黄交恶真相可能不在“大节”，偏偏在“小节”。事情头绪好像很多，前面我们涉及了不下四五个方面，诸如待友刻薄、攀高枝、向现实投降、毁约不告、话不当面却背后泼污等，似乎都关乎品格德行。但是逐一看下来并理其头绪，笔者个人能够认定的起因，就是购书风波，而这件事他们好像却心照不宣，都低调待之，谁也不大书特书。何欤？一个比较合理的解释是，事情本身仅关私利，双方所争者“利”耳，且可能各有苦衷，在其中都无高风亮节可谈，故不约而同加以淡化，转而以拿得出的“大节”批评对方。生活中也常如此，很多问题其实不出在“大节”而出在“小节”，但互诋者都喜欢高调谈论“大节”；那是因为，“大节”既更容易击倒对方，同时又能掩护好自己“小节”上的缺失。
当世这样两个优秀的思想者，从热烈的鸣和陷入如此怨恨之中，我们为之惋惜。然而也不一定非要痛心疾首，以致觉得里面某一个人人格上失去了光环。历史上，杰出人物之间交恶失和的例子，不胜枚举，比如卢梭和狄德罗。并不是说凡我们景仰的人彼此就只能相敬相爱，也不是说他们不能相敬相爱就使我们应该怀疑谁的品质。第一，人非圣贤，这样那样的杂质总是难免；第二，个人恩怨这类事情常常并无道理好讲，有的时候就是性情、心气儿而已。
但晚村对梨洲的种种指责，于后人还是发生了极大影响，尤其在梨洲“媚时”、结交权贵这个问题上。