以成「三重阁上理琴书」之句，自无足异。（遵王注已引南史陶传之文为释。）但此乃古典，未必是今典，故亦难认为绛云楼实有三层也。揆以通常建筑形式，此楼既兼备藏贮图书及家庭居住，并接待宾客等用，则绝非狭小之构造，可以推知。
牧斋遗事云：
牧斋于虞山北麓，搆楼五楹，匾曰绛云，取真诰绛云仙姥下降，仙好楼居，以况柳，以媚柳也。牙签万轴，充牣其中。下置绣帏琼榻，相与日夕晤对。钱集中所云，争先石鼎联名句，薄暮银灯算劫棋。（寅恪案，应作「争先石鼎搜联句，薄怒银灯算劫碁」。「薄怒」之误为「薄暮」，盖涉「银灯」而譌也。）盖纪实也。牧斋披吟之好，晚而益笃。图史校雠，惟河东君是职，临文或有探讨，柳辄上楼翻阅。虽缥缃盈栋，而某书某卷，随手抽拈，百不失一。或用事微讹，旋为辨正。牧翁悦其慧解，益加怜重。
觚賸叁吴觚下「河东君」条云：
柳归虞山宗伯，自为绛云仙姥下降，仙好楼居，乃枕峰依堞于半野堂后，搆楼五楹，穷丹碧之丽，扁曰绛云。大江以南，藏书之家，无富于钱。至是益购善本，加以汲古雕镌，舆致其上，牙签宝轴，参差充牣。其下黼帏琼寝，与柳日夕相对。所云，争先石鼎搜联句，薄怒银灯算劫碁。盖纪实也。宗伯吟披之好，晚龄益笃，图史较讐，惟柳是问。每于画眉余暇，临文有所讨论，柳辄上楼繙阅，虽缥缃浮栋，而某书某卷，拈示尖纤，百不失一。或用事微有舛讹，随亦辨正。宗伯悦其慧解，益加怜重。
寅恪案，牧斋遗事言「下置绣帏琼榻，相与日夕晤对」。觚賸言「其下黼帏琼寝，与柳日夕相对」。则钱柳之住室实在绛云楼下。可与曹秋岳「宗伯楼下惊起」之语相印证。鄙意书籍之贮藏，在常熟近海潮湿地域，自以楼上为宜。楼下纵有披阅之本，但大多数当必置于楼上无疑。牧斋「三重阁上理琴书」之句，「三重」之「三」，或不必拘泥，然「阁上」一辞，应可信也。至接待男性宾客之室，必在楼下，而不在「五楹」之内，疑是绛云楼下之厢房也。观绛云楼未焚以前，牧斋作品中如牧斋外集贰伍「跋偈庵诗册」末署：「庚寅正月书于沁雪石下。」及「题为黄子羽书诗册」末署：「庚寅二月二十五日蒙叟钱谦益书于绛云楼左厢之沁雪石下。」并黄梨洲思旧录「钱谦益」条（参南雷文案贰「天一阁藏书记」。）所云：「余数至常熟，初在拂水山庄，继在半野堂，绛云楼下。后公与其子孙贻（爱）同居，余即住于其家。」则知绛云楼下，别有厢房，供留宿宾客之用。至沁雪石者，原为元代赵松雪孟??旧物。上引有学集贰秋槐诗支集附河东君「洗罢新松看沁雪」句及此诗后，牧斋答陈开仲诗「沁雪摩挲新拜石」句，（可参有学集壹捌「徐存永尺木集序」：「坐绛云楼下，摩挲沁雪石。」等语。）即与此有关。此石本末见钱曾注牧斋「沁雪」句云：
沈石田图琴川钱氏沁雪石诗序：「吴兴赵文敏鸥波亭前有二石。一曰沁雪。一曰垂云。垂云流落云间，已不可考。沁雪在海虞县治中。钱允言氏购得之。白石翁为作图，系之以诗。石上勒沁雪二字，是松雪翁八分书。」
徐复祚花当阁丛谈（一作石邨老委谈。）肆「沁雪石」条（可参虞阳说苑乙编虞山杂记「垂云沁雪二石」条。）云：
沁雪石原赵松雪家故物也。松雪宝二石，一名垂云，今在松江某大家。沁雪质纯黑，遇雨润，则白色隐起如雪，故名。不知何时乃入吾常熟县治后堂。（虞山杂记作「沁雪者，石质黑，而额上一方，雪着即消。今在环秀。」）会县尹某爱女病，命女巫治之。钱昌时掌邑赋，默嘱巫，令称石为祟。尹命牵出之，于是为钱氏物。
又谈迁枣林杂俎义集名胜「沁雪石」条云：
赵子昂鸥波亭前有石二，曰沁雪，曰垂云。垂云流落云间，已不可考。沁雪石在常熟县署中，有镌字。或云，沁雪子昂妾也。（寅恪案，若果如或说，则牧斋之求得此石，疑与河东君有关也。）钱侍御岱乘邑侯女疾，嗾巫言石为祟，出之，得归钱氏，在徐上舍处。
柳南随笔肆「沁雪石」条云：
沁雪石赵松雪鸥波亭前物也。后入吾邑县治中，邑人钱昌以计出之。既而归于钱，置之绛云楼前。不久楼火，石亦烬。
前引汤漱玉玉台画史叁所载黄媛介画扇署欵云：「甲申夏日书于东山阁。」此「东山阁」之名，是否皆令借以指绛云楼总体而言，藉免「齐牢携绛云」之「齐牢」嫌疑。若作如是解释，则皆令住室，即是楼下之厢房。抑或「阁」字乃指楼上，盖皆令实住于楼上，与楼下钱柳之寝室间隔稍远也。
靳荣藩吴诗集览壹贰上「题鸳湖闺咏」四首。其二云：
休言金屋贮神仙。独掩罗裙泪泫然。栗里纵无归隐计，鹿门犹有卖文钱。女儿浦口堪同住，新妇矶头拟种田。夫婿长杨须执戟，不知世有杜樊川。
其三云：
绛云楼阁敞空虚。女伴相依共索居。学士每传青鸟使，萧娘同步紫鸾车。新词折柳还应就，旧事焚鱼总不如。记向马融谭汉史，江南沦落老尚书。
第叁首末附评语云：
离隐之目，本自新样。「栗里纵无归隐计」，若砭其「隐」字，正是剔清「离」字也。故此首云，「女伴相依共索居」。「索居」上有「相依」字，「共」字，亦奇。（寅恪于前第贰章已引此题第贰首两句，并靳氏评语。兹为解释便利，故重录之。）
寅恪案，前于第贰章论梅村此题第贰首末句「不知世有杜樊川」乃谓钱牧斋，非指张天如。今更合此题第贰第叁两首并读之，骏公诗意尤为明显。第叁首「女伴相依共索居」句，亦是皆令暂居绛云楼时之实况，盖虽与女伴相依，而皆「索居」也。
又有学集贰秋槐诗支集河东君依韵奉和牧斋「人日示内」二首之二，中有「洗罢新松看沁雪」之句，此题之后为「赠黄若芷大家四绝句」云：
节比青陵孝白华。斋心况复事毘耶。丹铅点染从游戏，只似诸天偶雨花。
旃檀云气涌香台。莲漏初残贝叶开。丈室扫除容宝座，散花天女故应来。
晕碧图黄谢物华。香灯禅板道人家。中庭只有寒梅树，邀得仙人萼绿华。
鸥波亭向绛云开。沁雪虚庭绝点埃。墨竹数枝香一缕，小窗留待仲姬来。（寅恪案，河东君此首之意，自是以管仲姬比媛介。但揆之牧斋所以求得沁雪石置于绛云楼前者，盖以己身比松雪，而以河东君比仲姬也。牧斋前此为筑绛云楼之故，不得已而卖赵松雪旧藏之两汉书于谢象三，致使其不能享有对美人读宝书之天福，遂无可奈何对美人玩奇石，聊用弥补旧日之遗憾欤？由是言之，此沁雪石者，在牧斋意中，本与河东君有关。在河东君诗中，则又借之以指媛介。然则此石亦是与惠香之名相同，可以概括合此条件之女性，不必限于某一人也。）
据钱遵王注本，此题下有一「附」字，与上一题「依韵奉和二首」下有一「附」字者，体例正同，可证此四绝句，亦是河东君作品，非牧斋所赋也。黄若芷者，未审为何人，但既称之为「大家」，则必是女教师，而非寻常妇人可知。第肆首全部皆以赵孟??夫人管道升为比，然则合此等条件之河东君女友，恐舍黄媛介外，别无他人。又「若芷」两字，皆与「香」字有关。前论牧斋于崇祯九年丙子，已有惠香阁之名，惟此金屋，盖所以留待将来之阿娇，而此阿娇不必为一确定之人，任何女性，苟有当牧斋之意者，即目之为惠香，亦无不可。若依此解释，论惠香之名时，曾引庾子山诗「流水桃花色，春洲杜若香」等句，今观「若芷」之称，更与杜牧之「春日言怀，寄虢州李常侍十韵」诗，「风畦芷若香」句（见全唐诗第捌函杜牧贰。）字字切合。是若芷固一惠香也。或谓赠若芷诗第壹首第壹句「节比青陵」之语，似与媛介身世未合，殊有可疑。但皆令于乱离之中，不被污染，纵遭嫌忌，亦能始终与其夫杨世功相守，当可借青陵台相比拟，不必过于拘泥。惟「天女散花」及「萼绿华」之典，稍有语病，与王渔洋以秋娘比黄皆令，正复相似。此皆令之兄所以不喜其妹与河东君往来之故欤？复次，李渔笠翁十种曲中有「怜香伴」一种。曲海总目提要贰壹谓此曲「凭空结撰，无所本」。鄙意十种曲中如「意中缘」之类，即指当时之事。「怜香伴」恐非全无所本。或者「怜」乃杨影怜之「怜」，「香」乃惠香或黄若芷之「香」。「伴」乃「女伴相依共索居」之「伴」。「怜香伴」曲中，崔云笺之「云」，与「阿云」之「云」有关。崔曹二女立誓并嫁范生，及云笺托病愿退居，让曹语花为正室，与惠香在牧斋家中护视河东君之病事及牧斋赠惠香诗「并蒂双栖宿有期」句，亦颇相类。至云笺语花赋诗定交，其题为「美人香」则「美人」本河东君别号，而「香」则是「惠香」之「香」也。由此言之，「怜香伴」与「意中缘」，俱有所本，不过「怜香伴」隐讳特甚，撰曲海提要者，遂不能知其所指之实在人物耳。寅恪读梅村「题鸳湖闺咏」戏用彩笔体为赋一律，附录于此，以博通人之一粲。斯固心中尚存黑白之盲瞽应有事也。诗云：
载笔风尘未饱温。何妨招隐入朱门。红巾翠袖谁揩泪，碧海青天共断魂。炊剑乾坤珍白璧，担簦身世怕黄昏。怜香伴侣非耶是，留付他时细讨论。
抑更有可论者，有学集贰拾「赠黄皆令序」（此文前已引其一部分，兹为便利起见，故全录之。）云：
绛云楼新成，吾家河东邀皆令至止。砚匣笔床，清琴柔翰。挹西山之翠微，坐东山之画障。丹铅粉绘，篇什流传。中吴闺闼，侈为盛事。南宗伯署中，闲园数亩，老梅盘拏，柰子花如雪屋。烽烟旁午，诀别仓皇。皆令拟河梁之作，河东抒云雨之章。（寅恪案，梅村家藏藳伍捌梅村诗话「黄媛介」条略云：「媛介后客于牧斋柳夫人绛云楼中。楼毁于火，牧斋亦牢落，尝为媛介诗序，有今昔之感。媛介和余诗［四首之四，末两句］曰，忆昔金闺曾比调，莫愁城外小江干。」可与牧斋此文参阅也。又「云雨之章」之「云」当作「零」。检文选贰拾孙子荆「征西官属送于陟阳候作诗一首」云：「晨风飘歧路，零雨被秋草。」及宋书陆柒谢灵运传略云：「史臣曰，子荆零雨之章，正长朔风之句。」牧斋之语，盖出于此。浅人不晓，习闻高唐赋「云雨」之辞，因而抄写譌误，遂致比儗不伦，殊可笑也。）分手前期，??游小别，迄今数年矣。今年冬，余游湖上，皆令侨寓秦楼，见其新诗，骨格老苍，音节顿挫。云山一角，落笔清远，皆视昔有加，而其穷亦日甚。湖上之人，有目无覩，蝇鸣之诗，鸦涂之字，互相题拂，于皆令莫或过而问焉。衣帔绽裂，儿女啼号，积雪拒门，炊烟冷突。古人赋士不遇，女亦有焉。吁！其悲矣！沧海横流，劫灰**埽，留署古梅老柰，亦犹夫上林之卢橘，寝园之樱桃，斩刈为樵薪矣。绛云图书万轴，一夕煨烬，与西清东观，琅函玉轴俱往矣！红袖告行，紫台一去，过清风而留题，望江南而祖别。少陵堕曲江之泪，遗山续小娘之歌，世非无才女子，珠沉玉碎，践戎马而换牛羊，视皆令何如？皆令虽穷，清词丽句，点染残山剩水间，固未为不幸也。河东湖上诗：「最是西泠寒食路，桃花得气美人中。」皆令苦相吟赏。今日西湖，追忆此语，岂非穷尘往劫？河东患难洗心，忏除月露，香灯禅版，浄侣萧然。皆令盍归隐乎？当属赋诗招之。
吴应箕留都见闻录上园亭门云：
六部各有园，皆为之不及百年。礼户二部俱在洪武门之左。礼部有敞亭可憇，户部有高楼可眺。亦引水为池，恨疏凿不得法耳。余亲见园中竹树时为堂官斫取。又众以传舍视之，不久废圮矣。
寅恪案，牧斋此序未能考定何时所作。但河东君赠黄若芷诗，附于「庚寅人日」诗后，庚寅十月二日绛云楼焚毁，牧斋此文中已言及之。又序中有「香灯禅版」之语，与河东君赠黄若芷诗「香灯禅版道人家」之句，可相印证。然则序中之「今年冬，余游湖上」乃指顺治七年庚寅之冬季欤？若果所揣测者不误，河东君赠黄若芷诗，亦即序中「当属［河东］赋诗以招之」之诗耶？至牧斋序文之佳妙，读者自能知之，不待多论也。吴次尾所记南京礼部园一条，与牧斋任职弘光朝之时间相距极近，故附录之，以资参证。兹尚有关涉绛云楼者数事，附论述之于下。
牧斋尺牍中「致瞿稼轩」十四首。其二云：