曹寅一生爱读书，爱买书，藏书之富在江南都是有名的。
今存《楝亭书目》载藏书三千余种，在万卷以上。曹寅在世之时，曾在扬州天宁寺设立书局，选择家藏的宋元珍本，邀请一大批学者进行校刊，刻印了《楝亭五种》《楝亭十二种》等古籍，又替康熙皇帝主持编刊《全唐诗》《佩文韵府》，一时称为盛事。
如今，大书库里还藏着曹寅在世时刻意搜求的成千上万卷各种各样的珍版图书。曹雪芹厌倦在书塾里读枯燥乏味的圣贤书，却十分神往祖父大书库里那些前人的诗集、文集，美妙的词曲歌赋，动人的戏剧小说。
有时候放学后，甚至是故意逃学后，曹雪芹就一个人偷偷钻到书库里躲起来，什么屈原、庄子、嵇康、阮籍，往往一读就是一天。
有时候，他悄悄地从书库里把自己心爱的书拿出来，到西园找个幽静的地方，一边读，一边和书里面的人物说话。有时候他读书入了迷，连吃饭都会忘记。
有一回，他从藏书的大楠木格橱里，偷偷拿出一部我国著名剧作家汤显祖撰写的《牡丹亭》，躲到假山背后如饥似渴地读起来。读到动情的地方，他好像变成了剧中人物，时而唉声长叹，时而引吭高歌。
读到《游园惊梦》一段时，他深深为杜丽娘和柳梦梅纯洁高尚的爱情感动了。读到杜丽娘“感梦而亡”时，他竟禁不住失声哭了起来。巧的是，当时他的父亲曹頫正由西园经过，听到哭声甚是奇异，便命人四下找寻。
最后发现，原来是自己的宝贝儿子曹雪芹，在阅读闲书着了魔，发起呆来。
见这般情状，曹頫怒从心头起，恶向胆边生，不由分说地叫人把曹雪芹拉回厅内，对他施以一顿痛打，还大骂曹雪芹是“不成器的东西”“贱胎”！直至惊动了老祖宗，祖母李老夫人赶来，曹雪芹才算得了救。
小曹雪芹投在奶奶的怀抱里，只觉得委屈极了，他心里想的是：“祖父的藏书，我读了有什么错呢？”
说到曹寅的藏书，那确实是曹家的一大骄傲。曹寅少时也非常聪慧好学，还曾进宫做过幼年时的康熙皇帝玄烨的伴读。
康熙皇帝喜欢唐人的文章诗歌，曹寅随主子所好，自小把唐诗滚瓜烂熟，能与主子应答自如，深得主子赞赏和欢心。
曹寅还是一位戏剧的爱好者和热心提倡者。他不仅千方百计收集天下话本小说、曲词传奇，还与当时著名的剧作家洪昇非常要好。他听说洪昇的《长生殿》在京城演出时，因为触了皇室的禁忌，引起麻烦，曹寅却并不因此冷落朋友。
后来洪昇来到江宁，曹寅遍请当地名流，大开盛会，为他接风洗尘。一连三天三夜，演完了全本《长生殿》。看戏时，他和洪昇接席而坐，对戏文逐字逐句地进行斟酌评赏。这在文坛上，一时传为佳话。
这些盛事，曹雪芹当然都不曾赶上。然而，他听长辈们不止一次地谈起过这些事，因为这实在是曹家历史上的骄傲。
祖父的藏书完整地留了下来，如今就摆放在那里，万签插架，琳琅四壁，怎不令心向往之？毫无疑问，这些书籍为丰富曹雪芹的文学知识，提高他的文化修养，起到了相当大的积极作用。如果曹雪芹不是读了这些所谓的闲书，是写不出让人肝肠寸断的《葬花词》的。
曹雪芹像祖父一样，也非常喜欢唐代诗人的诗。他喜欢“初唐四杰”的王勃、杨炯、卢照邻、骆宾王，还有敢于打破沉闷空气、纵情呼叫的陈子昂；他喜欢盛唐诗人如李白、杜甫那博大的胸襟、宏大的气魄；他喜欢中唐诗人李商隐、李贺的奇绝和瑰丽；他喜欢晚唐诗人聂夷中、杜荀鹤乃至李绅、罗隐，喜欢他们伤时悯农、感慨民生疾苦的一片真情。
而曹雪芹最喜欢的是有“诗鬼”之称的李贺的诗。他后来写诗学李贺而不受李贺的约束，被朋友们称赏为“诗追昌谷破樊篱”，足见受李贺影响之深。
《全唐诗》和祖父的《楝亭诗钞》，几乎成了曹雪芹每日必读的教科书。他觉得读这些诗人用真情写的诗歌，比读那些枯燥僵化的“四书五经”，不知要好上多少倍。
除了读书，少年曹雪芹的另一乐趣要算是外出交游了。他不止一次地去过属于江宁织造衙署管辖的缫丝工场、织锦工场。他对于蚕茧是怎样经过一道道工序，在工人手里变成闪闪的锦缎，十分好奇，也感到非常有趣。
曹雪芹晚年之所以能在自己所编撰的《废艺斋集稿》里，立出专章，把编织和织补诸项技艺叙写得那么准确精当，恐怕跟他少年时期在织锦工场用心观察分不开。
缫丝、织锦工人劳动的沉重、生活的艰辛，他必定也是亲眼目睹了的。这为他在《全唐诗》里读到过的“昨日入城市，归来泪满巾。遍身罗绮者，不是养蚕人”一类的悯农诗，提供了现实证据。他真正切身感受到贫富悬殊、社会不公，是在被抄家北迁以后的事。
随家人到苏州、扬州一带串亲访友，是少年曹雪芹的又一乐事。祖母李老夫人的胞弟李煦，任苏州织造几年，几乎与世袭江宁织造的曹家有着同样的富贵荣耀。
苏州在当时是江南的戏曲演出中心，李府就有很出名的家养昆曲戏班。曹雪芹来到舅爷爷家做客，不像在家时受到父亲那样严厉的管束，他可以陪祖母一道看戏，并且有机会结识戏班里自己喜欢的戏子。
《红楼梦》里写了芳官、琪官这些演艺伶人，就跟曹雪芹早年在苏州与一些演员的交流有很大的关系。他认为这些戏子比看戏的爷儿们要高尚，他爱他们，尊敬他们。
他还跟这些戏子学过戏，扮相很不错。而演出成功的结果，必然是要遭受父亲又一次痛打的。父亲骂他不守“礼法”“不走正道”，认定他将来必是个“天下无能第一，古今不肖无双”，于国于家无望之人。
苏州有个天下独秀的去处，苏州的园林建筑艺术，称得上是中国园林的一个橱窗。俗话说，“上有天堂，下有苏杭”，这一点不过誉。著名的拙政园、狮子林，还有弥漫着神话色彩的虎丘，以及钟声悠悠的寒山寺，均是令人神往的去处。
曹雪芹每回去苏州，总忘不了到这些地方去游玩一番。
“瘦、皱、透、露”的天然美与巧夺天工的人工美，浑然融为一体，使他得到比读诗词歌赋更为怡情悦性的陶冶。《红楼梦》里，大观园的布局构思与景物渲染，就很有苏州园林的影子呢！
只可惜这样的生活持续的时间并不长，在他十三岁那一年，即雍正五年（1727年），因骤然发生的一场抄家横祸，一夜之间，这富贵安乐的生活都如梦一般结束了。