苏轼垦辟东坡的当年（元丰四年辛酉，1081），即遭逢天旱，幸而所种的麦子，不需要很多的水，到了冬天，已在地面上长出一层春意盎然的新绿来，苏轼高兴他不会挨饿了，作《陈季常见过三首》，有言：“东坡有奇事，已种十亩麦。但得君眼青，不辞奴饭白。”
不料第二年（五年壬戌）夏季，竟又久旱不雨，田地龟裂，禾稻枯槁。幸而盼到天降甘霖，却是大雨成潦，田间根叶烂死，损失惨重。苏轼面对连续的灾荒，不能没有饥饿的恐惧。《次韵孔毅父（平仲）》诗中，写这种无助的景况道：
我生无田食破砚，尔来砚枯磨不出。
去年太岁空在酉，傍舍壶浆不容乞。
今年旱势复如此，岁晚何以黔吾突。
……
形容虽似丧家狗，未肯弭耳争投骨。
倒冠落帻谢朋友，独与蚊雷共圭荜。
故人嗔我不开门，君视我门谁肯屈。
可怜明月如泼水，夜半清光翻我室。
大约孔平仲原诗，有怪他过分耿介，不求人助的意思，所以他说：“我即使洞开大门，你看有谁会来照顾我呢？”人情势利，自古皆然。苏轼的感慨，别见《答陈季常书》：
先生笃于风义，至身割瘦胫以啖我，可谓至矣。……彼不相知者，视仆之饥饱如观越人之肥瘠耳，虽象亦未易化也。乡谚有云缺口镊子者，公识之乎？想当拊掌绝倒！（缺口镊子，一毛不拔。）
然而，苏轼到底是个硬汉，他相信自己，“力耕不受众目怜”。记大雨成潦，自力筑塘拒水的经过道：
老夫作罢得甘寝，卧听墙东人响屐。
奔流未已坑谷平，折苇枯荷恣漂溺。
腐儒粗粝支百年，力耕不受众目怜。
破陂漏水不耐旱，人力未至求天全。
会当作塘径千步，横断西北遮山泉。
四邻相率助举杵，人人知我囊无钱。
明年共看决渠雨，饥饱在我宁关天。
谁能伴我田间饮，醉倒惟有支头砖。
苏轼虽然贫困，但他生活安闲，一家和睦，正如他作《方山子传》所称道的陈慥家一样：“环堵萧然，而妻子奴婢皆有自得之意。”他躬耕东坡，王夫人能医牛病，从无诟谇。三个儿子又都聪明好学。苏轼、苏辙两兄弟都非常关爱子女，对孩子们从无疾言厉色的责备，只要稍微有点表现，便赞不绝口，自言是“誉儿有癖”。元丰四年作《次韵和王巩（宾州）六首》中说到他的家庭，心满意足：“子还可责同元亮，妻却差贤胜敬通。”前则因陶潜有责子诗，他很自喜孩子们都能好学；后句说的是后汉冯衍（敬通），有个悍妒出名的夫人，严禁冯衍蓄妾，苏轼自幸王夫人却比冯敬通的夫人贤慧得多，允许他纳朝云。
他写杜甫《屏迹》诗，如“……晚起家何事，无营地转幽。竹光团野色，山影漾江流。废学从儿懒，长贫任妇愁。百年浑得醉，一月不梳头”，自道：“此乃东坡居士之诗。”
朋友说：“这明明是杜甫《屏迹》诗，居士何得窃据？”
苏轼道：“禾麻谷麦，起于神农后稷。现在家有仓廪，不告而取，便成盗贼。其实从初说起，都是神农后稷之物。今考杜甫此诗，字字皆居士实录，是则居士诗也。子美安能禁吾有哉！”（本集：《书子美屏迹诗》。）
苏轼从不严格督促孩子们读书，所以说：“废学从儿懒。”但是孩子们的诗文习作，他都要看的，认为用字必须经济，凡是辞多而意寡的，或者滥用的虚字，一定勾出来，要他们改写——这是苏轼作文的一个要诀，不但这样训练自己的孩子，对他的侄子们也一样用心教导，如赵德麟在苏辙家亲见苏轼寄他侄子的旧札，有曰：
二郎侄：得书知安，并议论可喜，书字亦进。文字亦若无难处，止有一事与汝说。凡文字，少小时须令气象峥嵘，采色绚烂，渐老渐熟，乃造平淡。其实不是平淡，绚烂之极也。汝只见爷伯而今平淡，一向只学此样，何不取旧日应举时文字看，高下抑扬，如龙蛇捉不住，当且学此，只书字亦然，善思吾言。
夜坐无事，尝与长子苏迈联句为乐。苏迈似是一个木讷老实的青年，才华不及他的两个弟弟，少年时作《林檎诗》，有句云：
熟颗无风时自脱，半腮迎日斗鲜红。
老父认是“颇有思致”。联句中，儿子说：“乐哉今夕游，获此陪杖履。”做父亲的也鼓励他道：“传家诗律细，已自过宗武。”欣见自己的儿子比杜甫的宗武强。
元丰五年（1082）岁将暮时，有个多年未见的乡友突来黄州投奔苏轼，他是巢三。巢三，本名穀，后改为谷，字元修，读书不成，虽曾中过举，却未能通过礼部的进士试，浪迹京师，又想改从武举求个出身，但是武功都须自幼锻炼，所以退而习剑，更无成就。失意之下，他便萧然一身，浪游秦、凤、泾、原之间，后来投身于熙河名将韩存宝军中，做了几年幕僚。四年七月，存宝以逗留不进之罪伏诛，巢谷受存宝生前嘱托，送数百两蓄积银两与他的妻子后，在江淮一带，变更姓名，逃亡了一年多，转到黄州来避祸。苏轼立即留他在家，教迨、过二子读书。与从兄子安信上说：“巢三见在东坡安下，依旧似虎，风节愈坚，师授某两小儿极严。……”（〔宋〕苏轼撰，〔清〕施元之注《施注苏诗》。）
苏轼陪这亡命的朋友到雪堂去住，那个景况，真是凄凉。照他自己的描写，床上只有一条破棉被，破灶里散发着湿柴的潮气，架子上只剩得一樽残酒，自己喝了不够脸红，只好请客人姑且润润喉咙。
巢三也不嫌清苦，除了教书外，他还煮猪头灌血睛，做姜豉菜羹，宾主共享。
苏轼说过：“妻却差贤胜敬通。”一点不假。苏轼谪居黄州，家中还留着两三个愿同清苦的侍儿，其中有个朝云，本姓王，字子霞，钱塘人，熙宁七年（1074）苏轼在杭州通判任上时，投入苏家，当时她还只有十二岁。
朝云长大起来，出落得秀外慧中，冠绝侪辈，天生雪白的肤色，不必借重膏沐，小小两片嘴唇，永远鲜红欲滴，风姿绰约，体态轻盈，到三十余岁，苏轼还要赞她：“素面常嫌粉涴，洗妆不褪唇红。”不但天生丽质，而且举止活泼，富有热情，完全是个外向型聪明乐观的女孩子，她这气质，这性格，就最投合苏轼的喜爱。
黄州以前，苏轼似乎先有一妾曰凌翠，没有同来，答朱康叔（寿昌）问，复书说：“所问凌翠，至今虚位，云乃权发遣耳。何足挂齿牙，呵呵！”权发遣者，宋代官制名词，意为“暂代”，可见当时，朝云还没有妾的身份，只是侍儿而已。
初到黄州，朝云年才十九，苏轼多时闲暇，苦于寂寞，他俩接近的机会较多，感情自然亲密起来，苏轼的熟朋友们，也都认识了他身边的这个丽人。
元丰六年（1083）九月二十七日，朝云为苏轼生了一个稚子，其时这父亲已经四十八岁了，也可算是暮年得子，非常高兴，写信告诉蔡承禧（景繁）道：
凡百如常，至后杜门壁观，虽妻子无几见，况他人也。然云蓝小袖者，近辄生一子，想闻之一拊掌也。
定然是承禧见过朝云，不晓得她的名字，所以照她那天所穿的衣服，称她为“云蓝小袖者”。苏轼不大喜欢与妇人厮混，虽妻子亦不常见，但他乐与朝云为伴，他俩的欢好，可以想见，而王夫人传统的不妒美德，尤其难得，难怪苏轼满意称道。
苏轼为这庶出的稚子，取名遯，乳名幹儿。遯者，遁也，苏轼此时甘心避世之意，已很显然。
这孩子的相貌，很像父亲，尤其额角那一部分最像，苏轼钟爱这患难中所得的少子，也是人之常情。朝云生了儿子，在苏家中也就有了她的地位。从“权发遣”正式擢升为妾，不再是普通的侍儿了。
遯儿生后第三日，俗为“三朝”，苏轼作《洗儿》诗，语意悲愤，如云：
人皆养子望聪明，我被聪明误一生。
惟愿孩儿愚且鲁，无灾无难到公卿。
雪堂落成后，苏轼有了招待客人的住处。元丰五六年间，雪堂寓客不断，五年五月绵竹道士杨世昌来，住到六年五月方才离去；而五年年底，同乡巢谷又来了，也住在雪堂；六年二月琴师崔闲自庐山来，幸而雪堂有屋五间，三位客人不妨同住；至六年三月间，与苏轼交契最深的於潜天目山诗僧参寥，又从杭州不远千里到黄州来看他，寓居雪堂整整一年，直至次年（元丰七年，1084）四月，才随苏轼一同离开黄州。
经验显示，一个人有些怎么样的朋友，可了解他是一个怎样的人物。黄州雪堂所招待的宾客，尽是道士（杨世昌）、和尚（参寥）、画家（米芾）、琴师（崔闲）和亡命者（巢谷）等，虽然因是罪官，士大夫们避嫌不敢来，但也足可看出苏轼血管里流着豪侠的热血，本来喜欢那些流浪江湖的朋友，一时都在黄州聚首。
参寥来了，他有了互相唱和的对手，作《再和潜师》诗：“吴山道人心似水，眼净尘空无可扫。故将妙语寄多情，横机欲试东坡老。……”竭尽僧俗两诗人穷居斗韵之乐。
参寥的诗境，风流蕴藉，几年来更多进步了，黄州所作，如《秋江》：“赤叶枫林落酒旗，白沙洲渚夕阳微。数声柔橹苍茫外，何处江村人夜归。”又如“隔林仿佛闻机杼，知有人家住翠微”句，更是直追渊明风格，苏轼称其清绝，谓不下于林和靖。
他们两人在东坡雪堂拥鼻吟哦，坐忘人世，却使在京师软红尘中的朋友大为涎羡。有人写信给苏轼问道：“闻公与诗僧相从，岂非‘隔林仿佛闻机杼’者乎？真东山胜游也。”即将此函出示参寥，笑道：“此吾师七字法号。”（〔宋〕胡仔：《苕溪渔隐丛话》。）
有一晚，苏轼梦见参寥拿了一卷诗轴来看他，醒后记得饮茶诗两句：“寒食清明都过了，石泉槐火一时新。”觉得此语甚美。槐火换新，是宋代风俗，每年清明节，例须将家中“火种”调换新火，可以理解，但不明白泉何故新？
参寥解释道：“俗以清明淘井，也许因此说泉水也一时新了。”这种说梦的事，虚无缥渺，说过也就算了。不料七年后，居然在杭州西湖智果精舍里，有了“泉新”的事实应验，使人顿生“知命无求”的感悟。（本集：《西湖智果精舍参寥泉铭》。）