苏轼流寓惠州，上无盖顶之茅，下无立锥之地，幸叼程之才的面子，再度迁入合江楼，但楼在三司行衙内，决非外人所能久居。
绍圣三年（1096）正月，程之才将被朝廷召还，则合江楼就寄住不下去了；何况苏迈方在活动指派粤中的差遣，假使事情成功，儿孙皆至，合江楼也住不够。自朝廷公开诏告“元祐臣僚，一律不赦”以来，苏轼已经断了北归的希望，决心就在惠州落籍，又岂可不弄个房子，以蔽风雨。所以，致程之才书说：
兄去此后，恐寓行衙，亦非久安之计，意欲结茅水东山，但未有佳处，当徐择尔。令长子迈来此指射差遣，因挈小儿子一房来，次子迨且令设法赴举也。
二月间，苏轼找到了归善县城东面的白鹤峰上一块数亩大的空地，面临东江，景色甚美，就将它买下来了。
白鹤峰紧靠江滨，沿江筑城，就利用此山深入水中的石脚及山壁峭拔之地，筑为城址。当筑城时取用山土，刨平了一段峰顶，苏轼买的就是这方空地。故老传闻该地旧有白鹤观，现在已废。
白鹤峰头，只此一方平地，四面山势陡下，山上只有一两户人家，房子都低于该地。地形左右稍广，而前后则较狭隘。
苏轼按地形，打算造屋两进；前面小屋三间，作为门房，中间隔个庭院，可以种植花木；第二进为堂三间，拟题为“德有邻堂”；宅地左侧较为宽阔，拟造居室、庖厨、厕所等；在此后面，造为书室，拟题名为“思无邪斋”；周以廊庑，共计为屋二十间。
建造图样粗定，就托人到河源去找木匠作头王皋来，估计斫木陶瓦的数量，仍叫一个姓蒋的工头在河源购买木料。当时在惠州，要找木匠，似乎也不甚易，因为苏轼有一封给博罗县令林抃（天和）的信说：“丰陆数木匠，请假暂归，多日不至，敢烦指挥与押送来，为幸。”木匠弃工不顾，居然要劳动县太爷拘送，其难可知。
后来，他又派苏过到河源去，亲访县令冯祖仁，督促蒋亲（梧桐细雨文学网注：此宋人称谓，如今杭州人称管坟人为“坟亲”，即其遗习。）斫木，忙了一个多月。
其时，与南华重辩书说：“行馆僧舍，皆非久居地，已置圃筑室，为苟完之计。方斫木陶瓦，其成，当在冬中也。”
六月间，苏迈已经得授韶州的仁化县令，即将挈家南来。其时，苏轼从前在湖州时的僚友陈师锡，又派遣专差前来探望，复书中述说他的近况道：
……轼谪居粗遣，长子已授仁化令，今挈家来矣。已买地结茅，为终焉之计。独未甃墓耳，行亦当作。杜门绝念，犹治少饮食，欲于适口。近又丧一庖婢，乃悟此事，亦有定分，遂不复择，脱粟连毛，遇辄尽之尔。……
苏轼是绍圣元年（1094）十月初二到惠州的，被招待暂寓合江楼，住了六天，就搬到嘉祐寺去了。在嘉祐寺住到二年的三月十九，因程之才的好意，复迁于合江楼，住了一年零一个月。至三年四月二十日，他们又不得不再搬回嘉祐寺去住，与重辩书说：“不欲久留，占行衙，法不得久居。”这是一个原因，次则苏轼既欲水东造屋，每日要去监工，中隔大江，其时船桥尚未造好，往来甚为不便，所以程之才去后两个月，他就搬回嘉祐寺。这样搬来搬去，不得定居，竟如水上的飘蓬一样，只望白鹤峰的新居早日落成，则可“庶几其少安乎”！作《迁居》诗曰：
前年家水东，回首夕阳丽。
去年家水西，湿面春雨细。
东西两无择，缘尽我辄逝。
今年复东徙，旧馆聊一憩。
已买白鹤峰，规作终老计。
长江在北户，雪浪舞吾砌。
青山满墙头，䰀鬌几云髻。
虽惭抱朴子，金鼎陋蝉蜕。
犹贤柳柳州，庙俎荐丹荔。
吾生本无待，俯仰了此世。
念念自成劫，尘尘各有际。
下观生物息，相吹等蚊蚋。
此诗眼界澄明，意境超脱，实则于虚无中透着悲怆。
佛说念念成劫。时光过得那么快，俯仰之间，就过完一辈子。人也不过是这个世界中的万物之一，物虽各有分际，但人如超越世界万有之上，下观生物之以息相吹，则人在这个世界里呼吸，与春天田野中移动的气流（野马）、大地上飞扬的尘埃、蚊蚋之生息于世，还不都是一样。（《庄子·逍遥游》：“野马也，尘埃也，生物之以息相吹也。”）
造屋的工程，进行得还算顺利，将近过年时候，已经计算得出完工的日子。新居之西，有两家近邻：一家是林姓的老媪，以酿酒为业；一家是老秀才翟逢亨，很有一点学问。苏轼有天晚上，走过翟家门口，就进去拜访了他。作诗二首，其一云：
林行婆家初闭户，翟夫子舍尚留关。
连娟缺月黄昏后，缥缈新居紫翠间。
系闷岂无罗带水，割愁还有剑铓山。
中原北望无归日，邻火村舂自往还。
山上没有水源，饮水须到江边汲取，甚是不便。苏轼决定在新居里凿井一口，约这两家邻居，可来共享此井。新居的庭院需要种点花木，写信向程天侔要，书曰：
白鹤峰新居成，从天侔求数色果木，太大则难活，太小则老人不能待，当酌中者。又须土碪稍大，不伤根者。柑、橘、柚、荔枝、杨梅、枇杷、松、柏、含笑、栀子，谩写此数品，不必皆有。仍告书，记其东西（移树之法，必须依照其原方向移植，则阴晴向背不变，易于存活，故书云：“记其东西。”）。
绍圣三年的下半年间，苏轼在惠州的几个好朋友，纷纷都要走了，如惠州守詹范罢任（方子容来代），章楶也罢了广州任（王古来代），还有循州太守周彦质，在那两年，与苏轼书问无虚日，忽又罢归，依依不舍，特来惠州相伴半个月才走。初是朝云新丧，还赖朋友之乐，聊得排遣；不料一倏时又风流云散，这孤独而又倔强的老人，心情不免落寞，《和陶时运四首》之一说：
我视此邦，如洙如沂。
邦人劝我，老矣安归。
自我幽独，倚门或挥。
岂无亲友，云散莫追。
苏轼《和陶贫士七首》诗引说：“余迁惠州一年，衣食渐窘，重九伊迩，樽俎萧然，乃和渊明《贫士》七篇，以寄许下、高安、宜兴诸子侄，并令过同作。”（梧桐细雨文学网注：轼子迈、迨在宜兴，辙子迟、适在许下，皆依田产为活。苏辙自己及子远则在江西高安谪籍。）其实这时候，虽说贫穷，还不算真到捉襟见肘的地步，作《和陶乞食诗》时，还说：“幸有余薪米，养此老不才。”但到白鹤新居将要完工，他那一点微薄的积蓄，却已真个用光，到了囊空如洗的地步了。苏轼用钱，向来撒泼，起先一副热心，做慈善事业，毫不顾虑自己。如《寄罗浮重辩书》说：
近日营一居止，苟完而已。……久忝侍从，囊中薄有余赀，深恐书生薄福，难蓄此物。到此已来，收葬暴骨，助修两桥，施药造屋，务散此物，以消尘障。今则索然，仅存朝暮，渐觉此身轻安矣。
时间过得快，钱花得更快，一旦生活问题逼来时，苏轼只得动脑筋到他那宁远军节度副使的俸料，欲将政府发给的折支券请领实物，然后变卖。责官俸料，本来不多，经过衙门克扣，市场折价，大概只能换到三成的钱，而且申请了十八个月，还拿不到手。苏轼没办法，写信托广守王古帮忙，书言：“某为起宅子，用六七百千，囊为一空，旦夕之忧也。有一折支券，在市舶许节推处托勘请。自前年五月请，不得，至今云：未有折支物。此在漕司一指挥尔，告为一言于志康也。”志康，孙勰字，是苏轼老友孙介夫之子，也是他省试的门生。
苏轼的经济情况，非到实在窘迫万分时，他不会在意这点责官俸料的折支券。然而到他在意时，却领不到货，变不了钱。
得到消息，苏迈已带了自己和小弟过的家眷，到了虔州，预备从虔州换乘小船，由龙南江到方口出陆，至循州溯流而来惠州，苏轼派过前往虔州迎接。
至是（绍圣四年二月，1097），白鹤峰新居，指日可以落成了。这座山居，虽然限于经济能力，不能算是很好的建筑，但其一砖一瓦，一花一木，都是苏轼自己设计经营的，也着实不同凡俗。
从白鹤峰下，历级而上，门下有亲种的两株柑橘，此时花犹盛开，屋内所种古荔，绿叶铺满墙头。穿过前庑三间平房，则是一大院落，花木交错，清芬扑鼻。径升石阶，就是“德有邻堂”，这是正厅，它的特点是特别宽阔和高敞，所以惠州新守方子容参观过后，作诗赞美说：“遥瞻广厦惊凡目，自是中台运巧心。”
左边是一组列的居室，绕以竹篱，以分内外，篱间杂栽花草，颇饶幽趣。右侧为“思无邪斋”，是苏轼的书房。书房的一头，开一大窗，则江山数百里间的景色，朝云夕霭，水光岚翠，都纷纷延入屋中，成为与书斋不可分割的一部分。
书斋后面，有道后门，开门就是两家贴邻——酿酒的林行婆和老秀才翟逢亨家。
绍圣四年二月十四日，老人先自嘉祐寺迁入白鹤峰新居，等待子媳孙儿的到来。陶渊明《时运》诗：“斯晨斯夕，言息其庐。”老人环顾新居，觉得此言似乎为他今日所发，心里很高兴：“长子迈与余别三年矣，挈携诸孙，万里远至，老朽忧患之余，不能无欣然。”拈笔和陶《时运》四首，录一：
旦朝丁丁，谁款我庐。子孙远至，笑语纷如。
翦䰂垂髫，覆此匏壶。三年一梦，乃复见余。
闰二月初，苏迈、苏过带领两房家小，到了惠州。苏迈的大儿子箪（楚老），已是二十岁的青年了；次子符（仲虎），就是苏轼所谓“梦中时见作诗孙”的孙儿，已十七八岁；还有过的夫人和长子籥都一起来了。白鹤峰上，笑语盈室，一倏时热闹非凡。患难虽然未尽，而家人得以重聚，竟然觉得过往三年，真如一梦。老人久已想望的“明年更有味，怀抱带诸孙”的情味，忽然实现，怎不大为欢畅！
只是苏迈本来已授仁化令，现在却发生了变故。因为仁化辖属韶州，而韶州与惠州为邻，现行朝廷新制，责官的亲属，不得在责地的邻邑做官，苏迈尚未到任，即已罢去。苏轼与博罗县令林抃（天和）书曰：
示谕幼累已到，诚流寓中一喜事。然老稚纷纷，口众食贫，向之孤寂，未必不佳也，可以一笑。
又稍后致王古（敏仲）书，则曰：
自幼累到后，诸孙患病，纷纷少暇，不若向时之阒然也。小儿授仁化，又碍新制不得赴，盖惠、韶亦邻州也。食口艰多，不知所为计。……
因为“罪在不赦”，所以悉索敝赋，在白鹤峰头营造一间风雨茅庐，儿媳孙子都来了，一时平添几多食口，纵使手头非常拮据，不知为计，但是想到一室春温、笑语充盈的生活，对于孤独的老人来说，精神上的欢快，几将是无可比拟的收获。
这屋子从上年（绍圣三年）三月买地、设计构造起算，到本年三月迁入居住，足足费了一年时间，才告落成。其间苏过亲往河源督工斫木（那个时代，似乎还没有木行这个专业，买木料须往林坂现斫），而苏轼则日日上山，监工筑造，一砖一瓦，一花一木，尽是辛苦。终于有了属于自己的窝巢，老人在新居前后徘徊观瞻，心里非常高兴，三月二十九日，作诗记事道：
南岭过云开紫翠，北江飞雨送凄凉。
酒醒梦回春尽日，闭门隐几坐烧香。
门外橘花犹的皪，墙头荔子已斓斑。
树暗草深人静处，卷帘欹枕卧看山。
作过这诗后数日，苏轼被流放海南的大灾祸，就晴天霹雳似的突然爆发了。
他在这倾囊营造的白鹤峰新居里，住了不过两个月，就须仓皇地抛撇，除出梦中，不再重见。
陶渊明别无所嗜，就是欢喜喝点酒，他做彭泽令，令公田全都种秫，他说：“吾常得醉于酒，足矣。”他的夫人认为人总不能光喝酒，不吃饭，坚决反对。于是使二顷五十亩种秫，五十亩种秔。渊明在《自叙》一文中说：“公田之秫，足以为酒，故便求之，犹望一稔而逝。”不料他这县官从仲秋做到冬天，在官只有八十天，即自辞去。洪迈在其《容斋随笔》里，代他抱屈：“所谓秫秔，未尝颗粒到口。”苏轼起造白鹤峰新居，与陶渊明的种秫一样，也只住了两个多月。
苏轼是个怀乡病很重的人，从十年前起，“乡思”在他所作的诗文书简中，随时流露；但至身陷儋耳之日，他已不敢再存这样奢侈的愿望，只盼有一日能够重返白鹤新居，已是脱水火而登衽席的天惠。他在海南，就曾梦归白鹤山居，醒后，作《和陶还旧居诗》，但就只这么一点卑微的愿望，也达不到：
痿人常念起，夫我岂忘归。
不敢梦故山，恐兴坟墓悲。
生世本暂寓，此身念念非。
鹅城（惠州）亦何有，偶拾鹤毳遗。
穷鱼守故沼，聚沫犹相依。
大儿当门户，时节供丁推。
梦与邻翁言，悯默怜我衰。
往来付造物，未用相招麾。