拜发谢表后，全家忙着收拾行李，准备离黄。苏轼把辛苦经营的东坡农场和雪堂的房屋、乳媪的坟墓，托给了近邻潘丙（彦明）照看。因为苏迈正要到江西德兴去当县尉，所以决定叫他带了全家，稍后至湖口相会，他自己则要先往筠州去探望苏辙和三个多年不见的侄子，诗僧参寥、丐者赵吉（注：丐者赵吉，因苏辙的介绍，从东坡于黄州。《栾城集》有《丐者赵生传》，东坡诗中屡称为赵贫子。）从行。
苏轼自元丰三年（1080）二月到达黄州，至七年四月离去，在此整整住了四年三个月。离黄之日，他的疮病似乎没有痊愈，所以作《别黄州》诗，用杜甫瘦马行的典故：“病疮老马不任𩉜，犹向君王得敝帏。”黄州虽是这么穷僻的地方，但是住久了，即使一草一木，看来也不免有情，故诗续曰：“桑下岂无三宿恋，樽前聊与一身归。”黄州邻里、朋友，纷纷设馔话别，一个流落天涯的人，对于温暖的人情，更易流连，作《满庭芳》一阕，以当告别：
归去来兮，吾归何处？万里家在岷峨。百年强半，来日苦无多。坐见黄州再闰，儿童尽楚语吴歌。山中友，鸡豚社酒，相劝老东坡。
云何。当此去，人生底事，来往如梭。待闲看秋风，洛水清波。好在堂前细柳，应念我、莫剪柔柯。仍传语，江南父老，时与晒渔蓑。
黄州郡将也设宴欢送苏轼，循例征召官伎侑酒。苏轼名满天下，照当时风气，常被那些女孩子们求诗乞字，当此酒酣耳热之际，他一向兴致很好，醉墨淋漓，来者不拒。于是有一故事，这次侑酒官伎中，有一李琪，长得娇小明艳，而且知书识字，不过胆小腼腆，所以，只有她从未得过苏公的翰墨。这是最后一次机会，再也不能错过，但等酒喝得差不多时，她从身上取下一条白绢领巾，跑到苏轼座前，求赐墨宝。
苏轼仔细瞧了她半响，叫她先去把墨磨好。墨浓了，他便拈起笔来在那幅白绢上大书道：
东坡五载黄州住，何事无言赠李琪？
下面没写下去，他老把笔一搁，又去和别人谈天说地起来，似已完全忘了这事。同席的人，看开头这两句，语意凡易，认为以苏轼的捷才，也决不至于接不落下文，大家不解何故。李琪自然最为焦急，但也不敢催问，只憋得粉面通红，无所措手。苏轼佯若没事，谈笑不绝，直到宴席将散，李琪忍不住只得去他面前，再拜续请，苏轼这才哈哈大笑道：“几乎忘了出场。”提笔续写道：
恰似西川杜工部，海棠虽好不题诗。
写毕，大家传观，都为李琪庆贺。苏轼黄州赠伎诸作，以李琪所得的褒扬为最甚。（〔宋〕何薳：《春渚纪闻》。又陈岩肖《庚溪诗话》作“李宜”。）
苏轼于三月上旬闻移汝之命，随即作书邀王齐愈过江来一叙。这封信写出他此际惶惶不安的心事：
……前蒙恩量移汝州，比欲乞依旧黄州住，细思罪大责轻，君恩至厚，不可不奔赴。数日念之，行计决矣。见已射得一舟，不出此月下旬起发，沿流入淮，溯汴，至雍丘、陈留间，出陆至汝，劳费百端，势不得已。本意终老江湖，与公扁舟往来，而事与心违，何胜慨叹。计公闻之，亦凄然也。甚有事欲面话，治行殊未集，冗迫之甚，公能两三日间，特一见访乎？至望，至望。
苏轼行前，武昌的王齐愈、齐万兄弟，岐亭的陈慥都于苏宅会集，伴送离黄。时已四月中旬了，他们一行渡江过武昌，夜行吴王岘时，忽然听到隔江传来黄州鼓角的声音，一声声撩拨起行人苍茫的悲凉，苏轼默诵杜甫的诗：
鼓角缘边郡，川原欲夜时。
万方声一概，吾道竟何之？
一时感情激动，不能自制，两眼都忽然湿润起来。但他立刻凛一凛精神，以为鼓角本身是无悲亦无喜的，一切随着听鼓者本身的哀乐而变化，今日多情送我，固然免不掉有点感伤，但望有生之年，还能再来黄州，这江边的枯柳总还认识我，这黄州鼓角还当吹奏此曲，欢迎东坡居士重来。作《过江夜行武昌山闻黄州鼓角》诗：
清风弄水月衔山，幽人夜渡吴王岘。
黄州鼓角亦多情，送我南来不辞远。
江南又闻出塞曲，半杂江声作悲健。
谁言万方声一概，鼍愤龙愁为余变。
我记江边枯柳树，未死相逢真识面。
他年一叶溯江来，还吹此曲相迎饯。
绝意仕路的苏轼，如果不能归乡，他只愿重回黄州来做他的东坡老农。这心意，即使后来元祐时期，他还常常那么怀想，《致潘丙（彦明）书》说：“仆暂出苟禄耳，终不久客尘间，东坡不可令荒废，终当作主，与诸君游，如昔日也。愿遍致此意。”
一行同至车湖王齐愈家，因为刮风，留住两日，至四月十四日，坐船到磁湖。（梧桐细雨文学网注：本集《再书赠王文甫》云：“昨日大风欲去而不可，今无风可去而我意欲留。文甫不欲我去者，当使风水与我意会，如此便当作留客过岁准备也。”可见其欲别还难之意。）
到磁湖来送行的黄州朋友一大堆：潘氏全家祖孙三代——潘革和他的三个儿子潘鲠、潘丙、潘原，潘鲠的两个儿子，即是后来江西诗派的大将潘大临、大观；古耕道、郭遘，何氏竹园的何胜可也带了他的孙子何颉（斯举）同来；还有武昌的王齐愈、齐万兄弟带了侄子天常以及韩毅甫、宗公颐等。这一大批送客远来磁湖，使苏轼深为感动，和他们一一热烈话别。
唯有陈慥，交情更是不同。苏轼住在黄州，季常每次往返四五百里路来看他，前后达七次之多，这回更是坚欲送他直到九江。苏轼途中作诗赠别，回顾他们五年来的交往，感慨道：“枯松强钻膏，槁竹欲沥汁。两穷相值遇，相哀莫相湿。”这几乎就是《庄子·大宗师》中“泉涸，鱼相与处于陆，相呴以湿，相濡以沫，不如相忘于江湖”的意思。最后，更历忧患的苏轼很坦白地劝季常道：
吾非固多矣，君岂无一缺。
各念别时言，闭户谢众客。
苏轼又将五年间往来岐亭所作泣字韵诗，通为《岐亭五首》，前加长叙，留为与陈季常患难交情的纪念。
苏轼从此就再也没能到黄州来，也再没看过他亲手垦辟的东坡。