宋制，谪官奉到诰命之后，必须立即离任，不待交代，不得逗留，被押解的使臣催督同行。苏轼于绍圣元年（1094）闰四月初三奉到新命：
“依前左朝奉郎、责知英州（今广东英德）军州事。”
即日进上谢表，辞告文宣王庙（孔庙），火急治装，率领全家眷口，星夜启程就道了。
然而，侍御史虞策复言苏轼罪重责轻，再诏：“降官为左承议郎。”按官制：朝奉郎为正七品，承议郎为从七品。在苏轼看来，都是一样。
苏轼一家，沿着太行山前进。时在梅雨季节，天色阴沉，心情更是沉重。到了距定州西南百里的赵州临城道中时，天气突转晴朗，使苏轼“西望太行，草木可数；冈峦北走，崖谷秀杰”，甚是高兴。因他回想去年冬季赴定州任时，取道于此，却逢连日风埃阴晦，未尝了了得见太行；而今远戍岭外，终于看到此山北走的雄姿。中国人有崇拜山岳的传统，因为高山与“天”最为接近。当此晦黯的行程，得见高山岳岳，想到韩愈当年，遇大赦由郴州赴江陵府任法曹参军，路过衡山，有《谒衡岳庙遂宿岳寺题门楼》诗说：“我来正逢秋雨节，阴气晦昧无清风。潜心默祷若有应，岂非正直能感通。须臾净扫众峰出，仰见突兀撑青空。”来定州时，风云晦暗，象征此行的不吉，正已应验。现在远赴谪所，则天气已经晴朗，岂非不久可赦还的吉兆？与韩愈的经验一样，苏轼仰望丽日晴空的太行山脉，精神为之一振，便对儿子们欣然说道：“吾南迁，其速返乎！这是韩退之衡山的吉兆。”
继至相州南四十里的汤阴县，旅途饥疲，遂在道旁摊肆里打尖。大家停下车来，喝了豌豆大麦粥。
苏轼要儿子们注意，苏家环境，今不如昔了，现在黄尘蔽天、赤地千里的路上，能够得到“青斑照匕箸，脆响鸣牙龈”的新鲜豌豆吃，已很不易，人须勇于忘怀昨日的“玉食”，则今晨的一盂麦粥，未始不是无上的享受。
途中作诗寄定武同僚，则曰：
人事千头及万头，得时何喜失时忧。
只知紫绶三公贵，不觉黄粱一梦游。
适见恩纶临定武，忽遭分职赴英州。
南行若到江干侧，休宿浔阳旧酒楼。
御史刘拯，落井下石，再言：“苏轼敢以私愤行于诏诰中，厚诬丑诋，不臣甚矣。”指的仍是那篇吕惠卿责降诏。于是，朝廷再加重惩处：
“合叙复日不得与叙，仍知英州。”
十余日间，三改谪命，朝局之乱，可以想见。哲宗虽有召章惇为相之意，而李清臣还想抢前一步得手，所以竭力表现变革，恢复熙丰的旧法，除命各路常平使者等等，异常忙碌。
闰四月的天气已很炎热，乘着牲口走这么漫长的道路，如何得了。苏轼自忖：“犯三伏之毒暑，陆走炎荒四千余里”，则必将死于道途。十四日到达滑州，乃状奏朝廷，请求皇帝顾念八年经筵之旧，准赐坐船前往。
十八日至汴京附近的陈留，苏氏眉州乡邻杨济甫派他的儿子杨明（子微）遄程赶来相送。这位晚辈，自言懂得“术数”，他看苏轼绝对不会死于岭外。苏轼听了很高兴，说：“若是应验了你今天这句话，一定为你写《道德经》一部，以当酬谢。”
雍丘县令米芾派专使来迎，苏轼答书说：
辱简，承存慰至厚，哀感不已。平生不知家事，老境乃有此苦。蒙仁者矜愍垂诲，奈何，奈何。入夜目昏，不谨。
从此信中可以看出苏轼在元祐一朝八年间，虽然官至殿阁学士，封疆大吏，但却并无积蓄，依然两袖清风，面对流亡，就不免捉襟见肘起来。
苏辙罢门下侍郎，出知汝州军州事，早于上（四）月二十一日到任。苏轼自陈留绕道临汝，往别其弟。
苏辙的经济情况，原来很穷，所谓“债务山积”者是也。但自元祐以来，久官京师，宋朝的俸禄制度，京官比外任官优厚，久居一地，消耗也少，不比苏轼，常年南北奔走，一点俸给，全都在道路上花光了。
苏辙分俸七千，交给苏迈，决定由他带领一大半眷口，住到宜兴去。可以靠那里的一点田产生活，也免苏轼后顾之忧。（梧桐细雨文学网注：本集《与参寥书》云：“子由分俸七千，迈将家大半，就食宜兴，既不失所外，何复挂心，实翛然此行也。”）
兄弟相聚不过三四天，前途阴雾重重，混沌一片，也没有什么话好说。匆匆别去，回到陈留，幸已得旨准许舟行，他们一家就在那儿登船续发。
哲宗既已决心绍复熙丰新政，首即起用章惇为相——尚书左仆射兼门下侍郎。
翰林学士范祖禹力谏“章惇不可用”，以龙图阁学士出知陕州。右相范纯仁承宣仁太皇太后病榻上谆谆嘱托，竭力奋斗，但也无法挽救这个变局，只得坚决求去，乃以观文殿大学士出知颍昌府。两范先后罢去，元祐大臣，几已尽矣。
闰四月二十二日，章惇抵京莅职，马上援引他的同党蔡卞、林希、来之邵、张商英、周秩、翟思、上官均等入朝，分据要津，把持言路，个个弹冠相庆。
帝又召蔡京为户部尚书。京，字元长，仙游人。他是蔡卞的哥哥，而卞又是王安石的女婿。蔡京于元丰末年曾知开封府事，司马光复差役法，阖朝反对，但他固执己见，令限五日之内办好，大家又认为期限太促，绝无可能。唯独开封府如期报办，司马丞相大为欣赏。这次还朝，适逢章相又欲变复役法，置司讲议，久而不决。蔡京便与章惇说：“取熙宁成法施行之耳，何以讲为？”雇役遂定，似此毫无原则、一味逢迎的小人，奸伪可知；而北宋后期，却将国家命运托付到这帮人的手上，实在可悲。
苏轼行至南都，南都已经喧传朝中群魔乱舞，一股仇恨的烈焰，像火山爆发一样，烧遍了汴京。章惇、蔡卞领头，热烈策划如何向元祐诸臣一个一个地报复，不论已经死亡的，或已贬谪在外的，都要一网打尽。这一伙人凶焰高涨，肆无忌惮，甚至在殿陛上狂言怒詈，叫嚣成市。
苏轼的谪命，已经三改。现在章七得势了，对于这位英雄人物的性情，轼最了解。惇有为恶务彻的毒辣、睚眦必报的狠劲，祸患恐怕不止于此，更大的严谴，亦在意中，所以寄定州同僚孙敏行（子发）书说：
某旦夕离南都，如闻言者尚纷纷。英州之命，未保无改也。凡百委顺而已，幸勿深虑。
五月抵边，行至汴上，晚辈晁以道（说之）置酒饯行，酒酣，情绪激越难制，非一发泄不可，素不善歌的苏轼遂引吭自歌古《阳关》一阙。这，岂同平常的筵边唱曲，直是长歌当哭而已！
元人陈秀明《东坡诗话录》引苏轼手记一则：
暮云收尽溢清寒，银汉无声转玉盘。
此生此夜不长好，明月明年何处看。
余十八年前中秋夜，与子由观月彭城，作此诗，以《阳关》歌之。今复此夜，宿于赣上，方迁岭表，独歌此曲，聊复书之，以识一时之事，殊未觉有今日之悲，悬知有他日之喜也。（〔元〕陈秀明：《东坡诗话录》。）
这最后两句勉强自慰的话，实在比痛苦还要感伤。
苏轼这一路行来，沿途多遇故旧。如至韦城，遇吴安诗的外甥欧阳思仲，为感激安诗因撰苏辙告词而落职，特在客邸书《松醪赋》一幅，托欧阳转致；渡黄河，见杨济甫之子杨明；过雍丘，晤米芾和马梦得；至汴上，与晁说之饮别，遇任伯雨同舟共载；抵山阳，徐积（仲车）来慰问；至九江，与杭州同僚苏坚（伯固）相晤，其时伯固将赴湖南澧阳，所以作《归朝欢》一曲赠他；至虔州，与俞括入崇庆院观宝轮藏等等，真可以说是交游天下，故旧满路了。无奈再此前行，一过大庾岭，将被投入一个完全陌生的炎荒之地，孤独的恐惧，化作他无限凄凉的高歌。
门人张耒，向在京师为著作郎兼史院检讨，在馆八年，苜蓿自甘，后擢起居舍人，现在正以直龙图阁知润州事。苏轼到扬州，张耒受官法限制，不能迎谒老师，特地挑选了两名兵士——王告和顾成，随从南行，沿途照料，一直护送到惠州。苏轼很得力于这两人，与文潜书有：
来兵王告者，极忠厚，方某流离道路时，告奉事无少懈。顾成亦极小心，可念。
六月初七，阻风于金陵。初九，儿子们为遵亡母的遗言，再度恭奉阿弥陀佛像于金陵清凉寺，作水陆道场，祈求先灵冥福。佛事毕，苏迈一房眷口，先赴宜兴，部署一切。
金陵崇因禅院长老宗袭，新造一尊观世音菩萨像，妙相庄严，苏轼也往瞻拜，就在观音前许下一个心愿：“吾如北归，必将再过此地，当为大士作颂。”
续向当涂进发，际此流金铄石的溽暑时节，船上闷热不堪。苏轼忽然记起杭州中和堂的东南颊，“下瞰海门，洞视万里”。即使是三伏天，也常有萧然的清凉。而他现在所要去的前途则是炎荒的广南，这就使他作诗怀念“独有人间万里风”的杭州中和堂来了。
距当涂六十五里的慈湖夹，船被大风所阻，停了下来。这条水路，全是韩愈当年贬谪潮州时所走过的路径，韩诗中记述的地方情景，目前一点没有改变。苏轼闷在船舱中，也写下《慈湖夹阻风五首》，首先即说“我行都是退之诗，真有人家水半扉。……”，一申他那“异代同命”的寂寞之感。
这五首诗，看似平常记行写景之作，其实尽是苏轼此日虽身在苦难中，仍不失英迈自许的气概之作，如：“暴雨过云聊一快，未妨明月却当空”——政治的暴风雨可以摧残我于一时，而我本明月，无妨志节皎然于人世；“且并水村欹侧过，人间何处不巉岩”——世路艰难，何独岭外，只要小心应付，未尝不可逃过；“弱缆能争万里风”——六十老翁，万里行役，何惧之有。
人生的际遇，常有山穷水尽、绝处逢生的奇迹。五诗中的第二首，即是写此秘密的心愿：
此生归路愈茫然，无数青山水拍天。
犹有小船来卖饼，喜闻墟落在山前。
一个人被命运投弃于水天无际的荒江上，不知如何才能突破迷茫，找到出路。彷徨中，突然看到有卖饼的小船过来，知道村落就在山前，不能没有蓦然回到人间的喜悦。这短短二十八字，写出苏轼被蒙在命运的黑雾里，危疑震撼中，寻求一线生机的渴望。
苏轼躺在船头，卧看落月，船夫在叫：“风转向了！”于是他们就可以开船，继续上路了。
人生经历患难愈多，精神境界便自不同。如此次途中，与好友参寥书，苏轼但言：
某垂老再被严谴，皆愚自取，无足言者。事皆已往，譬之坠甑，无可追计。从来奉养陋薄，廪入虽微，亦可供粗粝；又子由分俸七千，迈将家大半，就食宜兴，既不失所外，何复挂心，实翛然此行也。已达江上，耳目清快，幸不深念。知识中有忧我者，以是语之。
英州南北物皆有，某一饱之外，亦无所须。承问所干，感惧而已。
“所干”，宋人的口语，意为“需要什么帮忙”。
另一方面，章惇、蔡卞执政的朝中，却是恨火方盛，力谋报复。王安石配享神宗庙廷了；安石的女婿蔡卞已奉命将《神宗实录》重写，以张商英为谏官，正在准备大肆罗织。五月，元丰间与蔡确、章惇、邢恕互相交结，人称四凶之一的黄履，又被召回朝来，开复了御史中丞的原职。章惇用这凶手的目的，就是为了报复仇怨，所以元祐旧臣，便无一得免了。
侍御史虞策再度发难，章惇、蔡卞等幕后支持，重议对苏轼的处分，以为罪大责轻，应该再降。最后的决定是：“苏轼，落左承议郎，责授建昌军司马，惠州安置，不得签书公事。”
其间，还有一个故事。
章惇初登相位，即慨叹道：“元祐初，司马光作相，用苏轼掌制，所以能鼓动四方，安得斯人而用之！”
有人推荐林希（子中），但他现任礼部侍郎，名位高于中书舍人。章惇立刻保证给予同省执政的地位，他就俯首听调了。自此，凡元祐名臣的贬黜制文，都出于林希的手笔。（〔宋〕周煇：《清波杂志》。）
林希与苏轼为进士同年，素相厚善。元祐初，苏轼被擢起居舍人，曾推林希自代，因此得除记注官。后来又为杭州交代的前后任，平日诗筒书问，往来不绝。当苏轼进翰林院日，林希撰启致贺，有曰：“父子以文章名世，盖渊云司马之才；兄弟以方正决科，迈晁董公孙之学。”褒美到无以复加的地步。现在为利禄所诱，执笔草苏轼谪降惠州的告词，则丑诋不遗余力，如言：
……朕初即位，政出权臣。引轼兄弟，以为己助。自谓得计，罔有悛心。忘国大恩，敢肆怨诽。若讥朕过失，何所不容？乃代予言，诬诋圣考。乖父子之恩，害君臣之义。在于行路，犹不戴天；顾视士民，复何面目？以至交通阉寺，矜诧幸恩；市井不为，缙绅共耻。尚屈彝典，止从降黜。
今言者谓其指斥宗庙，罪大罚轻。国有常刑，朕非可赦。宥尔万死，窜之远方。虽轼辩足以饰非，言足以惑众。自绝君亲，又将奚憝？保尔余息，毋重后愆。可责授宁远军节度副使，惠州安置。
苏轼一行，抵达当涂县时，责授建昌军司马的告词才刚下来。在苏轼看来，一切都是任人摆布的情势，无所谓轻重好坏；英州（广东英德）、惠州（广东惠州），皆在广南，都是大庾岭外，心里毫无计较。只是万里投荒，他没有理由要拖累儿辈，事实上也无法挈带全家同去，所以坚决主张，他要独自一人前往贬所。
他的儿媳们绝对不肯让这六十老翁，在无人照顾之下，独行万里，到那完全陌生的炎荒去生活，大家环绕着他涕泣求行。最后决定，他只带幼子苏过一人同去，叫次子苏迨带领二、三两房眷口到宜兴去，跟大哥苏迈同居。是年，苏过二十三岁，已有侍父远行的能力了。
六月二十五日，苏轼在当涂旅次，亲书六篇自作的赋，赠别次子。本集《书六赋后》云：
予中子迨，本相从英州。舟行已至姑熟，而予道贬建昌军司马，惠州安置。不可复以家行，独与少子过往，而使迨以家归阳羡，从长子迈居。迨好学，知为楚词，有世外奇志，故书此六赋，以赠其行。绍圣元年六月二十五日。
苏轼一向保持朴素的家风，在京师时，家伎不过数人。这与当时士大夫们邸宅里檀歌不息、美女如云的豪侈风气比起来，真是十分寒碜。且自外放颍、扬以来，本来准备退休，已先陆续遣去数人。到这时候，还留在家里的，不过寥寥二三人而已。
姬妾，原是富贵荣华的附件，没有与家主共患难、同死生的义务，何况此去是南蛮瘴毒之地。所以，苏轼要“开阁放伎”，各替她们安排一个去处。
唯有朝云，她坚决不肯在这患难之中，离弃家主于不顾，尤其是王夫人已经过世了，这孤独的老翁，岂能没有一个妇人照顾他的起居饮食？所以，她热情而又果敢地表示，一定要随侍苏轼南行。
这种风义，这份热情，使苏轼大为感动。后在惠州，读《白乐天集》，想到乐天那么热爱樱桃小口的樊素，但最后，樊素还是离开了老病的乐天，远走高飞。遂作《朝云诗》一章，记其感念之情。诗前有引，曰：
世谓乐天有鬻骆马，放杨柳枝词，嘉其主老病不忍去也。然梦得有诗云：“春尽絮飞留不住，随风好去落谁家。”乐天亦云：“病与乐天相伴住，春随樊子一时归。”则是樊素竟去也。
予家有数妾，四五年相继辞去，独朝云者随予南迁。因读《乐天集》，戏作此诗。朝云，姓王氏，钱唐人，尝有子曰幹儿，未期而夭云。
关于白乐天的放伎卖马，是这样的：
乐天于唐大和三年（829）五十八岁时归洛阳，即纳樊素为家伎，侍乐天者凡十年。至开成四年（839）十月，老年的乐天，得了风痹症，体弱目眩，左足不支。陈寅恪论其事曰：“既然生理的不可能有伎乐，患了风痹，当然遣伎。”类推，足力不支，当然卖马。
不料樊素临别依依，辞曰：“素侍主十年，凡三千有六百日……”不忍遽去，卖骆马则曰：“五年花下醉骑行，临卖回头嘶一声。项藉顾骓犹解叹，乐天别骆岂无情。”就因这骆马回嘶，樊素陈辞，使乐天终于不忍割舍，作《不能忘情吟》二百五十五言，两俱留之。
但是明年三月作《春尽日宴罢感事独吟》曰：“病与乐天相伴住，春随樊子一时归。”则樊素毕竟还是去了。
而朝云则随侍苏轼万里投荒，同到一个完全陌生的地方去生活，使苏轼对这个红粉知己，不得不心许她与结发夫妻无异。希望将来能够同向三山仙去。诗曰：
不似杨枝别乐天，却如通德伴伶玄。
阿奴络秀不同老，天女维摩总解禅。
经卷药炉新活计，舞衫歌扇旧因缘。
丹成逐我三山去，不作巫阳云雨仙。
从当涂分手，苏迨等人遂去宜兴，苏轼与儿子过、朝云并二老婢，主仆五人，径向江州（江西）进发。（梧桐细雨文学网注：本集《与陈慥（季常）书》：“自当涂闻命，便遣骨肉还阳羡，独与幼子过及老云并二老婢共吾过岭。”）
传说苏轼侍妾，除朝云外，还有一个碧桃，也于此时亲自从南康送至江西都昌县安顿。苏轼还为她留题一诗：“鄱阳湖上都昌县，灯火楼台一万家。水隔南山人不渡，东风吹老碧桃花。”原诗石刻在县治内，《都昌县志》亦载其事。（清人叶廷琯《鸥波余话》、王文诰撰《苏集编注》均记其事。）