宋自开国以来，厉行中央集权制，所以士大夫社会的观念中，一向重京卿而薄外官；京卿得罪者常外放州郡，视为责降，几成通例。苏轼初至杭州，不知底细的陈传道，写信来安慰他的“不遇”，苏轼大为不安，复书言：
来书乃有遇不遇之说，甚非所以安全不肖也。某凡百无取，入为侍从，出为方面，此而不遇，复以何者为遇乎？
尽管苏轼自己，有此不同流俗的胸襟，可是宣仁太皇太后却也并不同此想法，她是在极不得已的情况下，才准了苏轼乞放外郡的请求，心里抱着满腔遗憾，无时不在考虑弥补。
苏轼一离京城，元祐四年六月即除苏辙为吏部侍郎；三天后，改翰林学士；不久，又命权兼吏部尚书。纵然说苏辙自有进用的条件，但是晋升的速度那么快，时间又排得那么凑巧，令人不得不信，这未始不是太后的弥补手腕。
元祐五年（1090）正月，距苏轼莅杭不过半年，范祖禹即疏请召轼还朝，以为在中枢政治的重要献替上，不能没有像他这样一个耿直敢言的大臣。疏言：
臣伏见苏轼文章，为时所宗，名重海内。忠义许国，遇事敢言，一心不回，无所顾望。然其立朝多得谤毁，盖以刚正嫉恶，力排奸邪，为王安石、吕惠卿之党所憎，腾口于台谏之门，未必非此辈也……伏望圣慈早赐召还，今尚书阙官，陛下如欲用轼，何所不可？
然而其时杭州正在灾荒之中，苏轼勠力从事于救灾工作，不便中途换人，只得暂时搁置一下。五月间，遂有再除苏辙为御史中丞的诏命。
这次诏命，系由宫中直接以中旨颁发，出于太皇太后的宸衷独断，事先未与宰执商议，因此引起自宰相以次，满朝的不悦。
不但宣仁太皇太后如此惓惓于苏氏兄弟，而年方十五，尚未亲政的哲宗皇帝，也很惦念这位曾任侍读的老臣。据王巩说，苏轼自杭召归途中，曾亲口告诉他说：在杭时，一日，宫里派中使下来，交代公事既毕，地方监司官集合在望湖楼上公宴饯行。席终，他迟不动身，问苏轼道：
“某未行，监司莫可先归。”
诸官告退，他密语苏轼道：
“某出京师时，往辞官家，官家说：辞了娘娘再来。某往辞太后殿，复到官家处，引某至一柜子旁，出此一角，密谕曰：赐与苏轼，不得令人知。”
取出来的赐物，是茶一斤，封题皆是御笔亲书，苏轼赶忙写了札子称谢，托他代为进呈。
说完这个故事，苏轼慨然言道：
“且教子由伏事娘娘，我小使头出来，自家门打一解。”（〔宋〕王巩：《随手杂录》。）
元祐五年底，太皇太后两次面谕执政，要召苏轼还朝。翌年正月，就有召轼为吏部尚书的消息。
苏轼闻讯，大为惶惑，因为范袓禹上年曾经论荐，所以复函淳父说：
奉书不数，愧仰可知。辱手教，且审起居佳胜为慰。某凡百粗遣，闻天官之除，老病有加，那复堪此。即当力辞乞闲郡尔。侧聆大用，以快群望。未间，千万以时自重。不宣。
同年二月，朝廷以刘挚为尚书右仆射兼中书侍郎、以苏辙为中大夫守尚书右丞。
太皇太后这次径擢苏辙居辅政之地的诏命，便没有以前几次那样顺利了，命下中书，右司谏杨康国拒不书读，奏曰：
辙之兄弟，谓其无文学则非也，蹈道则未也。其学乃学为仪秦者也，其文率务驰骋，好作为纵横捭阖，无安静理。陛下若悦苏辙文学，而用之不疑，是又用一王安石也。辙以文学自负，而刚狠好胜，则与安石无异。
其言与反对派向来所说的无异，指三苏是苏秦、张仪的策士之学，毫无新鲜内容。章上，不报。改诏范祖禹书读行下。
太皇太后的旨意，虽然贯彻了，但苏氏弟兄之为朝臣侧目的情势，也益发深重了。
正月间，原拟召苏轼为吏部尚书，即前函所说的“天官之除”，后来既任命了苏辙为尚书右丞，兄弟同朝执政，总有不便。所以，二月二十八日诏下杭州，就改为以翰林学士承旨召还了。
苏辙对于尚书右丞这一新命，内则不敢超迁于老哥的前面，外则凛惧于同僚的忌嫉，连上四状，辞不接受。状言：
伏念臣幼无他师，学于先臣洵，而臣兄轼与臣皆学，艺业先成，每相训诱。其后不幸早孤，友爱备至，逮此成立，尝兄之力也。
顷者，兄弟同立侍从，臣已自愧于心。今兹超迁，丞辖中台，与闻政事，而臣兄轼适自外召还，为吏部尚书，顾出臣下，复以臣故，移翰林承旨，臣之私意，实不遑安。况轼之为人，文学政事，过臣远甚，此自陛下所悉，臣不敢远慕古人，内举亲戚，无所回避。只乞寝臣新命，若得与兄轼同备从官，竭力图报，亦未必无补也。
苏辙求与老哥一同退守侍从，使与现实政治权势，保持一个相当的距离，确实是个比较安全的处置。无奈太皇太后之重用苏辙、召还苏轼，用意本在牵制执政，所以仍然诏示不许。
苏轼在杭州奉诏，也立即奏请辞免翰林学士承旨，拜发了第一状。他的立场，亦是亲嫌理应回避，如言：
……窃睹邸报，臣弟辙已除尚书右丞。兄居禁林，弟为执政，在公朝既合回避，于私门实惧满盈……伏望除臣一郡，以息多言。
将来接替知杭州事的，是苏轼的老友，与他同应开封举人试，在仕历上亦步亦趋的林希（子中）。他以天章阁待制知润州，调知杭州。苏轼很高兴林子中来接他的手，有许多地方未完的心愿，希望子中能来完成。
苏轼奉诏还朝，杭州是无法留恋的了。一向乐观的他，以为既有苏辙在朝辅政，而他的处境，太皇太后也很明白，只要表示坚定的心，请求再行外放，应该是没有问题的，所以他心里还很轻松。
不过，杭州的朋友，西湖的山水，即使是堤边的一草一木，行路的男女老幼，处处都似连系着感情的脉动，一时真不容易放开。所以，自有内召消息以来，苏轼湖上漫游的行脚，更加勤快了。
二月，杭州的天气，还是春寒料峭的时候，福建路转运判官曹辅来了，陪他雪中游湖。过些日子，龙山真觉院的瑞香花开了，他们又一同去赏花。
这瑞香花，有黄紫两种，有紫瓣而金边者，初产于庐山，后来广植于各处。据（咸淳）《临安志》：“东西马塍，瑞香最多，大者名锦熏笼，色香清远。”然而，这已是南宋时事，苏轼为守时，却以真觉院的瑞香花为最胜。轼诗篇首言：“幽香结浅紫，来自孤云岑。”可知这是紫色而传自庐山的那一种。
曹辅和其他坐客都说这不是瑞香，是紫丁香。苏轼笑子方不识：“公子眼花乱发，老夫鼻观先通。”连作三阕《西江月》，其第三阕专为瑞香辩证：
怪此花枝怨泣，托君诗句名通。凭将草木记吴风，继取相如云梦。
点笔袖沾醉墨，谤花面有惭红。知君却是为情秾，怕见此花撩动。
作为一个中国旧诗人，必须通识草木虫鱼之名，原非易事。现在插入这段闲话，实欲见出苏轼的性格，认真而又好胜，即使是这种细碎的花名之争，他既不肯含糊混同，而又那么恣肆地调侃他的朋友。
越州太守钱勰（穆夫），几于同时被召，从班再知开封，苏轼作《临江仙》送他先行。对于仕宦生涯的奔走四方，他深有感慨。如言：
一别都门三改火，天涯踏尽红尘。依然一笑作春温，无波真古井，有节是秋筠。
惆怅孤帆连夜发，送行淡月微云。尊前不用翠眉颦，人生如逆旅，我亦是行人。
即将离去杭州的苏轼，只有尽量抽出时间来，山南山北地跑，身在春日二、三月的西湖风光里，山寺闻钟，湖边策马，消解无可奈何的离情。苏轼胸中久已蕴积一个极大的愿望，追寻白乐天所能得到的悠游林下的那个旧梦，忽又在心廊回荡起来。
当元祐元年（1086）九月，苏辙得除起居郎，兄弟同侍皇帝迩英阁读书时，苏轼就曾有过这个想望，留着“子由服侍娘娘”，自认“定似香山老居士，世缘终浅道根深”。希望就可抽身退出这个现实政治的圈子，其时，距他起复还朝，还不满一年，而且正在扶摇直上青云的时期，他已抱有怀退之想，“世缘终浅”，苏轼自知他终究不合是一个富贵场中的人物。
苏轼在杭州，曾遇善于看相的程杰，作诗为赠，也说：
书中苦觅元非诀，醉里微言却近真。
我似乐天君记取，华颠赏遍洛阳春。
白乐天做过杭州和苏州两地刺史，后以秘书监召迁刑部侍郎，其后遂以刑部尚书致仕。宦游三十年，退居洛阳，疏沼种树，构石筑楼于香山，凿八节滩，自号“醉吟先生”，与和尚结香火社，文酒自娱者二十年，以七十五高龄逝世。
苏轼非常羡慕白乐天这“水畔竹篱边”的闲居生活。现在他从杭州太守召还，行年五十六岁，倘能及此告退，如与乐天一样能活到七十五岁，则也一样可有二十年的闲居之福。在这美丽的幻想里，苏轼自言不如乐天者，他还有个樊素，名花伴老，然而，苏轼岂不自有一个深爱的朝云？
离杭三日前，往别西湖南北山诸道人，下天竺的惠净和尚赠他一方丑石，作三绝句，诗题也说：“余去杭十六年而复来，留二年而去，平日自觉出处老少，粗似乐天，虽才名相远，而安分寡求，亦庶几焉。”诗之一曰：
出处依稀似乐天，敢将衰朽较前贤。
便从洛社休官去，犹有闲居二十年。
善相的程杰似乎也没能看出他以后还有那么大的风波，还有那么一段九死一生的艰危。即以目前而论，好不容易逃出九陌红尘的火坑，到西湖边来透了一口闷气，如今又得硬着头皮回去，能不能够再逃出来，实在也很难说，虽然他自己似乎还很乐观。
杭州的同僚，在西湖上设宴饯行，刘季孙有诗，马瑊有词——赋《木兰花令》送别，苏轼各有和作。兹举中玉词，以见僚友对他的感情：
来时吴会犹残暑，去日武林春已暮。
欲知遗爱感人深，洒泪多于江上雨。
欢情未举眉先聚，别酒多斟君莫诉。
从今宁忍看西湖，抬眼尽成肠断处。
苏轼自别西湖，不论何时何地，惓惓难忘。不幸的是此别以后，果然再也无缘重到杭州。
苏轼决心不愿留京供职，所以单身一人上京，一面上章力辞，只望途中就能得到朝廷别给一郡的恩诏，他就可避过汴京城中无谓的麻烦。
元祐六年（1091）三月初九，苏轼自杭州西郊下塘乘船离杭，因为这次水灾以苏州和湖州的情况最严重，所以他要从水路绕道灾区，亲自勘察一个明白。于是决定先赴湖州，溯吴淞江，再至苏州。