苏轼一行作吏，百不自在，眼前所见，十九是浮沉利禄的无知下士，沐猴而冠，俨然作态，心里塞满了无比的厌憎。老者章传道劝他，稍稍自己贬抑一点，才能适应这个现实，苏轼昂然道：“如尔自贬，终不谐俗，故不为也！”
既不能自贬以和光同尘，做这“违志”的工作，更是精神折磨，痛苦万分。苏轼就念兹在兹地希望挣脱现在这个官职，认为即使回家去种田，也比现在好。物质生活好坏，苏轼本不在乎，至少可以保持身心的自由与快乐。
行在新城山路上，眼见三月不知盐味的七十老翁，还挂着镰刀在田间劳作，眼见村中少年，游手好闲，再也不能安分守己地做个好农夫，一腔悲愤，使他热血沸腾，觉得自己这个形同帮凶的工作，再也做不下去了，但是如要弃官回乡，则先得试探一下在陈州的老弟的意思，于是他引述后汉马援的故事，续作《山村五绝》中的最后一首。
《后汉书》说，马援征伐交趾国时，行军中上雾下潦，毒气熏蒸，天上的飞鸢，都跕跕堕水而死。身在这样的绝境中，使他想起堂弟马少游，从前曾经劝他为人何必胸怀大志，徒然自苦。马少游道：“士生一世，但取衣食裁足，乘下泽车，御款段马，为郡掾吏，守坟墓，乡里称善人，斯可矣。致求盈余，但自苦耳。”所以，苏诗曰：
窃禄忘归我自羞，丰年底事汝忧愁。
不须更待飞鸢坠，方念平生马少游。
苏氏兄弟，虽然那么友好，但两人天赋气质，全不相同。苏辙才气不如老兄，但没有他那种任性的毛病，也没有他那种浪漫的想头，为人处世，非常踏实，苏辙《栾城集》中《次韵子瞻山村五绝》之一说：
贫贱终身未要羞，山林难处便堪愁。
近来南海波尤恶，未许乘桴自在游。
被老弟浇了一头冷水，苏轼在写给故乡王庆源叔丈信中，记其进退无据的悲哀曰：
某此粗遣，虽有江山风物之美，而新法严密，风波险恶，况味殊不佳。退之所谓“居闲食不足，从官力难任。两事皆害性，一生常苦心”。正此谓矣。
苏辙于熙宁三年（1070）春，从张方平去陈州为学官，至本（六）年春，已届三年任满。时适文彦博罢枢密使，以司徒兼侍中，出判河阳，原拟征辟苏辙为河阳学官，辙亦有谢启愿就，尚未赴任，却为齐州太守李师中邀去济南，为齐州之掌书记。
李师中，原任知秦州军州事，因为屡次上章攻击王韶的西征军，且于调查苏轼贩卖私盐、苏木、瓷器的诬案中，师中拒作伪证，为当道所忌，将他调知登州，现在则自登州移守齐州。
九月，苏辙将赴济南，有《自陈适楚戏题》诗：
庠斋三岁最无功，羞愧宣王禄万钟。
犹欲谈经谁复信，相招执籥便须从。
陈风清净眠真足，齐俗强梁懒不容。
久尔安闲长自怪，此行磨折信天工。
他很谦虚地说：陈州三年无功，不配再做学官，到齐州去做总揽一切的幕僚长，就没有在陈州那么清闲了，但这是天道的报还，不该诧怪。他之所以自待者如此。
熙宁六年（1073）秋，言官罗拯上言，两浙淮南东路灾伤，乞行贷恤。诏赐两路粮三万石。
十月，沈括奉派察访两浙，奏言常润二州，岁旱民饥，欲令本路计合修水利钱粮，募阙食人兴工，从之。赐两浙淮南东路常平米各五万石，付转运使以赈饥民。
漕司奉诏后，即檄杭州通判苏轼赴常润一带放粮，十一月启程，与柳瑾同行。
瑾字子玉，丹徒人，与王安石为进士同年，其子仲远是苏轼族妹小十二娘的夫婿，论辈分，柳子玉是苏轼的姻丈。柳家住在金山，子玉此行，将往监安徽舒州的灵仙观，顺道附载同行。
严冬酷寒，大雪纷飞中，两人至临平镇一个僧舍里，同访隐士陈烈，诗曰：“僧房有宿火，手足渐柔和。”对于一个冲风冒雪的行旅之人，最重要的到底还是一炉炭火。经秀州（嘉兴）而至无锡，登惠山，钱道人以天下第二泉的惠山水烹小龙团茶，来招待这两位远道而至的诗人，然后攀登惠山绝顶，瞭望太湖，“石路萦回九龙脊，水光翻动五湖天”。非常羡慕孙登还能登山长啸，一吐胸中浊气，而苏轼不能。
忙于处理繁杂的赈务，忙于奔波道路，时光过得真快，忽已年尽岁除。这年除夜，苏轼舣舟城外，竟至野宿度岁，非常念家。独自一人睡在船舱里，衾冷如冰，通宵不寐。回想自来杭州，大部分时间，都耗费在道路奔波上，是不是他一生的命运，都将如此漂泊？行歌的哀伤，野哭的凄凉，苏轼今夜，兼而有之，舱中一灯如豆，冻被无温，既然辗转难眠，索性挑灯起坐，成《除夜野宿常州城外》二首：
行歌野哭两堪悲，远火低星渐向微。
病眼不眠非守岁，乡音无伴苦思归。
重衾脚冷知霜重，新沐头轻感发稀。
多谢残灯不嫌客，孤舟一夜许相依。
南来三见岁云徂，直恐终身走道途。
老去怕看新历日，退归拟学旧桃符。
烟花已作青春意，霜雪偏寻病客须。
但把穷愁博长健，不辞最后饮屠苏。
熙宁七年（1074）春，过丹阳，公毕，续赴润江（今镇江），特往藏春坞拜访老名士刁约（景纯），诗酒流连，互相唱酬。面对世情淡薄的老人，轼作赠诗，亦仍不免流露其一腔漂泊无归的感伤，如言：
人间膏火正争光，每到藏春得暂凉。
多事始知田舍好，凶年偏觉野蔬香。
溪山胜画徒能说，来往如梭为底忙。
老去此身无处着，为翁栽插万松冈。
又陪柳瑾同回金山，子玉在家设宴招待这位晚辈。柳家三个外甥，长名闳，字展如；次名辟，都是妹婿仲远之子，面求舅舅的法书，苏轼为他们写了一纸行书，告诉他们道：“字要写得好，单单勤于练习不够，还须读书多。”所谓：“退笔如山未足珍，读书万卷始通神。”这两句话，常被后世论书法艺术者，引为圭臬。
苏轼在金山寺里，与柳瑾共饮，喝得酩酊大醉，睡倒在宝觉法师的禅榻上，半夜醒来，题诗壁上，不说自己酒量不好，却运用俗语骂酒道：“恶酒如恶人，相攻剧刀箭。……我醉都不知，但觉红绿眩。……”将大醉时的感受，写得淋漓尽致。
柳瑾雅兴不浅，要邀八十一岁的刁约来同游金山，同访金山寺的宝觉、圆通二长老，苏轼很羡慕他们养生有术，老而弥健，打趣柳瑾道：“你还算不得老，且看刁丈。”
君年甲子未相逢，难向人前说老翁。
更有方瞳八十一，奋衣矍铄走山中。
苏轼在润州逗留，时已四月，回想去年十一月离杭，时方大雪，今则春光已老，忽忽已过半年，陈襄诗来催他早点回去：“锦袍公子归何晚，独念沟中菜色民。”苏轼何尝不想家，尤其挂念吉祥寺的牡丹，深恐错过花期，《常润道中有怀钱塘寄述古五首》中说：“……谷雨共惊无几日，蜜蜂未许辄先甜。应须火急回征棹，一片辞枝可得粘？”
任务未了，还有许多地方要去，对于这样无休无尽的行役，实在厌倦极了，心里又念着家，托名“代人寄远”，作《少年游》词：
去年相送，余杭门外，飞雪似杨花。今年春尽，杨花似雪，犹不见还家。
对酒卷帘邀明月，风露透窗纱。恰似姮娥怜双燕，分明照、画梁斜。
钱塘令周邠（开祖），是苏轼在杭州同僚中唱和最得的诗友，他将任满赴京，也寄诗来催归一别，轼赠诗曰：“羞归应为负花期，已见成阴结子时。与物寡情怜我老，遣春无恨赖君诗。……”又送其赴京曰：“十年且就三都赋，万户终轻千首诗。天静伤鸿犹戢翼，月明惊鹊未安枝。”写尽诗人的寂寞，行者和送行者，一样是飘泊天涯，身无归着的可怜。
就因为心里充满了许多奔波道路、漂泊无归的感伤，所以一旦身临久已向往的荆溪，这可怜的诗人，就情不自禁地做起梦来了。
至宜兴，苏轼往访同年单锡，同泛荆溪。
宜兴，古称阳羡，本是江南鱼米之乡，境内有三湖九溪，而以荆溪最负盛名。这条溪水源自芜湖，流入海圻，所以又称圻溪。除此以外，它还有个极美的俗名，叫“罨画溪”，据杨慎《丹铅总录》说，画家称杂色的图画叫“罨画”，荆溪两岸风景的多彩多姿，可从这个绝美的溪名中想象得见。
苏轼泛舟溪上，顿觉头脑清明，心情开朗，情不自禁地赞叹道：“一入荆溪，便觉意思豁然！”
十七年前，苏轼登进士第，参与琼林宴时，与同年蒋之奇共席。蒋是宜兴人，对蜀人苏轼盛称他家乡的风土之美，相约将来服官退休后，同到宜兴去卜邻而居，共乐荆溪。苏轼今日始得亲履其地，之奇之言，果然不虚。
荆溪两岸，林木翳茂，溪光山色，明媚照人，都是诗人最好的供养。惠山细腻的黏土，常州晶莹的大米，皆是江南第一的特产。尤其民风纯朴，物价低廉，适合一个寒士于此度其宁静的农庄生活。苏轼距离退休的年龄还很远，但他实在太爱这座江南小城了，遂骋其遥远的想象，预约陈襄将来如到宜兴来访，他一定杀鸡饷客。一刹间，心里充满了一片罨画溪上的田园美梦，诗曰：
惠泉山下土如濡，阳羡溪头米胜珠。
卖剑买牛吾欲老，杀鸡为黍子来无？
地偏不信容高盖，俗俭真堪着腐儒。
莫怪江南苦留滞，经营身计一生迂。
五月始至常州，然后到无锡，到苏州，与曾任御史，为疏劾王安石被排出京，现在提举宫观的刘述（孝叔）相会，同游虎丘，至炎夏六月，才回到杭州交差。这次常润赈饥一役，道路奔波，足足七个多月。
这时候，执政五年多的王安石，已经罢相。
安石专政，使持重的先朝旧臣一个一个消极求去，这样重大的政治变化，即使禁中，也不免震动。而实施新法所发生的不良反应，陆续传入深宫，使皇室中人大为不安。有一天，光献太皇太后曾劝神宗道：
“祖宗法度不宜轻改。吾闻民间甚苦青苗、助役，宜罢之。”
“此以利民，并非苦之。”皇上答道。
“安石确有才学，但是结怨太多，要保全他，不如暂时外放的好。”
“群臣中只有安石能为国家做事。”
其时，神宗之弟岐王颢在侧，进曰：“太后之言，不可不思。”
神宗怒曰：“是我败坏天下吗？你来做好了。”
颢泣曰：“何至于如此呢！”
这次谈话，不欢而散。
外面有许多不好的消息，传到宫里来，光献太皇太后再也忍耐不住。一日，对神宗流涕道：“安石乱天下。”
这次，神宗心里本已动摇，听到劝说，默不作声，却流下泪了。
熙宁六七年间，河东、河北、陕西大饥荒，流亡到京西来的难民，无虑数万。监安上门的小官郑侠（介夫，治平进士），每日见这大批难民逃到京里来，老幼杂沓，拥塞道途，多数人扶病带伤，形容憔悴，身上穿的衣服，鹑衣百结，没有一件完整的，甚至有人以树皮草根为粮，其中更有身披锁械、押解入京的犯人，他们身上还背着家里拆下来的屋瓦和木材，这是他们唯一的财物。悲惨的景况，简直令人不能相信此乃人间光景。
郑侠心生悲悯，就按逐日所见，绘成一幅《流民图》，附以疏状，亲诣閤门，请求代奏。閤门官吏不肯接受，郑侠就谎称是秘急文件，发马递上，奏疏里面说：“陛下征伐外夷，别人所上的都是国家胜强的图录，而没有人画出天下流离失所、饥寒交迫之状进献御前的。此图百不及一，但经圣览，亦可流涕。陛下观臣之图，行臣之言，天如不雨，即乞斩臣宣德门外，以正欺君之罪。”
神宗再三地细看郑侠这张《流民图》，长嘘短叹，郁郁不乐，晚上又把它带进寝宫去，以致整夜都不能成眠。
其时各地久旱成灾，尤以国家财经中心的两浙和淮南东路被灾最为严重。神宗忧形于色，以为新法病民，天已示警，心理开始动摇。安石说：“水旱常数，尧汤所不免。陛下即位以来，累年丰稔，今旱暵（干）虽久，但当益修人事以应之。”
神宗奋然道：“此岂细事，朕所以恐惧者，正为人事有所未修耳。今取免行钱太重，人情咨怨，自近臣以至后族，无不言其害者。”
待看了郑侠的《流民图》，一夜不眠后，神宗下了决心，也不和安石商量，径自下令开封府体放（停收）免行钱，命司农发常平仓救济灾民，命三司查察市易的弊害，停止青苗免役的追索，并罢方田等，一共十有八项。
于是，王安石坐不住相位了，上章乞解机务。神宗虽还挽留，而安石去意已坚，章凡六上，乃以观文殿大学士出知江宁府，并从安石之请，以韩绛代安石为同平章事，吕惠卿为参知政事，时在熙宁七年四月。五月以翰林学士三司使曾布提举市易司。
吕惠卿是个阴狠险毒的真小人，知道神宗对王安石敬信未衰，而韩绛则是个出身世家的标准官僚，乡愿作风。二人登台后，墨守安石成规，不敢少失。当时的人称韩绛为传法沙门，吕惠卿为护法善神。
其实，吕惠卿心里最怕的是王安石东山再起，不久，就挑起安石之弟王安国与李士宁之狱。凡可以陷安石者，无所不用其极。即使是同时并起的老搭档曾布，也因市易发生争执，被他设计排出中枢，落职出知饶州。
苏轼有咏史（王莽、董卓）二诗，周必大《二老堂诗话》曰：陆放翁听王性之说，东坡作《王莽》诗“汉家殊未识经纶，入手功名事事新”，是讥讽安石事事欲求变革的作风；《董卓》诗“只言天下无健者，岂信车中有布乎”，讥安石终遭惠卿、曾布内叛。刺董卓者是其义子吕布，吕合惠卿姓，布合曾子宣之名。