苏轼流放黄州，廪禄皆绝，生活非常艰苦，虽然躬耕东坡，一时也无多少实际帮助，所幸原是寒士出身，居家向来俭朴，倒还经受得了清贫的景况，心里唯一不能坦然的，是这废弃生涯，使珍贵的生命平白归于浪费。
初贬黄州，苏轼尚在盛年——四十五岁，正是一生中的黄金时间，却被放逐到这个文化落后的江城蛮瘴之地来，并无实际官守，每天三餐一宿，余无一事可为。而时间恰如大江之水，滔滔东流，不舍昼夜，不啻是对自己生命的存在，肆意无情的摧残。这种打击，落在热爱生命、满怀抱负的苏轼身上，必然构成最无救助的压迫和痛苦。
初到黄州时，即已感喟：“万事如花不可期，余年似酒那禁泻。”
酒，不是取用不尽的江水，人的寿命，也是有限的，一样禁不得白白流泻。然而，一自平白掉入这个茫茫的虚空，只能眼睁睁数着每天的日升日落，恍如看着自己的生命被一把无形的利剪，一节一节地剪落。他慨叹头上的白发越来越多，时间观念的困扰，成为他最难解脱的悲哀。
第二年（元丰四年，1081）中秋之夜，苏轼对月独酌，节序带来时间消逝的警觉，使他深感胁迫，作《西江月》词：
世事一场大梦，人生几度秋凉。夜来风叶已鸣廊，看取眉头鬓上。
酒贱常愁客少，月明多被云妨。中秋谁与共孤光，把盏凄然北望。
这首词，前半阕哀时间过得太快；“月明多被云妨”，则是悲自己的遭遇。虽然注家说此词是怀念弟弟苏辙之作，然而苏辙在江西，从黄州来说，怎么会凄然北望呢？显然指的是可以发挥他的抱负，可以遂行他理想的“中原”。
唐宋人在一年节令中，最重寒食与重九，这与我们现在特重端午、中秋者不同。苏轼在元丰五年作《寒食雨》二首：
自我来黄州，已过三寒食。
年年欲惜春，春去不容惜。
今年又苦雨，两月秋萧瑟。
卧闻海棠花，泥污燕脂雪。
暗中偷负去，夜半真有力。
何殊病少年，病起头已白。
这首诗，全篇都是生命在时间压迫下的宛转沉吟，一个流落荒城的知识分子，面对节序所产生的无可奈何的伤感。但如我们还记得他曾将蜀卉海棠当作影子来隐喻自己的身世与遭遇，则第四联“卧闻海棠花，泥污燕脂雪”句，就是苏轼身世的穷途之哭了。
贬谪是没有一定期限的惩罚，有人终生不得起复。苏轼惶恐不安，用庄子语比作沉滞痼疾的少年，待到病愈，头都白了，莫非竟一样是如此无可奈何的宿命？
《寒食雨》的次章，更加萧索。如曰：
春江欲入户，雨势来不已。
小屋如渔舟，濛濛水云里。
空庖煮寒菜，破灶烧湿苇。
那知是寒食，但见乌衔纸。
君门深九重，坟墓在万里。
也拟哭途穷，死灰吹不起。
儒家的人生观，以奉事君父为最大的责任，然而苏轼的现况是被摒弃荒远，君主的宫门，深远九重，已经高不可攀，父母的坟墓则又远在万里以外的故乡。
日本汉学家吉川幸次郎非常讶异于苏轼身处这样困厄的境况，而所作《寒食雨》一诗，却表现得如此冲和平静，非常激赏，还引以证明中国文学思想史上，变唐诗之悲观色彩，创出淡泊自然的宋诗风格，应推苏轼为居此乐观思想之主流人物。苏轼乐天知命，心襟超脱，确然不错，然而此诗则十足是穷途的哀鸣，读之令人流泪。（〔日〕吉川幸次郎：《宋诗概说》。）
话虽如此，苏轼并不完全沮丧，仍有足够的勇气面对现实，依从他的兴趣，把时间消磨在读书、著作、写字、作画和黄州近郊各处漫无目的的闲游上。
读书是他自幼养成的习惯，不过好动的他，大抵只在一天中的晚间，才能静下心来，挑灯夜读。据说每夜必要读到鼓打三更方肯就寝，纵然从外面喝得醺醺大醉归家，也仍然要取书来读，读到倦极才睡。
初到黄州，照他自己所说，“专读佛书”，这很明显是为了纾解心理上的压迫，原是一时的现象。佛书不能满足一个淑世精神未死的人，所以后来则以读史为多。历史记述过去的人和事，读来不免印证眼前的现实；印证眼前的现实，就不免“有感”；有感则书生积习难除，他又不免悄悄写下了许多篇短俊的史论。
如王安石有《商鞅诗》：
自古驱民在信诚，一言为重百金轻。
今人未可非商鞅，商鞅能令政必行。
而苏轼却持绝对相反的看法，反对一切用刑赏货利的权术来治理百姓。元丰三年九月读《战国策》，遂有《商君说》之作：
商君之法，使民务本力农，勇于公战，怯于私斗，食足兵强，以成帝业。然其民见刑而不见德，知利而不知义，卒以此亡。
故帝秦者，商君也；亡秦者，亦商君也。其生有南面之福，既足以报其帝秦之功矣；而死有车裂之祸，盖仅足以偿其亡秦之罚。理势自然，无足怪者。
后之君子，有商君之罪而无商君之功，享商君之福而未受其祸者，吾为之惧矣。
这篇犀利的短文，是儒学者的苏轼对法家治术所投出的匕首，有人指为系针对王安石变法失败而发。
现代的历史学者，如陈寅恪、姚从吾等，都认为苏轼是个最具史识的历史哲学者，而最难得的是苏轼即使身陷患难，却仍坚持儒家的政治理想，决不妥协。
苏轼读史，确曾下过坚实的苦功。杨慎（升庵）说，昔人问苏公曰：“公之博学可学乎？”
曰：“可。吾尝读《汉书》矣，盖数过而始尽之，如治道、人物、地理、官制、兵法、货财之类，每一过，专求一事，不待数过，而事事精核。”
古人读书，主要的方法是背诵和抄写。苏轼不但翻来覆去地诵读，且更两遍三遍地抄写。在黄州，他已是年将半百的少老人了，但仍手自抄书不倦。
有个本地朋友（疑是何圣可）介绍黄冈教官朱载上所作诗文，请苏阅评，苏轼对他所写“官闲无一事，蝴蝶飞上阶”这一联句子，非常称赏，于是这朱教官就常常来看他。
一天访苏，门上传帖进去，好久好久不见主人出来，朱载上等得不耐，几乎想要走了，才见苏轼一路走来，一路连声道歉，赧然道：“适才了些日课，失于探知驾到。”朱君就问：“先生适来所谓日课者是什么？”
“抄《汉书》。”
“以先生大才，开卷一览，自可终生不忘，何用手抄？”
“不然，”轼答，“我读《汉书》，至今已经抄过三遍。第一次每段事抄三字为题，第二次两字为题，现在只用一字。”
朱载上肃然离席，向主人请求道：“不知先生所抄的书，肯让我见识见识否？”
苏轼便命老兵去内室取来。朱君翻看，茫然不解其意。苏轼便说：“足下试举题上一字。”
朱载上如言举某段题上一字，苏轼即应声背诵数百言，无一字差误。朱君为之惊叹不已。（〔宋〕陈鹄：《耆旧续闻》。）
读书写作，既是自幼养成的习惯，一朝被迫非得焚笔弃砚不可，这所产生的痛苦，与不准音乐家演奏，禁止辩士讲话，一样难堪。苏轼在万不得已的自我约束之下，“封笔”了一段时期，渐渐觉得虽然人在闲废，也不能不做些有益于世的事情，拣现在能做的——“穷则著书”，是学人的通例，于是考虑到自己来写一部讲解《论语》的书，实现他父亲未完成的遗志，编写一部《易传》的集稿——超现实的解经工作，应是不会惹是非的，他定然这样着想。
宋人有解说《论语》的风气，见于《文献通考》的书目，即有三十余种之多。王安石也作过《论语解》，他的儿子王雱口义，苏轼似乎读过，一向不大佩服他们的释义。又记得苏辙少时，曾经写过一些疏解《论语》的摘记稿，便托人去向他取来，加以取舍，写成了《论语说》，自述为五卷（《上文潞公书》），但《宋志》作四卷，《文献通考》作十卷，书已失传，不知孰是。《通考》将它与苏辙所著《颍滨论语拾遗》并列。颍滨书自序，记述他后作《拾遗》的始末缘由，有言：
余少为《论语略解》，子瞻谪居黄州，为《论语说》，尽取以往，今见于书十二三也。大观丁亥（宋徽宗大观元年，1107），闲居颍川，为孙籀、简、筠讲《论语》，子瞻之说意有未安，时为籀等言，凡二十七章，谓之《论语拾遗》，恨不得质之子瞻也。
据此，苏轼的《论语说》，采用苏辙少作者居十之二三，十之七八还是他自己的见解，但是兄弟所见，并不尽同，可惜此书今已失传，只能从苏辙的《颍滨论语拾遗》中，约略窥见一二。
《四库全书总目》说：眉山之学，杂出二氏，如说“思无邪”为“无思”，“不逾距”为“无心”，颇涉禅理；解释“苟志于仁矣，无恶也”，认为是“有爱而无恶”，亦即佛家冤亲平等之意；以“朝闻道，夕死可矣”，解为“虽死而不乱”，去来自如之意。虽然这些解释均是苏辙《拾遗》书中所见，但我们如想到苏轼著《论语说》时，正在他寝馈佛书、欲穷禅理的热狂时期，则不难明白苏辙书中保留着苏轼所说的成分或兄弟共同见解的地方，一定很多。
《论语说》脱稿于元丰四年（1081）的冬季，真正写作的时间，不会超过一年。苏轼的写作态度非常认真，而且有点自负，如见于其时《致滕达道书》中者可见：
专治经书，一二年间恐了得《论语》《书》《易》。……颇正古今之误，粗有益于世，瞑目无憾也。
苏轼诗狱案内，元老文彦博也被牵累在内，遭到罚铜处分。苏轼于事平到达谪所后，曾经上书潞公致意，难得文潞公不避时忌，立刻回了信，对他劝慰有加，空谷跫音，使苏轼非常感激。《论语说》写成后，由于过去那场痛苦的经验，觉得此身漂泊，不见得能够善自保存这份原稿，特地装订成册，寄请潞公代为保藏，时在元丰五年（1082）四月：
……轼始得罪，仓皇出狱，死生未分，六亲不相保。然私心所念，不暇及他。但顾平生所存，名义至重，不知今日所犯，为已见绝于圣贤，不得复为君子乎？抑虽有罪不可赦，而犹可改也。伏念五六日，至于旬余，终莫能决，辄得强颜忍耻，饰鄙陋之词，道畴昔之眷，以卜于左右。遽辱还答，恩礼有加。岂非察其无他，而恕其不及，亦如圣天子所以贷而不杀之意乎？
到黄州无所用心，辄复覃思于《易》《论语》，端居深念，若有所得，遂因先子之学，作《易传》九卷，又以自意作《论语说》五卷。穷苦多难，寿命不可期。恐此书一旦复沦没不传，意欲写数本留人间。念新以文字得罪，人必以为凶衰不祥之书，莫肯收藏。又自非一代伟人，不足托以必传者，莫若献之明公。而《易传》文多，未有力装写。独致《论语说》五卷，公退闲暇，一为读之。就使无取，亦足见其穷不忘道，老而能学也。
苏轼续写的第二部书是《易传》九卷。《易》，是苏氏家学。老苏（洵）晚年专心治《易》，研究爻象，用力甚勤，对于爻象中刚柔远近、喜怒顺逆之情，其中互相牵连、影响的道理，颇有心得。苏轼早年赴官凤翔，苏辙因为制科考试中所作策论引起朝廷争论，留在京师侍父，苏轼寄诗中，已有“策曾忤世人嫌汝，易可忘忧家有师”那样的句子，其时老苏正要起手作《易传》，可惜没来得及成书，便已病重，遗命轼、辙二人继承遗志，续成这部著作。当年，两兄弟分在异地做官，无暇著述，直到苏轼贬谪黄州，有空来重理父亲的旧业时，苏辙才把早年所作的一些摘记资料送过来，由苏轼总其大成，重新编写，据苏籀的《栾城遗言》说，轼书中蒙卦部分，完全采用苏辙的解说。所以这部《易传》，名为苏轼所撰，实乃父子兄弟集体之作。
这部《易传》，在黄州未曾完稿，成书迟至十八年后谪迁海南时方始写定。苏轼说“易可忘忧”，但以他写《易传》的时地而论，却地地道道地是一部忧患之书。
此书《四库全书》据明焦竑本收入经部易类二，提要谓：
推阐理势，言简意明，往往足以达难显之情，而深得曲譬之旨。盖大体近于王弼，而弼之说惟畅玄风，轼之说多切人事。其文辞博辩，足资启发。
在任何方面，苏轼从不蹈袭窠臼，必欲突破前人，表现自己的创意，即使说经之作，与古来经生之言，也完全不同面目。苏轼决不道貌岸然，故作神秘，所作《易传》，遂能不拘泥于陈言，不假借于玄说，杂用禅理、诸子之意，加上诗人丰富的想象力，以绝顶的文字技巧和快如流水的辩才，如他诗文中常见的譬喻能力，作成这部文学的经传，清新明朗，别具一格。虽被坚守门户成见的朱熹讥为杂学，但如以现代眼光来看，打开易学研究境界，使易学丰富起来的是他；突破玄说，将易学切近人事的也是他。古人治学最不易见之创新的学术勇气，于苏轼此书，可以见得。他唯一遗憾的是“自恨不懂数学”，担心所言不免肤浅。（邵博《闻见后录》：“晁以道为余言。尝亲问东坡曰：‘先生《易传》，当传万世。’曰：‘尚恨某不知数学耳。’”）
苏轼在黄州的书斋生活中，除了读书、写作外，对于写字、作画，更有浓厚的兴趣。谪居多暇，时寻临池之乐。这期间不但远近朋友求他法书的，比较容易得到，而且常常以自己得意的习作主动送给要好的朋友。现在留传于世的东坡书法，也以黄州所作为多。
苏轼喜欢作画绘画，以前苦于没有充裕的时间，所作不多。初写寒竹丛篠，如文同一样，题材局限于竹，现在，也许是受了当时寒林画风行的影响，他在单调的竹画里，参合怪石、枯木等等，独成竹木、竹石这个创新的画境，在中国画史上，别成一个门类。
黄州附近的朋友，“近水楼台先得月”，求取最易。第一个令人羡慕的，是王齐愈的儿子禹锡，苏轼称他为王十六秀才者，酷爱苏书，年轻人没有顾忌，可以随时乞取，三年间居然蓄藏苏书帙高“两牛腰”之多。他要到京师进太学读书时，重得无法带走。只好牢固锁藏在家，真是极大的幸运。（本集：《书赠王十六秀才》。）
苏轼与王巩书说：“君数书，笔法渐逼近晋人，吾笔法亦少进耶！画不能皆好，醉后画得一二十纸中，时有一纸可观，然多为人持去，于君岂复有爱？但率急画不成也。今后当有醉笔嘉者，聚之，以须的信寄去。”苏轼偶有得意之作，自己也非常高兴，立即寄给他的好朋友。
如与章质夫（楶）书：“近者百事废懒，惟作墨木颇精。奉寄一纸，思我当一展观也。”又云：“本只作墨木，余兴未已，更作竹石一纸同往，前者未有此体也。”又鄂州朱寿昌与苏轼交谊甚深，致书有“数日前饮醉后作顽石乱篠一纸，私甚惜之。念公笃好，故以奉献”，这又是一张创格的竹石图。
有一天，苏轼渡刘郎洑，在王齐愈家的达轩，喝醉了酒，画了几张竹，有人评说：“何以竹身都那么清瘦？”他作《定风波》词代答：“人画竹身肥拥肿。何用？先生落笔胜萧郎。记得小轩岑寂夜。廊下，月和疏影上东墙。”原来苏轼对着月下竹影写生，故得修竹挺拔的精神。
正当苏轼非常热衷于写字作画时，有一年轻的书画天才到黄州来专诚访他，那是襄阳米芾。
米芾，字元章，眉宇轩昂，英迈不群，当时还只三十二岁，但在翰墨场中，却已崭露头角。平生傲骨天成，不能随人俯仰，人格上也颇有“洁癖”。元丰五年他从湖南到金陵去见过王安石后，又经马梦得介绍，三月间到黄州来见苏轼。虽然当时还是个默默无闻的后辈，但他面对一个退职的宰相，一个名满天下的文宗，却“皆不执弟子礼，特敬前辈而已”。自视之高，于此可见。
苏轼和他一见如故，不但晤言欢洽，尤其欣赏这位青年人不凡的才调，立即招待他在雪堂住了下来。
他们两个一老一少的同道，在雪堂热烈讨论书画艺术和诗道。苏轼将家藏吴道子画释迦佛真迹也拿出来给他的客人鉴赏。这幅画，苏轼初见于长安陈汉卿家，至出守徐州时，才得之于鲜于子骏，现在什袭珍藏，是他家少有的长物之一。元章晚年作《画史》，还从回忆中记述他的观后印象：
苏轼子瞻家收吴道子画佛及侍者、志公十余人，破碎甚，而当面一手，精彩动人，点不加墨，口浅深晕成，故最如活。
行家读画，精鉴独到，值得一记。
苏轼和他喝酒，酒酣，特地检出一张“观音纸”来叫米芾贴在壁上，自己则濡笔弄墨，然后面壁而立，悬肘作画。画了两枝竹，一株枯树，一块怪石，赠与元章，是为订交之始。
米芾看苏轼画竹，一笔从地起直至竹杪，似与常法自顶至地，先竿后节的画法不同，忍不住，便问道：“何不逐节分？”
“竹生时，何尝逐节生！”轼答。
米芾钦佩他“运思清拔”，实也就是“外师造化，内发心源”的具体说明。元章更欣赏苏轼的枯木、怪石。认为“子瞻作枯木，枝干虬屈无端，石皴硬，亦怪怪奇奇无端，如其胸中盘郁也”。
重叠两个“无端”，点出苏轼胸中纵横磅礴的郁勃之气，真是极顶聪明人的好眼光、好言语。（〔宋〕米芾：《画史》。）