元丰三年（1080年），苏轼被贬黄州。元丰六年（1083年）3月，张怀民也被贬黄州，初时寓居承天寺（今
湖北省黄冈县南方）。
元丰六年（1083年）10月12日（农历）夜，张怀民和苏轼夜游承天寺，苏轼写下了《记承天寺夜游》：“元丰六年十月十二日夜，解衣欲睡，月色入户，欣然起行。念无与为乐者，遂至承天寺寻张怀民。怀民亦未寝，相与步于中庭。庭下如积水空明，水中藻、荇交横，盖竹柏影也。何夜无月？何处无竹柏？但少闲人如吾两人耳。”
元丰六年（1083年）11月，为览观江流，在住所西南建造了一座亭子，苏轼替它取名为“快哉亭”，并写下了《水调歌头·黄州快哉亭赠张偓佺》：“落日绣帘卷，亭下水连空。知君为我新作，窗户湿青红。长记平山堂上，欹枕江南烟雨，杳杳没孤鸿。认得醉翁语，山色有无中。一千顷，都镜净，倒碧峰。忽然浪起，掀舞一叶白头翁。堪笑兰台公子，未解庄生天籁，刚道有雌雄。一点浩然气，千里快哉风。”苏轼的弟弟苏辙也写下了《黄州快哉亭记》：“江出西陵，始得平地，其流奔放肆大。南合沅、湘 ，北合汉沔，其势益张。至于赤壁之下，波流浸灌，与海相若。清河张君梦得谪居齐安，即其庐之西南为亭，以览观江流之胜，而余兄子瞻名之曰‘快哉’……”
苏辙《黄州快哉亭记》：“今张君不以谪为患，窃会计之余功，而自放山水之间，此其中宜有以过人者。将蓬户瓮牖无所不快；而况乎濯长江之清流，揖西山之白云 ，穷耳目之胜以自适也哉！不然，连山绝壑，长林古木，振之以清风，照之以明月，此皆骚人思士之所以悲伤憔悴而不能胜者，乌睹其为快也哉！”