枯山水庭园是源于日本本土的缩微式园林景观，多见于小巧、静谧、深邃的禅宗寺院。在其特有的环境气氛中，细细耙制的白砂石铺地、叠放有致的几尊石组，就能对人的心境产生神奇的力量。它同音乐、绘画、文学一样，可表达深沉的哲理，而其中的许多理念便来自禅宗道义，这也与古代大陆文化的传入息息相关。

早在平安时代的造园专著《作庭记》中写到：“ 在没有池子、没有用水的地方安置石子、白砂造成枯山水。枯山水庭园以石头、白砂、苔藓为主要材料。用白砂和形状各异、大小不等的石头来组合大自然。所谓枯山水就是用石头、石子造成偏僻的山庄 、缓慢起伏的山峦，或造成山中村落等形象。”其中，所提及到的枯山水庭园并非通常所指的那种以砂代水，以石代岛的枯山水，而仅仅指无水之庭。不过那时的“枯山水”可以说具备了后世枯山水的雏形。

历史上真正的枯山水庭园起源于镰仓时代，但在室町时代达到了极至。日本室町时期的朝廷贵族、禅宗僧侣是当时社会上层人物，贵族们在自己的居住地里为享乐造起庭院，禅宗僧侣们为建造修身的场所造起了庭园，开始通过置于空地的石块来表达山岛之意象。这一时期诞生的著名的京都龙安寺庭园则是枯山水庭园的代表之作。

公元538年的时候，日本开始接受佛教，并派一些学生和工匠到古代中国，学习内陆艺术文化。

平安时代（794年－1192年）-镰仓时代（1192年－1333年）、中国唐朝（618年－907年）水墨画传入日本。

平安时代末期，世界第一部园林典籍《作庭记》中首次记录了枯山水。

镰仓时代末期，与禅宗相应的以追求自然意义和佛教意义的写意园林发展固定为枯山水形式。

南北朝（1333年－1392年）时代，枯山水的实践时期，一般与真山水（池泉部分）同存于一个园林中，以真山水为主体，枯山水为辅。

室町时代（1393年－1573年），枯山水逐渐从寺社园林走入武家和皇家园林，并逐步与真山水分离开来。枯山水的颠峰时期，出现了枯山水的双璧大德寺和龙安寺。

桃山时代（1573年－1603年），以茶道宗匠千利休所创立的草庵风茶室为代表的日式茶庭兴起。

江户时代（1603年－1867年），多以小型枯山水为主，以枯山水、真山水和茶庭相互融合园林形式出现。

深受禅宗（源于佛教）思想和佛教文化影响下产生的日本园林就是体现其文化的结晶，庭园是社会文化发展的产物。其中，日本枯山水庭园是在禅宗的影响下首先在寺庙里建成，是禅宗思想的集成。禅宗主张通过个体的直觉与沉思、感性与感悟达到精神上的自由。

日本室町时期禅宗兴盛，在寺庙里造园也极力营造禅的环境。枯寂寄托于山水，把岩石当作岛屿、山峦，把犁出的白沙纹当作水来建造的庭园便是枯山水。有限的空间里所布置的石、沙、苔不会随着时间的变化而改变，也就达到了一个自然永恒的境界。

京都龙安寺庭园在历史上称之为禅宗庭园的代表，闻名于世界，是日本独具特色的庭院代表。凝聚禅思想的龙安寺石庭（又称枯山水）位于寺院的方丈殿南面，15 块岩石被分为五个的石组，石组周围由好似汪洋的白砂衬托着。园中没有花木，只有石头上的苔藓。在枯山水中山石象征岛屿或瀑布等；白砂象征川水或大海。对自然的石沙没有一点雕琢，保持着自然形态。这一枯山水里表现出的简约、空无与枯寂是禅宗的思想境界。静静地坐观龙安寺，人们可以将内心杂念依托于石庭展开遐想，最终达到精神超脱，变得平静的境界，这就是禅所追求的思想境界。

江户时期，日本庭园中出现了以低矮灌木为主景的修剪式枯山水，其中，以17世纪滋贺县的大池寺庭园为代表作。它将杜鹃灌木丛修剪为几何形体，象征一艘船在波浪中航行，从而展现了一幅禅宗海景图。

同样位于京都的东福寺方丈北庭是日本昭和时代的枯山水庭园。它虽然建于20世纪二、三十年代，却仍然遵循古代的禅宗法则。其最具特色的是，这一庭园中，由苔藓和石块构成棋盘似的小方块，宛如退潮时海岸边的泡沫。它以一条曲线收边，边缘处种以成片的低矮灌木丛，配上星星点点静静开放的杜鹃花，给宁静的庭园添了几分生气。

15世纪建于京都龙安寺的枯山水庭园是日本最有名的园林精品。它占地呈矩形，面积仅330平方米，庭园地形平坦，由15尊大小不一之石及大片灰色细卵石铺地所构成。石以二、三或五为一组，共分五组，石组以苔镶边，往外即是耙制而成的同心波纹。同心波纹可喻雨水溅落池中或鱼儿出水。看是白砂、绿苔、褐石，但三者均非纯色，从此物的色系深浅变化中可找到与彼物的交相调谐之处。而砂石的细小与主石的粗犷、植物的软与石的硬、卧石与立石的不同形态等，又往往于对比中显其呼应。因其属眺望园，故除耙制细石之人以外，无人可以迈进此园。而各方游客则会坐在庭园边的深色走廊上，有时会滞留数小时，以在砂、石的形式之外思索龙安寺布道者的深刻涵义。