西山是硖石“二山夹一水”独特城市景观的重要组成部分，具有丰富的人文景观和浓厚的神话色彩。园内共有大小景点二十余处，琉璃飞檐、雕梁画栋的白鹤亭、三角亭、雏凤亭、和平亭、半边亭掩映于绿荫深处。义士亭、九曲长廊、曲径通幽、人仙境游、烟霞洞、八仙台等景点点缀于山间。西山山顶的
紫薇阁，是海宁市标志性建筑，整个建筑极具文化气息和旅游观赏价值。这里还有近代著名诗人
徐志摩墓，墓是八十年代中期重建，墓碑则是旧墓上的遗存，人为破坏的痕迹，也依稀可见，位于白水泉畔万石窝。
寺前有唐代咸通十五年（874年）所建的两座石经幢，距今已有一千多年历史，现为省级
文物保护单位。今西山已辟为
公园。山上有紫薇阁。白水泉畔有近代著名诗人
徐志摩与艺术家
钱君陶之墓。南麓有
张宗祥故居及
徐邦达艺术馆，西麓有
海宁市博物馆与
钱君陶艺术研究馆。
西山又名紫微山。因位于海宁市治硖石之西，与东山（沈山）并峙，故名。山高46米，景色宜人。明初诗人
贝琼（清江）曾誉为“海昌第一峰”。或云：西山古为硖石山，嘉庆重修《
一统志》及顾祖禹《
读史方舆纪要》均持此说，称：“硖石山，即紫微山也。”而据明赵维寰《宁志备考》、清代
范骧《海宁县志略》及周广业《宁志余闻》等地方典藉考证，则认为硖石山是西山与东山的合称。据旧志云：“峡石本两山相连，相传秦始皇时凿开，遂分为东，西二山。”似以后说为是。
紫微之名，相传得自唐代著名诗人
白居易。明万历《
杭州府志》云：“唐中书舍人白居易登此山，望硖石湖。中书本紫微省，因名。”旧时其地有白刺史祠，并有碑刻。明代孙一元咏《紫微山》诗中亦有“白傅断碑樵斧砺”之句。明刻本《杭州府志胜》（残本）中称：“审山之西为紫微山，旧名硖石山，与
赞山相对。唐中书省白居易尝登此山望硖石湖。后人以中书为紫微省，因改今名。”又据南宋《咸淳临安志》及明赵维寰《宁志备考》所载：“旧志：唐紫微舍人
刘禹锡作刺史时，行县至是山，望硖石湖，因名。今半山有碑，镌‘紫微山’三字（按禹锡未尝为杭州刺史，惟白居易、裴夷直自中书舍人出守。旧志误也）。”邑人王国维在其《乾隆通志考异残稿》中亦认为，言刘禹锡为杭州刺史之说有误。清王德浩《
硖川续志》还载有“唐长庆三年（823年）白居易刺杭，秋八月登山望硖石湖，作诗勒石”之说，不知引自何书。此外，对这山名的来历也有其他解释，如元代范椁《宋宣抚使沈正传》中云：“紫薇俗称西山，盖取夷齐之义。”实则诸说皆有待进一步作深入考证。
据清末民初之《
海宁州志稿》记载：“光绪十一年乙酉冬十二月（1886年初），硖石紫微山下吴伯钦家“颐园”中，凿池得碑，镌曰：《唐故吴郡朱府君墓志铭》，铭文中有：‘公讳阳，字正中……今为杭州盐官县人也……以永贞元年（805年）殁于此邑长平乡之私第……其年十月廿日，窆于此乡紫微山建茔’。”据此，则可知紫微山之名，在旧传白居易来此之前，已早有之，可正旧志之误。
据明末董谷的《碧里杂存》记载，明代“正德甲戌（1514年），硖石沈祏于紫薇山土中得异石无数，如斧钺者、圭璧者、方者、圆者、短而长者……各有圆窍……见者珍之，皆以为霹雳砧而藏之”，说明早在新石器时代，这里已有先民定居。西山原有白水泉、紫微洞、烟霞洞，八仙台、葛洪丹井等不少胜迹。自唐代白居易、章孝标以来。并有不少骚人墨客题咏。由于年深月久，部分名迹已湮没无闻。位于西山南麓的
惠力寺，始建于东晋宁康年间（373—375年），相传为东晋尚书张延光舍宅所建。西山在宋时亦称惠力寺山，即以此寺得名。