华阴史志记载，杨素故居在华阴共有三处，一处在县城东南八里，即今观北乡政府附近，称南宅。史志记其宅畔有文明池、清华观；一处在县城东北，具体宅址无考，称北宅；另一处称杨仆射山斋。从杨素留下的诗文推测，斋址在今黄甫峪内。山斋四周环山，朝夕风云相竟。河畔树木茂密，浓荫蔽天。房前屋后青竹婆娑，幽兰放香，落花入户，绿草盈阶，风景非常优美。而且时有道流羽客从门前经过，更为这一方幽静清雅的山宅增添了几分仙气和超尘脱凡之感。
杨素，字处道，隋大臣，杨震十五代孙。初仕北周武帝，官司城大夫等职。后辅佐隋文帝
杨坚，曾自四川率水军伐陈国，镇压荆州及江南各地士族反隋势力，因功升任尚书左仆射，执掌朝政，以智谋自立。与杨广交厚，参与宫廷阴谋，废太子勇，杀隋文帝，拥杨广称帝，后官拜司徒、楚国公，权倾天下。
据史书记载，杨素贵宠甚盛，受朝廷封赏之多，时朝臣无一能与之匹敌。素本人也贪图财货，营求产业，在东京、西京多建宅院，且建筑侈丽，甚至朝毁夕复，营缮无巳，全国所有都市及山水名胜之地都有他所置的田地和庄园别墅。尽管在任期间，杨素很少光顾故土，但华阴却有他的数处宅院。