嘉靖二十九年（1550），诏选天下端行善书者，他以第5名中选，授中书舍人。隆庆初以修国史有功，擢大理寺评事。与兄
顾从礼创议筑
上海城墙（今
上海古城墙）。他
学识渊博，精于鉴别书画及碑帖。工书法、善绘画，是闻名吴越间的风雅之士，为
王世贞、
文徵明等所器重。家有“露香园”，擅水竹花石之胜。
精鉴赏，喜藏书，性好收藏石艺，建有“研山斋”。其所藏名家书画、金石鼎彝、古砚甚丰。尤爱法帖，家藏有宋拓本《淳化阁帖》，请文徵明父子摹刻，刊印有《顾氏淳化阁帖》10卷，“摹刻精审，字画差肥”，为当今收藏中的珍善之本；并手摹古帖多种，刻之于石，如《柳诚悬兰亭》、《玉泓馆兰亭》、《
十七帖》、《右军兰馨帖》，曾向潘允亮借用南宋
贾似道藏本《淳化阁帖》，摹刻《上海本
淳化阁帖》。顾从义得宋宣和内府所藏紫玉泓砚，遂在肇嘉浜南祖传南溪草堂筑“玉泓馆”藏此砚。他购得宋
米元章(
米芾)砚山，遂自号研山山人(一作砚山山人)。以藏名画、法帖、古书、金石书画，富甲东南。所藏名迹甚丰，时人比作项墨林“天籁阁”，如藏有晋顾恺之《女史箴图》、宋李公麟《潇湘图》等。后大半归入清宫。《女史箴图》于八国联军之战中被掠，今藏英国伦敦博物馆。兄顾从德、顾从礼均为藏书之家。兄弟共撰有《芙蓉庄书目》1册，一说为顾从义单独所撰。自编自刻有《历代帝王
法帖释文考异》10卷。著有《法帖释文考异》10卷，其中淳化阁帖释文，对前人音注辨其伪谬，析其同异，为
金石家所重视。著有《阁帖释文考异》、《研山山人诗稿》、《荆溪唱和集》等。