约生于宋
咸淳四年或五年（1267年或1268年），其父阴应梦是游十年的
进士，做过朝廷官员，后因南宋朝政日益腐败，奸臣
贾似道专权，便辞官带着家眷回到家乡，在家乡建造了一座规模宏伟的聚德楼，从此以读书自娱。阴幼遇从小聪颖好学，才智过人，8岁便考中了九经童科。也就在阴幼遇考中九经童科的二、三年后，南宋为元所灭。或许是为了表明他们家族忠于宋室，从此，阴幼遇一家人中再也没有谁出去应考或做官了。阴幼遇平时没有事，喜欢待在聚德楼的书房里翻阅藏书，一天，他在翻阅前人留下的有关音韵方面的著述时，觉得这些著述都不太全面，便萌发了编一部比较齐全的“音韵”类书的念头。阴幼遇在父亲的指导下，孜孜不倦地干了整整30年，终于完成了这部书的编纂工作。全书共二十卷，上涉群经，下包诸子。书编成后，阴幼遇的三哥阴幼达认为书中搜集的典故，并不是每个读书人都能一看就懂的，于是便又给书随字注释，以备观鉴。这样，这部类书就更齐全和完整了，题名为《
韵府群玉》。