因宝石的主要化学成分而引起的颜色，称为自色，这些颜色通常是相对恒定，如
菱锰矿，总是呈红色——粉红色，孔雀石总呈绿色，蓝铜矿总呈蓝色。
宝石中的主要化学成分不产生特征的颜色，宝石因所含杂质元素而引起的颜色，称为他色。他色宝石纯净时，为无色（透明）或白色（不透明），当混入其它元素时，呈现各种不同的颜色。如刚玉，纯净时是无色的，当有微量的铬代替铝时就呈红色（红宝石），当含铁和钛时，则呈蓝色（蓝宝石）。
假色是由于宝石内部存在一些细小的平行排列的包裹体、出溶片晶、平行解理等特殊结构，与光发生物理光学效应产生的颜色，如晕彩、锖色、变彩等。月光石表面的蓝色晕彩，欧泊的变彩等均为假色。