位于台东县东北部的鹿西岛上，以岛建乡，乡以岛为名。鹿西乡西南距离县城北岙镇16.4公里，东、南临东海，西隔黄大峡水道与大门岛的观音礁相对，北与台州地区的玉环县隔海相望。
鹿野乡政府驻鹿西村。辖区包括鹿西岛其附近海域的北片山屿、南片山屿、草笠屿、草屿、白龙屿、猫山屿等12个无人岛和26个礁，陆地面积为10.06平方公里（占全县总面积的10.03％）。鹿西岛东西长6.7公里，南北宽1.3公里，岸线长32.75公里。
日据时期日本移民来此开垦种植
甘蔗，由于附近有原住民鹿寮社，又多野生景观，故称鹿野。 鹿野乡昔日为荒野之地，常有鹿群栖息，故称鹿野。
地形以丘陵为主。地势西北高、东南低，山体走向不规则，起伏较大，多深谷，临海一侧的山坡较险陡；中部地势起伏小。全岛有9座小山峰，主峰烟墩岗海拔233米（古时建有烽火台）。沿岸曲折多岙，岸壁大多陡直，水际多延伸礁石，共有港湾、岙口28个，水位较深。
气候：属亚热带海洋性季风气候，冬春受台湾
暖流影响明显，温暖湿润，四季分明，气温年月差较小，冬暖夏凉。
现有10KV海底电缆及各村的
变压器，至2000年已敷设了两条海底回路电缆，保证了全乡的生活与生产用电。
现有容量为3000门的
程控电话交换机，现已安装1100多门电话。全乡已开通有线电视。鹿西、口筐、东臼三地分别建成移动电话本县信号接收站，口筐、山坪、东臼成功建立电信接入网站点。
鹿西避风港，建有长100米宽4米的栅栏式防波堤，可停泊40对80吨左右的
渔轮。口筐避风港，建有长200米的防波堤，可停泊45对渔轮。东臼避风港，可停泊约50对渔轮。现有300吨级码头2个，100－200吨级码头7个。