詹姆斯·格雷出生在美国纽约的一个俄罗斯的犹太移民家庭。由于他的父母担心他在美国受到歧视，所以给他取了“格雷”这个英国化的名字。他的少年时代在纽约的皇后区长大，自小对纽约底层人物生活和黑帮明争暗斗耳濡目染。他从青少年时期开始接触大量电影，这也促使他决定全身心投入电影事业。高中毕业后，他便进入南加州大学电影艺术学院学习电影专业。
2008年，执导由
杰昆·菲尼克斯、
格温妮丝·帕特洛、
凡妮莎·肖合作主演的剧情片《
两个情人》，讲述了单身汉莱昂纳德在桑德拉与米歇尔这两个女人之间徘徊，并且难以抉择感情归属的故事，获得
第61届戛纳国际电影节金棕榈奖提名，他凭借该片获得
第25届独立精神奖最佳导演奖提名。2009年，担任
第62届戛纳国际电影节评委会成员。
2013年，执导由
玛丽昂·歌迪亚、
杰昆·菲尼克斯、
杰瑞米·雷纳联合主演的剧情片《
移民》，讲述了一个因为极度贫穷被迫进行性交易波兰女子在美国纽约坚强生存的故事，该片获得
第66届戛纳国际电影节金棕榈奖提名；同年，担任第8届
罗马国际电影节评审团主席。2014年，担任电视连续剧《
红番血路》的编剧。
2016年，执导根据美国作家大卫·格恩的同名小说改编的剧情传记片《
迷失Z城》，该片由
查理·汉纳姆、
罗伯特·帕丁森、
西耶娜·米勒合作主演。
他的祖父母是来自俄罗斯的犹太移民，曾生活在前苏联的乌克兰，在20世纪20年代的内战中，他的曾祖父被哥萨克军人杀害，导致他的全家不得不移民美国。他的父亲是一名教师，不仅开过公司，还参与过组建纽约地铁工程的承包公司，后来因为大承包商的垄断而倒闭。
詹姆斯·格雷执导的作品大多数以美国纽约犹太家庭为核心，展现那些“美国梦”中的失败者，剖析美国作为多元族裔社会遇到的种种问题。他一方面强调离散族裔的个体为了融入美国社会付出的巨大牺牲，一方面强调了家庭观念在消化个体与个体、个体与社会的冲突过程中占有不可替代的地位。他比较注重故事的戏剧性冲突和电影的形式感 ，尽管他的电影节奏缓慢，不像商业电影给观众带来强烈的感官满足，但他继承了“新好莱坞电影”一代导演的“审慎的浪漫主义”，并吸收了欧洲电影的一些特色。他的电影同样具备侦探、悬疑和黑色电影的元素，观众靠近他的“失败者群像”，就会发现他的电影通过个体的失败，在更深层次上肯定了家庭、家族的重要性。从总体上他不仅表达了美国价值观中的保守主义，还强调了个体的失败与牺牲，同样他也体现出某些反复出现的主题和美学特征。（《当代电影》评）