马歇尔出生于英国柴郡(Cheshire)的小城彻斯特（Chester）。 早年就读于达利奇学院和剑桥国王学院。

1876年，马歇尔出生于英国柴郡(Cheshire)的小城彻斯特（Chester）。　早年就读于达利奇学院和剑桥大学国王学院。

1898—1901年在雅典英国学校学习，并参加了希腊、克里特岛（Crete）和土耳其等地的考古发掘工作，成为了一个大有可为的学者。

1902年，得到大英博物馆的推荐，年轻的马歇尔被英属印度总督乔治·纳撒尼尔·寇松（George Nathaniel Curzon）（1899-1905）任命为印度考古总监。他将现代化的方法运用于对印巴大陆的考古实践中，包括对古代遗迹、遗物的科学记录与保护。同时，马歇尔征募当地人为考古局工作，使印度人第一次能够在自己的国土上参加考古发掘；又设立奖学金和训练计划，改组了印度考古局的机构，并将其活动范围大为扩充。起先，马歇尔的主要工作是保护和保存矗立的印度寺庙、雕塑、绘画以及其它古代遗存，其中许多已经被长期忽视并且受到侵蚀。在他积极不懈的努力下，英属印度区域内的古建筑都逐步得到了保护。除文物保护外，马歇尔还主持了庞大的发掘计划。他非常重视古代犍陀罗地区(Gandhāra，今巴基斯坦境内)，尤其重视该地区的重要城市塔克西拉(Taxila，怛叉始罗)。

1912—1919年，约翰·马歇尔主持了对桑奇大塔遗迹的全面修复，并出版了《桑奇指南》。　1913—1934年，约翰·马歇尔在呾叉始罗的发掘尤其令人瞩目。出土了大量的佛教造像、首饰及家庭器皿，使古代日常生活景象得以宛然重现。其后发掘又持续了近20年。

1914年，受封为爵士，并获得多种荣誉称号、奖项。

1918年，为塔克西拉博物馆奠基。该馆收藏有大量的艺术品，并拥有马歇尔仅存少数肖像中的一件（one of Marshall's very few portraits）。

1922年，马歇尔亲自领导了对摩亨佐达罗遗址的发掘。系统的考古发掘全面铺开不久，马歇尔就欣喜地发现他脚下是一个足以让他扬名百世的宝地。

1924年9月，在经过认真研究之后，他向外界宣布，这是一个久远的未知年代的人们所创造的高水平的文明，“没有理由认为，这一地区的文化是从其他地区传人的”。

后来，历史证明了他判断的正确。经过印度考古局对包括两地在内的相关遗址的发掘，发现了约公元前2600—公元前1900年间存在于巴基斯坦大部、印度和阿富汗小部地区的一种文化。从那时开始的半个多世纪以来，在印度河流域的发掘工作一直没有停止。　其后，马歇尔又对包括古代佛教中心鹿野苑（Sarnath）在内的其它的遗址进行了发掘。　马歇尔于退休8年后完成《摩亨佐达罗与印度河文明》(3卷，1931年)的编辑工作。

1936年，被选为英国人文和社会科学院（The British Academy）院士。1902—1931年间任印度考古局总监。曾主持呾叉始罗等犍陀罗古城遗址和印度一些重要佛教遗迹的发掘，20世纪20年代负责对以前不为人所知的印度河文明的两座大城市哈拉帕（Harappā）和摩亨佐达罗（Mohenjo-daro）遗址（今巴基斯坦境内）的发掘工作。

著作有《摩亨佐达罗及印度河流域文明》、《呾叉始罗》和《犍陀罗佛教艺术》等。

马歇尔的著作建立在长期实地发掘工作之上，向世界揭示了印度文明，尤其是印度河流域文明、孔雀王朝阿育王时代的真实年代。其中《塔克西拉》(Taxila,1951)为其最有学术价值的著作，而《犍陀罗佛教艺术》中译本在中国影响较大。