前任行政长官办公室所在地原本为旧英童学校，位于中国
香港岛中环半山区坚尼地道28号。前任行政长官办公室建筑群，即主楼连仆人宿舍及人力车停泊处，于2009年12月18日正式被
香港古物古迹办事处评为
香港一级历史建筑[1]。在2009年12月18日以前，该建筑被评为
香港三级历史建筑。
建筑物约建于1905年，为一座两层高的维多利亚式独立屋，当时属
香港置地所有。其后该建筑被用作英童学校的校舍。学校于香港日治时期停办，并被
日军占用。1948年至1950年，该建筑曾成为
皇仁书院的临时校舍。但直到1954年，香港政府才正式从日本政府收回业权。该座大楼采用非对称设计，建筑风格以典型意大利式为主。
其后由官立汉文中学，即现今的
金文泰中学使用至1961年。1961年至1989年，该建筑曾成为
教育署若干组别的办公室及坚尼地道小学（Kennedy Road Junior School）共用。1993年至1999年，该建筑物也曾经由
中英联合联络小组征用为办公室。香港主权移交后，建筑物由本地设计师协会租用，成立
香港设计中心，由
香港赛马会赞助古物修复及装修费为600万港元。
两年后，
香港设计中心于2006年中搬往
九龙九龙塘的创新中心，香港特区政府于同年11月，经前任行政长官董建华同意，最后选定此建筑物作为前任行政长官办公室。2007年4月21日，政府宣布该建筑正式成为前任行政长官办公室， 政府耗资逾200万港元进行装修、添置
家俬、进行外墙油漆工程，以及在大门外加上铜牌和竖立
中国国旗及香港特区旗。
该大楼占地1,200平方米，分为上下两层。其中下层是一个
会议厅，上层则有3间约500呎办公室，即是可以同时容纳3名前任行政长官一起办公。