“灰皮书”对应的是二十世纪五、六十年代中苏两党之间的分歧和破裂，作为标志，则是1956年“苏共”的“二十大”。
毛泽东在翌年的
《在中国共产党全国宣传工作会议上的讲话》中说：“长时间以来，人们对于教条主义作过很多批判。这是应该的。但是，人们往往忽略了对于修正主义的批判。……否定马克思主义的基本原则，否定
马克思主义的普遍真理，这就是修正主义。修正主义是一种
资产阶级思想。修正主义者抹杀社会主义和资本主义的区别，抹杀
无产阶级专政和资产阶级专政的区别。他们所主张的，在实际上并不是社会主义路线，而是资本主义路线。在现在的情况下，修正主义是比教条主义更有害的东西。我们现在思想战线上的一个重要任务，就是要开展对于修正主义的批判。”于是这才有了“灰皮书”。
“灰皮书”的编译、出版，是根据中央领导的指示，由当时主管宣传工作的
康生具体负责。据说其名称和发行办法也是康生提出的。康生说，这些“坏书”用一种颜色纸做封面，人们一看就知道是坏书了。
1960年底，中宣部常务副部长
许立群兼任中央编译局局长，中宣部理论宣传处处长
王惠德兼任副局长。人民出版社组织翻译出版了一批“老修正主义、机会主义 分子”著作的单行本，如
考茨基的《
社会民主主义对抗共产主义》、《陷于绝境的
布尔什维主义》，
伯恩施坦的《社会主义的前提和社会民主党的任务》，鲍威尔的《
布尔什维主义还是社会民主主义》，
托洛茨基的《俄国局势真相》、《
被背叛的革命》、《
斯大林评传》、《
苏联的发展问题》等。
“灰皮书”开始是为了批判以
赫鲁晓夫为代表的“现代修正主义”，由此上溯到其源头的以
伯恩施坦、
考茨基为代表的第二国际“修正主义”(所谓“老修正主义”)，出版了一批包括
蒲鲁东、
拉萨尔、
巴枯宁、伯恩施坦、考茨基、福尔马尔、
阿德勒、鲍威尔、
希法亭、
饶勒斯、
米勒兰、
王德威尔得、
普列汉诺夫、托洛茨基、
布哈林、季诺维也夫等的著作。此后，随着中苏矛盾和分歧越来越尖锐，为了配合“反修”斗争，“灰皮书”大量出版，围绕关于时代的特征、帝国主义的性质、和平共处、和平演变等一系列问题，致力于批判南斯拉夫的铁托以及苏共赫鲁晓夫等的“修正主义”，包括欧洲的陶里亚蒂、多列士等，甚至上溯到
第二国际的“修正主义”，以及托洛茨基等。
“灰皮书”
不公开发行，有的在封底印有“内部参考”字样。由于发行范围极窄，控制很严，普通人很难看到，其阅读对象也主要是高层领导干部和学术理论界的人物。不过随着时间的流逝，这些书籍渐渐被人所知，并且在某种程度上成为热门读物，启蒙了许多渴求“新知”的知识青年。
“灰皮书”为当时封闭状态中的人们打开了一个了解外部世界的小小窗口，影响了好几代的青年。如当时在北京，就有一个以赵一凡为中心的传阅圈子。至于它所涉及的异端思想，如政治和经济体制的改革、人学和哲学新潮、文学启蒙，等等，不仅后来直接催生了如
朦胧诗派和星星画展等文艺流派的出现，更间接地为中国后来的改革开放传达和释放了某种程度的信息和心理预期。
“灰皮书”成为现在人们深入了解历史的一个新鲜话题，曾搅起一个持续的“回忆热”，众多过来人对它进行了充满情感的回眸，花城出版社出版了沈展云所著的
《灰皮书，黄皮书》，不过，相比较民间的研究，与之相关的官方研究以及相关档案和回忆等依然阙如（曾任人民出版社总编辑的张惠卿、曾任
人民文学出版社副总编辑的
孙绳武、出版家
沈昌文、翻译家
草婴等有片断的回忆，可惜当事人陆定一、
胡乔木、胡绳、陈原、
王子野、
包之静、曾彦修等未及留下回忆）。“灰皮书”是研究中国国史的一个很好切入口，虽然目前还是一片空白。