1984年在河南安阳的一次会议上，一批老同志认为需要从政治思想、道德观念等方面关心当代青年的成长。在当时任团中央书记处书记的胡锦涛同志和其他同志的支持下，在河南安阳成立了全国第一个关心下一代工作组织“关心下一代协会”。关心下一代工作得到迅速发展，到1988年底全国已有21个省、自治区、直辖市相继成立了关心下一代工作协会，参加这项工作的老同志有几十万人。
1990年2月2日，一些老同志起草的“关于成立全国关心下一代工作协会的报告”上报中央。江泽民、宋平、李瑞环、丁关根等中央领导同志圈阅同意建立中国关心下一代工作委员会（原报告中称“关心下一代工作协会”，后改为此名称）。江泽民同志在1990年明确指出“‘老有所为’要很好抓一下。老同志的作用要很好发挥，特别是在教育青少年的工作方面。”他还特别强调。“我们现在面临一个紧迫任务，是要加强对青年的教育，对下一代的教育太重要了”。1990年6月28日中国关工委在人民大会堂召开了关心下一代工作座谈会，中央政治局常委李瑞环和许多领导同志以及青少年教育的有关专家、学者出席了会议。在成立座谈会上，李瑞环同志代表中央政治局常委讲话，他强调：“关心下一代工作，是关系到国家命运和前途的一件大事。我们的一切奋斗和工作，归根到底，都是为了民族的独立、国家的富强和人民的幸福，为了建设伟大的社会主义、共产主义，也可以说是为了未来，为了后代。忽视了对下一代的教育，就等于忽视我们党奋斗的最终目标，忽视我们毕生为之奋斗的革命建设事业的伟大成果，我们就成了糊涂人。“要充分发挥老同志在教育下一代工作中的特殊作用。”，“把老同志组织起来，进行关心下一代工作，是思想政治工作的一个创新。”他希望“大家都来支持老同志做好这项工作。”
到现在，全国已建立各级关工委组织几十万个，有几百万人参加关心下一代工作。
中国关工委由党中央政治局委员、国务委员吴仪同志分管，主任是原国务院副总理王丙乾，执行主任是原党中央组织部副部长王照华。
全国教育系统关工委也在1990年成立。高校的关工委工作取得了很大进展。据不完全统计，到2003年上半年为止，全国普通高校有600多所建立了关工委组织，高校参与关工委活动的老同志约18万人。
上海市教育系统关工委成立于1995 年。据2003年调查，全市34所高校、19个区县教育局全部成立了关工委组织。全市高校离退休人员共30273人，参加关工委活动的有2891人，占离退休人员总数的9.5%。各区县教育系统离退休人员共104818人，参加关工委活动的有13483人，占离退休人员总数的12.86%。
在两校合并前，复旦和上医大分别在1997年和1995年成立校关工委。两校合并后，2001年3 月2日成立新的复旦大学关工委。党委副书记彭裕文任会长，两位原校党委书记（原复旦大学党委书记钱冬生、原上医大党委书记金乃坚）和老干部处处长任副会长，关工委的其他成员有党委组织部、宣传部、学生工作部、研究生工作部、老干部处、精神文明办公室的负责人；行政人事处、教务处、退管会的负责人；校团委负责人；老干部总支负责人和离退休老同志代表。
2001年11月正式成立32个院、系级关工委分会（包括附中和各附属医院），除一个学院外，所有应成立的单位均已成立分会。