中国机械工业集团成立于1997年1月，原名为中国机械装备（集团）公司；2005年9月8日，经国务院国资委同意、国家工商行政管理总局核准，国机集团全称变更为现名。2008年集团再次更名为中国机械工业集团有限公司。

与大多数中央企业一样，国机集团的成立和发展也是中国政治、经济体制改革的重要产物和缩影。

上世纪末，我国的政治体制和经济体制改革正如火如荼地展开。为了贯彻落实中央提出的实现“两个根本性转变”和实施机械工业部“三大战役”的战略部署，原机械工业部提出了组建国机集团的设想，并得到了时任国务院副总理的吴邦国和邹家华同志的支持。其时，处在改革大潮中的机械工业部，将组建国机集团视为贯彻中央战略部署、振兴中国机械工业的重大举措，其出发点正是基于以下考虑：

一、随着社会主义市场经济的蓬勃发展，原机械工业部所属单位承担的功能在逐步萎缩，甚至无法再维持下去，必须探索一种新的领导体制。这个领导体制必须具有以下四个方面的功能或作用：

这个领导体制的核心必须具有出资人的身份，对国有资产保值增值负责；

这个领导体制遵循利益一致的原则；

必须在前两条的基础上实行有效管理；

这个领导体制要既能够充分发挥领导的作用，也能够充分调动各个单位的积极性。

二、机械工业部希望利用其行政管理能力，组建一个大集团，把基本上处在自谋出路，各自为战状态的部属公司组织起来。其目的，一是可以形成规模，增强实力，承担单一公司无力承担的国内外重大任务，加快公司发展；二是有利于加强部属公司国有资产的经营管理，以确保国有资产的保值增值；三是可以改变机械工业部对下属公司的分散管理现状，提高管理水平和效率。这个集团作为这些企业的后盾，并引领机械行业朝着正确方向前进。

1997年1月28日，原国家经贸委正式批复机械工业部关于组建国机集团的申请，至此，国机集团正式成立。当时的国务院和机械工业部对国机集团寄予厚望，希望它能发挥机械行业最高平台作用、国家队作用和试点作用，并能在思路上、工作上、若干重大行动上，对机械工业部和其后的国家机械工业局起到支撑作用。