1958年6月12日第一機(jī)械工業(yè)部以（58）機(jī)技張字第188文批準(zhǔn)成立“磨料磨具與磨削研究所籌備處”在北京開(kāi)展籌備工作。1958年10月4日，部以（58）機(jī)二汪字第511號(hào)文批準(zhǔn)所址設(shè)在鄭州砂輪廠內(nèi)，并將鄭州砂輪廠的中央實(shí)驗(yàn)室及設(shè)備儀器劃歸該所，將原設(shè)計(jì)配備的人員一并調(diào)入，辦公、居住用房由鄭州砂輪廠負(fù)責(zé)解決。據(jù)此，磨料磨具與磨削研究所籌備處于1958年11月5日遷鄭州；1962年2月21日，一機(jī)部以（62）二局辦字163號(hào)文批準(zhǔn)取消籌備處，改名為“第一機(jī)械工業(yè)部磨料磨具磨削研究所。
　　
　　1971年第一機(jī)械工業(yè)部以（71）一機(jī)技字第485號(hào)文，將該所下放河南省，所名改為鄭州磨料磨具磨削研究所。1978年第一機(jī)械工業(yè)部以（78）一機(jī)技字第472號(hào)文批準(zhǔn)該所恢復(fù)以部為主的雙重領(lǐng)導(dǎo)，所名改為第一機(jī)械工業(yè)部鄭州磨料磨具磨削研究所。盡管下放期間停撥事業(yè)經(jīng)費(fèi)，但由于該所人造金剛石工業(yè)規(guī)模生產(chǎn)成功，這段時(shí)間是該所經(jīng)濟(jì)效益最好的時(shí)期，期間該所基本形成了獨(dú)立的科研生產(chǎn)區(qū)和生活區(qū)。
　　
　　自1980年以來(lái)，鄭州磨料磨具磨削研究所隨著國(guó)家體制改革的深入，其主管部門多次更改，先后隸屬于國(guó)家機(jī)械工業(yè)委員會(huì)、機(jī)械電子工業(yè)部、機(jī)械工業(yè)部、國(guó)家機(jī)械工業(yè)局。
　　
　　1999年4月12日，國(guó)家科學(xué)技術(shù)部等12個(gè)部委以國(guó)科發(fā)政字（1999）143號(hào)文，關(guān)于印發(fā)《關(guān)于印發(fā)國(guó)家經(jīng)貿(mào)委管理的10個(gè)國(guó)家局所屬科研機(jī)構(gòu)轉(zhuǎn)制方案的通知》，鄭州磨料磨具磨削研究所進(jìn)入中國(guó)機(jī)械裝備集團(tuán)。