1982년 과학기술처가 특정 연구개발사업에 착수한 이후 과학기술이 국가발전의 핵심원동력이라는 인식하에 연구개발 사업추진부처가 다원화됨에 따라 국가차원의 통합조정이 필요하게 되었다. 또한 2008년 글로벌 경제위기 이후, 전 세계가 산업 재편과 신시장 선점의 주도권을 둘러싸고 과학기술을 바탕으로 성장잠재력을 확충하기 위한 노력이 가속화되었을 뿐 아니라 기존의 선진국과의 기술을 추격해오던 연구개발 전략으로는 성장의 한계에 직면하였다. 따라서 미래원천기술을 먼저 확보하는 창조형 연구개발 전략이 요구되었으며 국가과학기술 역량을 결집하여 부처와 연구기관간 협력을 유도하고, 기술간 융합을 활성화해야 한다는 여론이 과학기술계를 중심으로 제고되었다.
정부는 종합과학기술심의회(1972~1997), 과학기술장관회의(1996~1998)를 구성하여 과학기술 관련 정책을 종합조정하고 부처간 연계를 강화하고자 하였다.
1999년 1월에는 「과학기술혁신을 위한 특별법」을 개정하여 종전의 과학기술장관회의가 국가과학기술위원회로 개편되어 대통령을 위원장으로 하고 관계부처 장관 및 민간 전문가로 구성된 과학기술정책 최고 심의·의결기구로 격상되었다. 2001년에 「과학기술기본법」을 개정하여 국가과학기술위원회 산하에 전문위원회, 특별위원회, 협의회 등 심층적이고 전문적인 검토를 위한 하위기구를 마련하였다.
2009년 10월, 정부는 과학기술계·언론계·학계의 전문가를 중심으로 「과학기술 출연(연) 발전 민간위원회」를 구성하였고, 바람직한 과학기술 행정체제를 마련하기 위해 각계 의견을 수렴하였다. 그 결과, 총 40회의 정기위원회 및 소위원회, 100여회의 간담회를 통해 과학기술계 원로 및 과학기술단체, 대학, 산업계, 시민단체, 관련부처, 정부출연 연구기관 및 해당 기관 노조 등 300여명을 면담하였다.
이를 바탕으로 민간위원회에서는 2010년 6월 새로운 「국가과학기술시스템 구축 방안」을 제시하였다. 그 골자는 범부처 차원의 연구개발 전략수립과 종합조정 기능을 수행하는 기구로서 국가과학기술위원회의 위상과 기능을 강화하고, 과학기술 융합시대에 적극 대응하기 위해 융합시너지가 중요한 27개 과학기술 출연 연구기관 중 20개를 「국가연구개발원」으로 단일법인화하여 국가과학기술위원회로 이관하는 것이었다.
정부는 민간위원회안을 토대로 재차 과학기술계의 의견을 수렴하여 「국가과학기술위원회 위상 및 기능 강화 방안」을 마련하고 2010년 10월에 제32회 국가과학기술위원회에서 확정하였다.
또한 출연(연) 체제개편에 대해서는 정부 부처간 이견이 상존하여 국가과학기술위원회 출범 이후로 추진시기가 미루어졌다. 이에 정부는 국가과학기술위원회를 상설 행정위원회로 독립하고 기능을 강화하는 내용을 골자로 한 「과학기술기본법」 개정을 추진하였고, 동법 개정안이 2010년 12월 28에 국회에서 공포되어 법적 근거가 마련되었다.
이후 약 3개월 동안 위원회 구성, 사무처의 직제 마련 및 인력 충원, 사업이관 등의 준비과정을 거쳐, 2011년 3월 28일에 국가과학기술위원회가 새롭게 출범하기에 이르렀다.
2013년 3월 23일 이후 국가과학기술위원회는 국무총리 소속의 국가과학기술심의회로 변경되었다.