中国科学院、水利部水土保持研究所筹建于1954年7月，正式成立于1956年2月，初期名为“中国科学院西北农业生物研究所”，是中国科学院在西北地区建立的第一个研究机构，方向任务是“结合西北地区实际情况以黄河中游水土保持问题为中心，配合农业部门的研究力量，进行调查及总结群众经验，开展生物、农、林、牧、水等基本性和关键性问题的研究，为解决黄土区水土保持及增加农业生产提供科学依据”。

1958年5月经国务院批准所名改为“中国科学院西北生物土壤研究所”，方向任务调整为“以生物、土壤为重点，结合水土保持进行研究”。

1964年7月改名为“中国科学院西北水土保持生物土壤研究所”，方向任务为“以黄河中游水土保持科学研究为中心任务，主要研究解决水土流失严重地区的农、林、牧、田间工程等水土保持措施、土壤侵蚀规律、水土保持综合治理和土地合理利用及农业增产等有关问题，同时根据西北地区农业生产选举法土保持的需要和原有工作基础，继续开展植物分类、土壤地理、土壤胶体化学和作物远缘杂交等工作”。

1979年10月更名为“中国科学院西北水土保持研究所”，方向任务为“面向黄土高原，以水土保持为中心任务，开展水土流失规律预测预报和防治途径、土壤及土地资源的评价的合理利用、植被恢复的理论与技术、旱作农业增产体系和依据等方面的研究，为黄土高原农林牧综合发展和根治黄河服务。”

1987年由中国科学院和水利部双重领导，更名为“中国科学院水利部西北水土保持研究所”，方向任务“仍以黄土高原区域为重点，以水土保持任务为中心，为改善黄土高原生态环境，加速农林牧综合发展和黄河治理服务。同时考虑到我国水土流失非常严重，西北水土保持研究所可适当兼顾其他地区的水土保持科研任务”。

1995年经国家科委批准更名为“中国科学院水利部水土保持研究所”。

1998年被中国科学院确定为知识创新工程第一批试点单位。

1999年与杨凌其它6个科研教学单位共同组成“西北农林科技大学”。

2001年中国科学院与教育部联合共建“水土保持与生态环境研究中心”。