北京语言大学图书馆成立于1962年，当时被称为北京外国留学生高等预备学校图书馆。1965年，正式改名为北京语言学院图书馆。1969年北京语言学院撤销，图书馆也随之停止工作。1972年复校，图书馆恢复正常工作。1982年图书馆从教务处领导改为由学校直接领导，升格为处级单位。1996年6月13日更名为北京语言文化大学图书馆。2002年8月26日更名为北京语言大学图书馆。1992年5月新馆舍建成，同年9月投入使用，新馆建筑面积9870平方米。1994年11月，图书馆与电教中心合并。2000年5月，图书馆与电教中心分离。2003年1月12日汉语学院、外语学院资料室归属图书馆，并成立分馆（语言区）。2004年6月4日人文学院资料室归属图书馆，成立分馆（人文区）。

1962年建馆时从北京大学、外语学院、行政学院调来图书约3万余册，1966年藏书量为8万余册，1974年藏书量为12万余册，1977年藏书量为20万余册，1980年藏书量为27万余册，1984年藏书量为42万余册，1993年藏书量为51万余册。1999年藏书量为60余万册。2001年藏书量为62万余册。2003年藏书量为76万余册（含合订期刊）。2004年藏书量为78万余册（含合订期刊）。2005年藏书量为81万7千余册（含合订期刊）。

北京语言大学的主要任务是对来华留学生进行汉语教学，同时承担对中国学生进行外语教学、培养对外汉语教学师资以及出国人员出国前的语言培训工作，为此，图书馆的馆藏建设方针是以收集语言文字类文献为主，兼顾中华文化类文献的收藏，2000年以后，学校相继成立了计算机科学与技术系、金融系，图书馆开始收集相关文献，任务则以为从事语言教学与研究人员提供文献保障。