玉泉山风景秀丽，泉水清澈，晶莹如玉，山以泉名，故名玉泉。金章宗于山麓建芙蓉殿，辟为玉泉行宫。由于这里水清而碧，澄洁似玉，“以兹山之泉，逶迤曲折，蜿蜿然其流若虹”因而当初定名“玉泉垂虹”，成为燕京八景之一。

元代，引玉泉渚水注入昆明湖，沿金水河流入大都，作为宫城专用水源，一直沿袭到清初。元代陈孚、明代金幼孜均有《玉泉垂虹》诗。明代邹缉在《北京八景图》中说：“山有石洞三，一在山之西南，其下有泉，深浅莫测。一在山之阳，泉自山而出，鸣若杂佩，色如素练，泓溦百顷。鉴形万象，莫可拟极。一在山之根，有泉涌出，其味甘冽，门刻玉泉二字……。”他又同时赋诗，改“玉泉垂虹”为“玉泉飞虹”，诗中描写到：“碧障云岩喷玉泉，长流宁是瀑流悬。遥看素练明秋壑，却讶晴虹饮碧川。飞沫拂林空翠湿，激波溅石碎珠圜。传闻绝顶芙蓉殿，犹记明昌避暑年。”

清代，康熙《宛平县志》改“玉泉飞虹”为“玉泉流虹”。乾隆初来时曾写《玉泉垂虹》诗：“涌湍千丈落垂虹，风卷银涛一望中。声震林梢趋众壑，光浮练影挂长空。跳波激石珠丸碎，溅沫飞花玉屑红。自此恩波流处处，公田时雨泽应同。”但是乾隆皇帝后来又多次观察后，认为泉水是从石缝中流出，并没有形成瀑布，不能叫“玉泉垂虹”，而泉水“喷雾如珠”，很像济南的“趵突泉”，所以改名为“玉泉趵突”。乾隆十六年，他觉得“玉泉垂虹”不贴切，改名“玉泉趵突”并写诗说：“玉泉昔日此垂虹，史笔谁真感慨中。不改千秋翻趵突，几曾百丈落云空！廊池延月溶溶白，倒壁飞花淡淡红。笑我亦尝传耳食，未能免俗且雷同”。

我国古代，人们常以水之轻重衡量水质，轻者优，重者劣，所谓“质贵轻”就是这个意思。历代古人多以江西庐山谷帘水为第一，或以扬子江金山水为第一，而以惠山虎跑泉水为第二。时后，乾隆下令内务府制银斗，较量天下各泉名水，发现玉泉山水最轻。结果是：济南珍珠泉斗重一两二厘；扬子江金山水一两三厘；惠山虎跑泉重一两四厘；平山水重一两六厘；凉山、白沙、虎丘、碧云寺诸水各重一两一厘。只有玉泉、伊逊两地之水重一两，水轻质甘气美。从此，玉泉水定为清宫专用水。乾隆亲题“天下第一泉”碑，并记文：“两山泉皆泭流，至玉泉山势中豁，泉喷跃而出，雪涌涛翻，济南趵突不是过也。向之题八景者目以垂虹，失其实矣。爰正其名，且表天下第一泉，而为之记。”并直言不讳地说：“即予向日题燕京八景，亦何尝不随声云云”而“不能免讹议”。由此一说，群臣附和，人云亦云，长达数百年之久。

玉泉山的水，在古代北京城市供水中占有极其特殊地位。经辽、金及元代，疏浚河道，使诸水汇入长河，流入都城；明代继续建设，清乾隆时期又大规模疏浚玉泉诸水。开挖昆明湖、玉渊潭两大水库，以解决都城供水和西郊水患之难。由于玉泉山水质好，用以灌溉生产出来的水稻，芳香四溢，成为享有盛名的“京西稻”。不过北京近千年，虽然地形变化不大，但由于植被减少，气候干旱，水位下降很大，乾隆帝说的“不改千秋翻趵突”，时至今日，不但趵突翻涌不复存在，就连涓涓细流也已消失。