蓟门烟树最早见于唐代大历年间诗人李益，生前在客游燕赵期间，曾有题为《秦城》的七绝一首，诗云：“惆怅秦城送独归，蓟门烟树远依依。秋空莫射南来雁，纵遗乘风更北飞”。诗中“秦城”，地在京城南宝坻县南十里，传为“秦始皇所筑”故名。诗中说的“蓟门”，当时指的唐时幽州藩镇城，亦后来辽金故都城之前身。不过在金中都城中，则又真有称为“蓟门”的一处地方。《金史》记：大定二十三年（1183年），世宗对臣下说：“朕前诣兴庆宫，有司请由蓟门，朕恐妨市民生业，特从他道”。可见当时的蓟门是个繁华所在。据考证，其地约当今宣武门外大街西侧一带。垂直“南行约一里”便进了牛街北口，蓟门在古燕都城中靠近大悲阁。据《析津志》载：“蓟门在古燕都城中，今大悲阁，南行约一里，基枕其街盖古迹尔”。辽圣宗因避雨曾入大悲阁，因改名圣恩寺，成为“蓟门飞雨”的来源。后来，大悲阁圮废，蓟门地名也不存在了。

明代，姚广孝曾作《蓟门诗》：“云树依依接远丘，时看飞雨洒征裘；不知铜马坊何在？惟有桑干水自流”。李东阳也有《蓟门作》：“蓟门城外访遗踪，树色烟光远更重；飞雨过时青未了，落花残处绿还浓；路迷南郭将三里，望断西村有数峰；坐久不知迟日暮，隔溪僧寺午时钟。”诗中所叙蓟门景色仍在金中都城中，但其景名逐渐由“蓟门飞雨”演变为“蓟门烟树”。明人邹缉所题王绂之《燕台八景图》上说：“蓟门在旧城西北隅，（误指元大都德胜门）门外旧有楼馆，雕栏画栋，凌空缥缈，游人行旅，往来其中，多有赋咏，今并废，而门犹存二土阜，树木蓊然，苍苍蔚蔚，晴烟浮空，四时不改，故曰蓟门烟树。

清代，乾隆皇帝好古，寻访古迹，指元大都西墙残门为蓟门。写诗：“苍茫树色望中浮，十里轻阴接蓟邱，垂柳依依村舍隐，新苗漠漠水田稠。青葱四合莺留语，空翠连天雁远游。南望帝京佳气绕，五云飞护凤凰楼”。乾隆写了诗还觉不够，于乾隆十六年（1751年）立碑于此，并在碑后赋诗：“十里轻杨烟霭浮，蓟门指点认荒丘。青帘贳酒于何少，黄土填入即渐稠。牵客未能留远别，听鹂谁解作清游。梵钟欲醒红尘梦，断续常飘云外楼”。它确切地描述了蓟门当时盛况。其实，历史上的蓟门不在元大都西城墙北部（今学院路西侧土城），而是在今宣武区界内的原金中都城中，今之“蓟门烟树”不过是借题发挥。为了后人怀古之情，1949年后，据史料和乾隆的诗，在学院路西侧土城又建起雄伟壮观的城门和碑台，蓟门烟树碑重新高高耸立；修造古朴典雅的楼、馆、廊、青砖灰瓦，别具风采，种植了花木草坪，再现“芳树重重拥蓟门，苍茫烟翠满郊原”的景色。