观音山是隋代迷楼故址，据《迷楼记》载，迷楼是隋炀帝行宫，浙江匠人项升设计，“凡役夫数万，经岁而成。”隋炀帝曾说：“使真仙游此，亦当自迷。”隋亡楼毁，明代雇桐曾题匾“鉴楼”，分明取“前车之鉴，以警后世”之意，以隋炀帝的教训鉴戒后人。

从元代至元年间开始，历经明、清两代，屡废屡修，现在寺的建筑多为光绪年间所建，佛像均为1984年以后重塑。观音山是山寺的代表，它处蜀岗东峰，因其地势在扬州最高，所以构寺才大胆使用山寺的构造方式：不强调对称，而是在山体顶峰，随山势筑殿。山上古树蔽日，红墙高耸，楼殿参差，山与庙俨然一体。其特点一是曲折幽深，从山前道路上山，曲折逶迤，攀登到顶，砖铺山道，蜿蜒而陡峭，两旁如城墙上的女墙，因而有

“小长城”之誉。山上有圆通宝殿、迷楼、紫竹林、上苑等建筑。这些建筑都不在同一中轴线上，比如山门殿，坐西面东而建，而天王殿和圆通宝殿则坐北朝南，你正以为无路可走时，绕过偏殿 ，则入紫竹林，登几级台阶，又见迷楼出现在你面前。古代墨客勾勒过这里的景致：“楼阁高下，轩窗掩映，幽房曲室，玉栏朱木盾，互相连属，回环四合，曲屋自通，千门万户，上下金碧。”其特点之二是险，寺处山巅，以块石垒基，建筑皆气宇轩昂，崇楼杰阁。山下仰视，悬崖上危楼对峙。这里的树林叫“云林”，此处的池塘为“天池”，此处的楼为“摘星楼”。高宗南巡时，曾赐一联“渌水入澄照，青山犹古姿”，横批“峻拔为主”将其险峻之态恰当地概括出来。

观音山的佛像是很有特色的。这里的佛像不同于一般寺院以“释迦牟尼”为主像，其他佛像皆众星捧月。此处以“菩萨”为主体，同时供奉四大佛教名山菩萨，院落东侧房中为文殊菩萨，西侧房为普贤菩萨，文殊殿后为地藏王殿，在四大菩萨中又突出观音菩萨，主殿圆通宝殿中供奉观世音菩萨巨型坐像。观音山的佛像，美学价值极高。古代的雕像家逐渐将世俗融汇于佛教虚幻之中，其塑像造型力求塑出人物的不同神韵，观音山的三十二应身，不仅面型、衣着、动态各尽其妙，无一雷同，更重要的对人物神态的细部处理力求呈现人物不同性格，衣裙褶纹飘飘欲动，栩栩如生。