千佛院的前身是元化寺，为高僧于法兰、于法开师徒所建立，是与江南第一大佛同时代修筑的又一处石窟。

于法兰是东晋有名的佛学义解大师，他所住的元化寺有7人入《高僧传》。他“道振山河，名流四远”，在石城元化寺期间，从事般若学研究，二个徒弟，于法开创识含宗，于道邃创缘会宗，使石城成为当时般若学中心。

元化寺到齐永明三年（公元485年）开始开石窟，造千佛。比僧护到石城还早一年。石窟成后改寺为千佛院，会昌年间毁。后晋开运三年（公元946年）重建。宋大中祥符改七宝院，明洪武十五年（公元1382年）复名千佛院。

千佛院处于半山茂林修竹之中，南向临崖，内有相通的大小两窟。大窟石壁东四西六分为10区，每区10×11格，每格一佛，高18公分，中间九格合为一大格，雕一较大佛像。每区104尊佛像，10区共1040尊。两旁有护卫菩萨两尊，立于覆莲座上，虽曾作外敷改形，但今已剥落，原形重现。宝缯垂肩，披帛交于胸复之际，也有褒衣博带的，仍存南朝造像风格，南朝石窟造像在南方较为罕见，千佛院的文物价值就非常高了，可与云冈、龙门石窟造像媲美。小窟有石像35尊，识者以为“当年释迦说法（由35佛）化成为53佛，三劫之中相继而升，又名千佛，“贝叶载其文，兹院造其像”，说明两洞佛像包含了过去、现在、未来三世，上下左右十方，象征了一切诸佛都在其中。千佛院佛像已载入《中国百科全书》和中日两国联合出版的《世界美术大全.南北朝卷》。

千佛院有一传说：高僧帛僧光见这里群峰连峙，幽谷奇深，乃理想佛地，便决心凿一大佛。但连凿了二世，难毕全功。于是第三世又投胎南明山做和尚，还和前二世一样，不知劳累地凿着大菩萨。这事传到天神那里，天神听了委实感动，就派了1000余名天兵天将下凡到南明山来协助他，终于凿成了石弥勒像。这些天兵天将帮助帛僧光凿成大菩萨后，却爱上了人间，不肯再回天上去了，便一齐往大佛寺山门外的一个寺窟里走去，当帛僧光追上去看时，啊，原来这些人都已化成了一个个小佛，整整齐齐地坐在石窟内的壁岩上，后人就把这儿称为“千佛洞”。这虽是人们的想象附会，倒也说明了千佛院早被人们看作了是大佛寺一景。今千佛院成为大佛寺一处殿堂，也是顺应了这一看法。

洞口新堆塑的“海岛观音”，是从隐岳洞迁移过来的，使千佛洞增色不少。