云台观遗址在今华山中学所在地。《南轩记》载,其地“原为古明堂地”,即古时一天子宣明政教及举行朝会、祭祀、庆赏、选士、教学等大典的地方。周末时,天子巡视诸侯的次数减少,各种大典仪式不再举行,这里逐渐门庭冷落,华山道士便来占地为观,讲经布道,使之成为老子之徒的领地。
北周武帝时,道士焦道广居云台峰,避粒餐霞,有三青鸟常报未然之事。武帝宇文邕亲谒山庭,临轩问道。后来就在大上方建白云宫、在道士所占的这块明堂地建云台宫,供焦道广居住。由于自然灾害的袭击,更因为战事连绵,兵荒马乱,云台观也难得清静。道士四处逃离,香火难续,云台观建筑腐朽倾圮,院内荒芜,杂草丛生。
大宋初年,陈抟从武当山云游到华山,选此处为栖身之地,于是便披荆斩棘,筑庵崦居,黄卷孤灯,呕心沥血,著书立说,完成了《钓潭集》、《三峰寓言集》等重要著作。
宋雍熙元年( 984 )宋太宗诏陈抟入朝,并赐号希夷,因陈抟坚决要求辞朝归山,云台观方得到宋朝廷的重视。宋真宗大中祥符二年( 1009 )五月,陕西大旱,宋真宗遣使来祷西岳。大中祥符四年( 1011 )二月真宗备牲礼亲谒岳庙,封岳神为顺圣金天王。然后亲临云台观视察,免除了云台观道士的地税田租,并指示陈抟弟子贾得升在观内营造“圣祖并真宗本命星官元辰三殿”;宋仁宗至和元年( 1054 )又增建集真殿。南宋孝宗淳熙十四年( 1187 )朝廷任命理学家朱熹主管华山云台宫,朱熹虽没有来过华山,但自称云台真逸。于是观内后来就了朱子祠。明成化庚子( 1480 )年,观内又添置三清殿。明正德乙亥年( 1515 )又增修重建,然而明嘉靖乙卯年十二月( 1556 )关中地震,观中建筑全部塌毁,十余年间一片废墟。此后,知府赵儒及邑中举人王来宾等募集千金于明隆庆庚午年( 1570 )在故址重建三清殿、玉皇殿、西岳殿、山字门,至壬申年( 1576 )春,华阴令李时芳又筹集资金,召集四方工匠,历时三年对云观观作了较大规模的增修,其中把西岳殿,三清殿、玉皇殿一律扩充至五楹,在三殿这东西又增筑祠庙三所,以祀诸神。不在祠前建集灵坊。山门匾额题刻曰:重建云白观。据《南轩记》载,这次扩建重修,“自西岳殿两序达于三清殿延为旋廊,又达于山门缭以崇垣。外为道院四区,重以周垣。阖观地凡亩有奇,外附观祀田凡四百亩有奇。”可以说,这是云台观建筑规模最大,建筑最宏伟壮丽的一页。此后,清朝康熙年间,嘉庆年间都对云台观作了不同程度的修葺,云台观的建筑不断趋于完善。清时所绘云台观图可作见证。
云台观总占地面积约四百余亩,主体建筑有三清殿、玉皇殿、西岳殿、六师殿、三官殿、无量殿、北斗宫、文昌阁、焦仙洞、陈师庵、朱文公祠等。观墙外有八角井一口,称云门池。晋柏一棵,为西晋太康九年( 288 )弘农郡太守魏君实植,连同井畔那块奇石,共称为一柏一石一眼井。此处还传为陈抟赐银给赵匡胤父子的地方。
由于云台观在历史上为重要的道教活动场所,故有关观内羽流们的传奇颇多。《真仙通鉴》记述,有个叫王廷的人,从小慕道,来云台观拜焦道广为师。焦道广授他三洞秘诀真经。北周武帝好道,召王廷进京布道,他住了不长时间就要求回云台观。武帝答应了他的请求,并拨款修葺云台观,以方便他居住。然而动工时缺土,王廷默祷后,忽有土涌于观侧,取之不竭。道士们苦于缺乏灯油,要王廷祷告,王廷让道士置器皿,经夕油不添自满,且用之不尽。后来王廷羽化,下葬时,徒弟放置棺木,觉得不对劲,打开一看,原是口空棺。
《华岳志》载,云台观有个叫何阿六的女子,每天只为道姑干些打柴提水的粗活。一天,众道姑闲聊,言江东柑桔味美而秦地难觅。何阿六听了莞尔一笑,出门去不长时间,回来后自袖中拿出几枚柑桔给众道姑分享。