胜归山在余姚市城北乡报房村和余姚镇胜归山村及康山之间，距余姚镇1.5公里,主峰海拔147米。相传为晋朝刘牢之战胜孙恩归来之屯兵处，胜归山由此得名。山上多石，石质较佳，历来为采石基地，故又名打石山。山上多摩崖石刻，分东西中三处；东山崖分上下两处，上山崖成葫芦形，下有石宕，水色暗绿，唤声回音荡漾，深处刻有“余姚壮观”四个大字，山崖形势雄伟险峻。下山崖呈卵圆形，前面有隘口，也有宕，水清澈，凉气逼人。西山崖高而开阔，象一座大屏风，石上刻有孙中山像，是民国前期所刻。惟中部为纪念历史人物胡宗宪而名胡公岩。胡宗宪，字汝钦，安徽绩溪人，明嘉靖进士，官封宫包大司马，是明朝平倭将领，曾任余姚县令。他在官时，定胜归山为县城，北面坐镇山，禁止采石，民间认为保护坐镇山能保佑后人。为纪念好官，邑人李木等为其刻石山上，记其史绩。在明清两代和民国初期，又先后在这山上凿刻胡公石像，同时附近又凿刻十几尊佛像。从此游客和香客日盛，成为姚北一大古迹。自1981年6月余姚县人民政府公布为县级文物保护单位后，游览的人更兴盛了。
1960年，在胡公岩的西北角兴建了《余姚革命烈士陵园》，园内安葬着陈洪等71名烈士，如今陵园内樟木荫蔽，花卉缤纷，给胜归山又添了新景。
胜归山在明清时留下了游客们的很多诵诗。清李维瓒《游胜归山岩洞》诗云：“径问秋山去，不知山路深。洞门晴有雨，岩壑昼长阴。怪石悬崖挂，游鱼带石沉，会须风雨夕，来此听龙吟。”清史官《胜归山烟雨》诗云：“夜宿禅房花气侵，晨钟初动听禽鸣。霏微村郭迷春晓，缥缈岩去鼓夕附。野草沾露来曲径，炉烟袅篆出丛林。胜归遗迹千年事，流水高山云树深。”
胡公岩的摩崖石刻留存尚多，不乏醒世之作。其中除了佛像浮雕以外，还有长8公尺，宽5公尺的摩崖勒石，其中有刻着孙中山的处世名言和长达336字的《亲恩歌》，在济公佛像下面刻着白居易的《慈鸟夜啼》五言律诗一首，颇具代表性。“慈鸟失其母，哇哇吐哀音；昼夜不飞去，终年守故林；夜夜泣半啼，闻者为泪襟；声中如告诉，未尽反哺心。百鸟岂无母，汝独哀怨深，应是母慈重，使汝悲不忍；昔有吴起者，母没丧不临；嗟者斯徒辈，其心不如禽；慈鸟复慈鸟，鸟中之曾参。”游子和香客读了这首诗，往往会感慨万千。
近年为弘扬胜迹文化，发展旅游业，除了将原来崎岖不平的山路修建为石级水泥路外，又在路旁新建亭子和胡公岩庙宇。山石间隙中古柏葱郁，翠竹婆娑，潭水暗绿，深不可测。登上这苍翠的胜归山山巅，向南俯瞰姚城，则见阡陌纵横，道路蜿蜒，层楼耸立，车船竞飞，繁荣的风貌，尽揽眼底。