在湖州西南13公里妙西自然镇西南侧土积山。宋嘉泰《吴兴志》载：“杼山在县西南三十里。”陆羽旧记云：“山高三百尺，周回一千二百步，昔夏后杼巡猎之所。今山下有夏王村，西北打夏驾山。”据唐颜真卿《妙喜寺碑记略》：“州西南杼山之阳有妙喜寺。梁武帝之所置也。大同七年(541)夏五月，帝御寿光阁，会所司奏请置额，帝以东方有妙喜佛国，因以名之，旧置在今州西全斗山，唐太宗六年春二月移于此山。”晋吴兴太守张玄之《吴兴山墟名》称：“旧名东张，山形似几地形高爽，山阜四周。因其山胜绝使游者忘归，又名稽留山，寺前二十步跨涧，有黄浦桥，桥南五十步，又有黄浦亭，南朝宋鲍照送盛侍郎赋诗及庾中郎之所。其水自杼山西南五里黄蘖山出，故号黄浦，俗亦名黄蘖涧。梁光禄卿江淹赋诗之所。寺东偏有招隐院，其前堂西夏谓之温阁。从草堂东南屈曲有悬岩，径行百步，至吴兴太守何楷钓台。西北五十步至避它城。”唐大历七年，颜真卿为湖州刺史，次年(癸丑)正月到任。时浙西观察判官殿中侍御史袁高巡部至州，会于此山，遂立亭于东南。陆羽以癸丑冬十月癸卯朔二十一日癸亥建，因名为三癸亭。于亭西北丛桂之间创桂棚，左右数百步丹、青、紫三桂，花叶异，芳林茂树下有支径，因袁君于此游步，称为御史径。

唐天宝十四年(755)，安禄山反叛，陆羽离故乡湖北天门县到杼山妙喜寺，与僧皎然“结成缁素忘年之交”，时年24岁。陆羽在湖州期间，曾长期住妙喜寺，先后在湖、长和浙西地区，用五六年时间进行调查研究，在30岁时写成世界第一部茶业专著《茶经》。大历八年(773)颜真卿在妙喜寺招隐院编纂《韵海镜源》，陆羽、皎然等东南文士50余人参与其事。杼山一时形成儒、释、道合流，诗、茶、禅合一的格局。

据明成化《湖州府志》、崇祯《乌程县志》郡志以“妙喜”名山，宋治平二年(1065)改妙喜寺为宝积寺。