访卢阁开设在中市应家桥南堍，是中市的中心地段。楼下两开间，楼上三开间，两面监水，一面临街，东西北三面有统排玻璃窗，店内宽敞亮堂，楼下有扶梯，桥腰上也有扶梯可以径自登楼。
据说，最早来此开茶馆的是南浔人卢同。有一天卢同听一位太湖茶客说：“太湖的洞庭山上有茶叶树，其叶清香异常，人吃了能提神醒脑，去瘀消积，而且野生的，任人采摘。”夫妻两人计议后，认为可以试试，一则可以降低成本，二则也可以享享口神福。
于是，卢同选了个黄道吉日，带上布袋向太湖方向走去。上得洞庭山，见树不见人。卢同虽然与茶叶打了半辈子的交道，可是泡的喝的都是干茶叶，今天看到的是满山的树，一下子傻眼了，不知哪一株才是茶叶树。走着走着，突然发现一位白发银髯的老人倒在路旁，身边还有一只装有树叶的竹篓子。卢同连忙俯下身去用手试探，发现心脏琮在搏动，赶忙一手扶起老人，一手掐着老人的人中，连声呼唤“老伯醒醒……”过了一会儿，老人微睁双眼，用手指着竹篓子做了个“抓”的手
势，嘴里含糊不清的说“吃……”，卢同领会了老人的示意，从竹篓子里抓起一把树叶，一片片地送进老人的嘴里，老人开始微笑着咀嚼树叶。说也奇怪，慢慢地老人发青而干裂的嘴唇滋润了，苍白的脸庞红润了，不到半个时辰，老人完全清醒了。
原来老人就是“茶圣”陆羽。他去过不少名山，识别过多种茶叶，什么清心茶、舒心茶、解毒茶他都亲口尝过。今天不巧误尝了一种有毒的树叶，才晕倒在山上，幸亏遇见了卢同，给他吃了清心解毒的茶叶才清醒了过来。当陆羽知道卢是开茶馆的，这次也是上山采茶叶的，大喜过望，两人结成了忘年交。陆羽教给卢同不少有关茶叶和茶道的知识，还帮卢同采了不少清心舒气的茶叶，最后两人互道珍重，相约后会有期而别。
卢同回到店中，将这一奇遇告诉了妻子和茶客，大家都称奇。卢同用洞庭山了采来的茶叶如法炮制，沏出来的茶的确不同凡响。醉眼惺忪的人喝了神清气爽，心中烦闷的人喝了气舒怀开，做工乏力的人喝了精力充沛……这一消息不胫而走，本来生意清淡的茶馆顿时兴隆了起来。
有一日乌镇来了一个精神矍烁，白发银髯的老人。他到处打听一个叫卢同的人。于是有人就把他领到卢同的茶馆里。卢同见了老人后非常高兴，当他将老人介绍给妻子的满座的茶客时，满堂喝采，大家感谢老人给乌镇带来了好口福。
老人在乌镇时又教给卢同不少有关茶道的知识。老人还不时在茶台上坐坐，和茶客们天南海北地闲聊。当年陆羽研究茶道已小有名气，又引来乌镇乡绅的关注，少不了迎来送往，对此陆羽感到厌烦，盘桓多日，终于离去。
一日众茶客又议论起老人来，突然，一位茶客一拍大腿，大声说：“老人来访卢同不易，这茶馆就干脆就叫访卢阁如何。”众人听了拍手称好。于是“访卢阁”的店名就此叫开了。