哈尔滨市图书馆是一座大型综合性公共图书馆。1998年被评为国家一级图书馆。哈尔滨市图书馆始建于1926年6月，名为哈尔滨市立图馆。1946年4月28日，东北民主联军解放了哈尔滨市，人民政府接管了市立图书馆。1949年2月市立图书馆由哈尔滨迁至沈阳，所遗一曼街旧址及部分中、日文图书一并交市教育局接管。在此基础上，经过一年多的筹备，哈尔滨市图书馆于1950年10月1日正式开馆，哈尔滨市图书馆虽然有50余年的历史，但它收藏的图书资料却相当丰富，尤其是日、俄文资料和地方文献具有特色。

1987年哈尔滨市委、市政府决定在哈尔滨市南岗学府路49号建设新馆，1987年8月12日破土动工，1989年10月完工，1990年10月1日交付使用，1991年1月22日正式对外开放。在一曼街249号旧址设有哈尔滨市儿童少年图书馆和分馆。哈尔滨市图书馆2003年经过扩建，馆舍面积已达到20500平方米。

哈尔滨市图书馆设有图书外借处、中文社科图书、中文科技图书、中外文期刊、普通报刊、科学文献检索、地方文献、古籍、工具书、自修等十九个对外服务窗口，共有阅览座位1000余个，全部实行开架借阅，每天可接待读者2000余人次。市馆的多功能报告厅拥有300个活动座位，可举办各种报告会和专题讲座，并可举办娱乐活动。市馆现有藏书220余万册，其中线装古籍书150843册，中外文期刊637061册。随着计算机技术和通信技术的发展，哈尔滨市图书馆加快了现代化的进程，在采、编、流、连续出版物、地方文献、检索等主要工作环节上全面实行了计算机管理，逐步建立和完善了本馆的机读目录数据库，开设了电子阅览室和多媒体教室，并成为文化部文化信息资源共享工程基层中心，开展信息查询，光盘检索等服务。哈尔滨市图书馆的汽车图书馆自1987年建成至今，服务面已遍及哈市城乡各个角落，形成了以大馆为中心，以汽车馆为纽带的辐射状服务网络。哈尔滨市图书馆的社会办学工作也卓有成效 ，为社会培养了大量的有用人才。

哈尔滨市图书馆坚持“读者第一，服务至上”的宗旨，坚持“公益性”和“以人为本”的办馆方针，以良好的社会形象，为社会主义先进文化建设发挥了重要作用。

哈尔滨市图书馆在1998年全国公共图书馆评估定级工作中晋升为一级图书馆；1999年被文化部授予全国文化工作先进集体；2000年获得读者喜爱的图书馆称号和市政府第28届劳模先进集体；2003年获省级精神文明单位；2004年获市三八红旗先进集体。