普鲁士总参谋部的雏形出现于17世纪中叶。1640年，勃兰登堡——普鲁士大选侯弗里德里希·威廉在组建部队时，仿效当时倍受推崇的瑞典军队，组建了一个军需总监部，这便是最初的总参谋部。当时，军需总监部的主要职责是，担负工兵勤务、选择行军道路和宿营地、构筑阵地等任务。到弗里德里希大王时代，军需总监部又增加了传令、为行军部队指路、以及为将帅们起草报告和文书的任务。在第一次瓜分波兰的作战中和1778年的巴伐利亚王位继承战争中，军需总监部又接受了后备部队的计划和领导工作，成了国王的得力助手。

到19世纪初，由沙恩霍斯特和格奈泽瑙等人领导的“军事改革委员会”，在改善总参谋部的职能和确立其地位的斗争中，作出了巨大贡献。“军事改革委员会”的成员马森巴赫上校，于1801年和1802年先后起草了一份军需总监部勤务规定和两份有关条陈，阐述了对总参谋部的组织、职能和任务的设想，因此被称为组建普鲁士总参谋部的思想先驱。在条陈中，马森巴赫要求在和平时期就组建一个常设的总参谋部作为计划中心。他要求在和平时期应将总参谋部的工作按叁个作战区域即奥地利、俄国和法国，划分为叁个工作单位，分别拟制各自的作战计划。他还要求，平时参谋人员应进行经常性的旅行训练，藉此勘察预想战场的地形；驻外武官提供有关情报和预测；总参谋部与部队之间进行人员交流。最后他要求，将来的总参谋长有权直接向最高当局呈送报告，并将此视为总参谋长的最重要的权力。当时的普鲁士国王弗里德里希·威廉叁世曾给马森巴赫的建议以支持，并着手进行军需总监部的改组工作。沙恩霍斯特提出的设想更接近于现代总参谋部。他建议组建一个“军队总参谋部”，下设4个处。分别负责战略战术、军队内部事务、补给、炮兵和弹药事务。1817年，普鲁士正式使用“总参谋部”这一称谓。但它的地位和职能还远远不是现代意义上的总参谋部。

总参谋长冯·米夫林元帅在其任职期间（friedrich karl von muffling，1775-1851，1821-1829年任总参谋长），注重对总参谋部军官进行系统训练，尤其在测绘方面；重视旅行训练，并建立了相应的机构；发展了沙盘作业；强调战史研究；加强了对邻国军队的观察。米夫林的继任者威廉·冯·克劳泽内克将军（wilhelm johann von krauseneck，1775-1850，1829-1848年任总参谋长）除了继承其前任的工作外，还曾在1834-1835年考虑过铁路的作用，但没有对其进行深入和持续的研究。毛奇的前任卡尔·冯·赖赫尔将军（karl von reyher，1786-1857，1848~1857年任总参谋长）尤其注重对总参谋部军官的培养和选拔。他规定，从事总参谋部勤务的军官必须在普通军事学校学习叁年，在测绘局工作叁年，夏季从事野外测绘勤务，冬季从事军事科学工作。

赖赫尔十分注重新技术在军事中的运用。1848年，即在他任总参谋长的第一年，便将后膛枪引入普军。1855年，他起草了一份关于国内外铁路运输能力的报告，将铁路纳入展开和作战计划之中。在赖赫尔与战争部长博因的合作下，总参谋部的特殊地位逐渐显露出来：总参谋部军官可以在总参谋部内晋升；自1843年总参谋部军官的军服有了有别于其他军兵种的特殊标志。

毛奇任总参谋长期间，在其前几任成就的基础上，对总参谋部进行了改造，并以他个人的超凡才能赢得国王的高度信任，从而使总参谋部获得军队的指挥大权，将普鲁士总参谋部推向其全盛，成为当时欧洲乃至世界所效仿的样板。

毛奇指出，在历史上有些统帅不需要别人出主意，而是自己思考问题，自己定下决心，周围的人只是执行他的意志而已。但这种巨星一百年也难得涌现出一个。他说：“在大多数情况下，军队指导者需要顾问”，“一支军队组建一个司令部是十分重要的”。

毛奇对于提高总参谋部的地位和扩大其职能做了不懈的努力和奋争。