安徽省六安县人，1913年出生。在红四方面军4军历任通信队队长、指导员、连长。抗日战争在晋察冀军区担任营长、团参谋长。解放战争到东北，任四野45军135师副师长，这个师原任师长是丁盛，丁盛升任副军长后，吴瑞山升任师长。1952年10月，44军和45军合编为54军，吴瑞山升任54军副军长，再次成为丁盛的副手。1953年丁盛、吴瑞山率54军入朝作战，在朝鲜，丁盛离任后，吴瑞山升任54军军长。吴瑞山获朝鲜二级自由独立勋章。吴瑞山回国后，任31军军长。1962年毕业于高等军事学院基本系，任闽北指挥部司令员，1964年担任江西省军区司令员。他在文革支左中遭到批判，1967年6月7日晚7时在南昌人民广场与刘陪善、林忠照一起向群众作检查。1967年8月，中共中央作出《关于处理江西问题的决定》，中央认为：江西省军区及部分军分区的某些领导人，在支左工作中犯了严重的方向路线错误，支持了保守派，镇压了革命派。中央决定改组江西省军区，任命程世清为福州军区副政委兼江西省军区政委，杨栋梁为江西省军区司令员，并调温道宏为副政委兼政治部主任。吴瑞山被免去省军区司令员职务，“应对所犯错误作认真的检查”。1967年12月，中共中央同意江西省革命委员会筹备小组的报告，决定成立江西省革命委员会，程世清为主任，杨栋梁、黄先、于厚德、万里浪为副主任。1970年，温道宏、刘云、白栋材、潘世告、樊孝菊、涂烈担任副主任。林彪事件后，佘积德（少将，福州军区炮兵政委）、杨尚奎任副主任。程世清被关押后，1972年6月，佘积德接任主任。1974年12月，江渭清担任主任吴瑞山后来担任福州军区副司令员、武汉军区副司令员。1955年被授予少将军衔。获叁级八一勋章、二级独立自由勋章、一级解放勋章、一级红星功勋荣誉章。