张国淦，字乾若，号石公，蒲圻县城关人（今赤壁市蒲圻办事处）。1876年生，幼年随父落籍安徽芜湖（其父张学诚时在皖南牙厘总局芜湖分局任职）。张少时聪颖好学。1902年中举人，1904年授内阁中书，1906年入清廷考察政治馆任馆员。
1907年，因“上 书”黑龙江巡抚程德全，论述黑龙江兴革事宜，得程赞赏，程专折奏调，先后任黑龙江抚院秘书官、调查局总办、财政局会办等职。武昌首义后，张以“参议”身份，随唐绍仪赴沪参与南北议和。袁世凯、黎元洪任临时大总统和总统期间，先后任国务院铨叙局长、国务院秘书长、-秘书长、政治会议副议长、参政院参政、政事堂右承、教育总长、农商部总长、司法总长、全国水利局总裁等要职。
张国淦虽在政界驰聘多年，但他是中国一位享有盛名的方志学家。早在从政期间，就开始史志调查研究工作。其中最具影响之作的《中国古方志考》，1916年即开始撰著。1926年，结束整治生涯后，移居天津，更潜心史志调研考究、著述，常往来于北京、东北等地。至1930年“中国方志考”（初定名）已初具规模。1937年抗战前，完成了数百万字的初稿。并应著名学者顾颉刚之请，在当时的《禹贡》上发表约十万字。顾氏评介道：“蒲圻张石公先生研究地理之学，发愤忘食，盖数十年如一朝，收集方舆国籍之富，甲于旧都（指北京）诸藏书家。遍求各省府县古今志书而读之，并辑其佚著之散见于群籍者，以及序跋评论之属，一字之涉，咸所不遗。作《中国方志考》数百卷，与宜都杨惺吾先生之《历代舆地图》，可谓泰、华并峙者矣”。由于种种原因，该书当时只作了部分发表。
中华人民共和国成立后，张国淦受聘为上海市文史馆馆员。1953年，经中央人民政府副主席董必武介绍，受聘为中国科学院近代史研究所特约研究员。并在他的同事，著名方志理论家金毓黻等人襄助下，继续进行《中国方志考》的编纂。并将该书定为前后两编。前编为秦汉至元；后编为明清至现代。1959年1月25日，张国淦病逝后，经其夫人顾佶人和助编者多方联系，“中国方志考”之上编于1962年由中华书局出版。书名为《中国古方志考》（自秦汉至元）。全书共70余万字，收录方志2200多种。书一出版，即受到学术界的高度重视，该书是学研中国方志的珍贵典籍。可惜的是，下编明、清、民国部分未能一并整理出版，而致在文革中散毁，造成无法弥补的损失。
张国淦治学严谨，用力工深，著述甚丰。有《中国古方志考》、《辛亥革命史料》、《历史石经考》、《中国书装源流》、《俄罗斯东渐史略》、《永乐大典方志辑本》、《芜湖乡土志》、《黑龙江志略》等多部史志著作。2000年，北京燕山出版社出版了《张国淦文集》，可谓集大成之书。
张国淦曾任北京市政协委员、全国政协委员。曾将私人藏书数万册捐献给湖北省图书馆。
