解放前，金华没有一座水库，农田灌溉靠老祖宗留下来的山塘、水塘以及一些临时性堰坝工程。

1956年、1957年毛泽东到南方视察，在火车上看到金（华）兰（溪）汤（溪）交界处一大片白花花干枯枯的连片无收田，曾指示浙江省委要尽快解决这一带的水利问题。时任浙江省委书记江华等领导多次到金华与地委、专署领导和省地水利部门共同勘察研究，计划兴建金兰汤水库。

1958年９月，汤溪划归金华县后改名金兰水库。当时从全地区十八县抽调民工参加义务劳动，民工们肩挑手扛，日夜奋战，用了两年时间，水库于1960年9月建成投入运行。

1998年，金华市政府投资建成金沙湾水厂和市区引水管道工程，金兰水库开始承担向金华市区供应原水的任务。

金兰水库的水质长期保持在Ⅱ类以上，优质的水源成为金华城市发展的一张“金名片”，至今发挥着巨大的作用。