本協会の前身である上水協議会が設立された明治３７年当時の日本は、近代水道の創設期にあたり横浜市（明治２０年給水開始）、函館区、長崎市、大阪市、東京市、広島市、神戸市と主要な港湾都市を中心に近代水道が布設されていました。
　当時、これら水道事業において、建設・衛生・管理部門等の諸問題を調査研究しようとする気運が高まり、特に最も関心の高かった水質問題において「水道水質試験方法」の統一を主唱していた遠山椿吉博士（東京衛生試験所長）の呼びかけにより、「上水試験方法統一のための協議会（於：東京市）」が開催されたのが本協会の始まりです。
　翌年の第２回会議以降は、水質に関する問題ばかりでなく、浄水、配水等、水道全般に係わる問題についても検討されました。
　こうして水道事業運営上の諸問題に対して、水道関係者が集まり、英知を出し合って自ら解決策を見いだす水道界の伝統が生まれてきたのです。
　その後、全国各地で水道の普及が進み加盟都市が増加するとともに、上水協議会の果たす役割はますます重要となり、昭和７年５月１２日に内務大臣の許可を得て社団法人水道協会へと発展いたしました（昭和３１年に社団法人日本水道協会に改称、平成25年に公益社団法人日本水道協会へ移行）。
　本協会の組織及び事務局機構は、時代の変遷とともに幾度かの変更を経て、現在、会長、副会長のもとに７地方支部、４６都府県支部、５北海道地区協議会を組織し、事務局には、５部、１支所、１研究所、１センターを設置し、水道事業発展のため会員の要望に応えています。