1930年8月12日，中国科学社在青岛举行第十五届年会，我国著名的科学家和文化名人荟萃青岛。蔡元培先生鉴于青岛市环境优美，海产丰富，有利于开展海洋学研究，便联合 李石曾、杨杏佛等向与会的各位科学家倡议在青岛组织中国海洋研究所，开展海洋学研究。在当时青岛市政府的承诺下，发起成立了中国海洋研究所筹备委员会。

    年会期间举行了第一次筹委会会议，推定胡若愚、蒋丙然、宋春舫为常务委员，胡若愚为委员长，并议决先行开办水族馆，建筑及开办经费预定22500元，由青岛市承担一半，择定海滨公园（现在的鲁迅公园）为馆址。1930年10月17日，中国海洋研究所第二次筹备会在南京举行，蔡元培先生主持会议，宋春舫汇报筹备计划。在蔡元培先生努力之下，会议最后议决由中央研究院、北平研究院、海军部、教育部、工商部、农矿部各拨2000元作为建设水族馆的补助经费。不久又在上海举行了第三次筹备会议。因常务委员胡若愚辞职，筹委会公推青岛市长沈鸿烈为常务委员长，并推荐蒋丙然为水族馆馆长。

    馆的建设由青岛观象台海洋科负责设计并组织施工。观象台接受委托后，即派人赴大连水族馆调查。因为当时亚洲大陆，只大连有一座水族馆，调查人员根据调查绘制了详细图纸和说明书向筹委会报告。对于青岛水族馆的建筑风格是采取欧式还是中式，筹备委员会内部曾有激烈争议。最终决定采用体现中国民族风格的古城垣式。据沈鸿烈的开幕词，之所以不采取青岛流行的西洋建筑，主要是想“表现吾国固有之文化”，在青岛中国式建筑凤毛麟角，水族馆坐落在游人如织的海滨公园，必然给中外游人以深刻印象和优美观感。

    青岛水族馆从1931年1月开工建设，1932年2月建成，5月8日举行了开馆典礼，9月起对外展出。青岛水族馆当时是东亚最好的海洋生物展览馆，并成为青岛海滨的标志性建筑。

    水族馆建成后，与青岛观象台联合开展海洋学研究。1935年4月太平洋科学协会中国分会成立，蔡元培丁文江先生又建议在青岛设立海洋生物研究室，委托青岛观象台及山东大学主持，并代为筹措年度经费。青岛海洋生物研究室后来成为太平洋科学协会中国分会四个著名海洋生物研究机构之一。