关于望夫石，也有一段历史传说。相在4000多年前，我国黄河流域连续发生特大洪水。黄河改道南流，夺取了淮河中下游河道，黄河夺淮入海使得整个民族陷入空前深重的灾难当中。这时候，尧主持召开部落联盟会议，研究水患问题。人们一致推荐有治水传统的夏族首领鲧也就是禹的父亲主持治水。鲧采用“堙障”的办法，修筑堤坝围堵洪水。但是洪水如此凶猛，所修筑的堤坝频繁地被大水冲垮。鲧因为治水不利而被处死。
禹继承父志，决心根治水患，造福黎民，为了找到治水的良方，他不辞千里跋涉，从黄河流域来到了淮河边上的涂山。最终禹凭借一片坚贞，从涂山氏国酋长蒙那里得到秘藏的《水经图》，同时赢得了蒙之爱女的芳心。蒙之爱女也就是司马迁在《史记•夏本纪》中所记载的“夏后帝启，禹之子。其母涂山氏之女也。”
禹娶了涂山氏女，婚后不久便离家治水去了，一别十三年不回家园。禹采用疏导的方法治水，他开渠排水、疏通河道，把洪水一路引向了黄海。为了疏通淮河，禹劈开荆、涂二山，从此这两座山便夹淮河而对立了。而此时他的妻子涂山氏也生下了儿子启，婴儿正在哇哇地哭，禹从门外经过，听见哭声，也狠下心没进去探望。“三过家门而不入”的千古佳话就此流传。