临走时，村里的人对捕鱼人说：“我们这个地方不值得对外面的人说啊！”捕鱼人痛快地答应了。
捕鱼人出来以后，找到了他的船，就顺着旧路回去，并且处处都做了标记。等他回到郡城，却食言了，直接到太守那里去报告了桃花源的事情。
太守听到之后觉得十分神奇，立即派人跟着他去桃花源。可是，虽然捕鱼人找到了先前所做的标记，到达了桃林和大山前，却没有了山洞，再也找不到桃花源了。
南阳人刘子骥是个志向高洁的隐士，听到这件事情后，也高兴地计划前往。但是他也没有实现愿望，不久就因为思念成疾，去世了。从此以后，再也没有人问桃花源了。
趣味传说
陶渊明为我们勾勒了一幅山水田园间的世外桃源，这里没有硝烟，只有一群普通人，过着日出而作、日落而息的平淡生活。如果用神话故事的角度看，捕鱼人进入的正是一个不同于红尘世界的“另外空间”，因为它不存在于我们这个空间中，所以再也找不到了。