相傳在南北朝時，桃花有個叫潘子良的傳說人，在今桃江縣城西南二十八公里處的故事一個山崖下煉丹修道，成仙后，桃花他煉丹用過的傳說水格外明凈。
　　有一日，故事桃花仙子駕云漫游到此，桃花被其吸引。傳說便情不自禁地下降云頭嬉戲于井旁，故事并將發髻上的桃花一朵桃花丟在井水里，誰知桃花落在沾滿仙氣的傳說井水里翻滾，一變十、故事十變百。桃花隨溢出的傳說井水順流而下，使整個溪流長年浮滿桃花。故事
　　另外，王母娘娘一侍女看上溪邊一石匠，便私自下界與其結為夫妻。臨產時被王母娘娘發現，生產后迫不得已被迫回到天庭，辨別時，侍女送丈夫一對玉簪，囑其插到溪流兩岸。玉簪便變成為桃樹萬棵，這條溪流也就成為桃花江。侍女生下一男一女也像其母親一樣面似桃花，美若天仙。兩岸女子經溪水沐浴，亦百般嬌美。
　　桃花江是美人窩，桃花千萬朵，比不上美人多……”三十年代，聞名作曲家黎錦輝先生一曲《桃花江是美人窩》，使桃花江名揚天下。的確，桃花江是一個山美水美人亦美的地方，這里山水如畫，景色美麗，氣候宜人，是湖南省十大旅游區之一。從此，桃花江有人間仙境之美稱。
　　鮮艷如畫桃花江 桃花江發源于寧鄉縣的龍塘，進入桃江縣境內的子良巖后，才稱桃花江，長27.8公里，有83道彎，穿山走谷，在桃江縣城桃花江港處，坎坎流入資江。
　　桃花江上游奇峰怪石，急澗瀑布相連，每當春季桃花盛開之時，中下賤兩岸山水相映，一片火紅，大有“爛漫芳菲，其色甚媚”的萬千氣象，令人留連忘返。