從前，有一群仙女變成白天鵝從天而降，飛到余吳湖上，她們在湖南岸戲水時，一名男子對仙女產生愛慕之意，便讓狗偷走一件仙女羽衣。因此，一名年輕的仙女因沒有羽衣而無法飛行，這名留在人間的仙女成了該男子的妻子，並生養了4個孩子。之後，身為仙女的母親發現羽衣並穿上飛回了天宮。該傳說中，掛仙女羽衣的柳樹便是這棵樹。