据考证，在新石器时代，平遥就有人类生息繁衍。传说黄帝从陕北向河北迁徙时，途经当今平遥地域，将妻嫘祖与子玄嚣留此定居。此地气候条件适宜，土资源、水资源适合制陶，制陶业兴起，陶唐氏族随之形成，玄嚣被尊为“陶唐氏”，陶唐地由此而得名。
　　相传四千年前，帝尧自涿鹿“初封于陶”，因治理有方，声望卓著，遂被推为部落联盟的首领，活动于平遥一带。后因汾河下游淤塞，洪水泛滥，晋中盆地夷为一片晋湖，这是因为人们惹怒了天帝造成的。黄帝的曾孙大禹很同情晋中盆地的人民，多次请示天帝把息壤赐给他治水。据传，天廷中有一种叫“息壤”的宝物，只要撒一点投向大地，马上就会生长加多，积成山，堆成堤，填塞洪水。天帝看着大禹坚决的样子，只好答应派他去治水。谁知，却惹怒了水神，大禹跟水神进行一番较量，水神斗不过大禹，被禹赶跑了。然后，禹让龙把息壤投向洪水。为了疏导江河，禹又用龙的尾巴划地，把汾河下游疏通。大禹奉了帝尧的旨意“打开灵石口，空出晋阳湖”后，因水害而被迫迁往各地的人们也纷纷返回故土。在这众多的返乡人流中，帝尧的两个女儿娥皇、女英也在丈夫虞舜及大臣禹、伯益等人的陪同下一起回到故土陶地。原来娥皇、女英就是帝尧住平遥时出生的。想当时因避水灾，他们随父迁往平阳。到平阳后，虽然生活安定了，但帝尧总是将治理晋阳湖的洪水当作一件大事念念不忘。他曾先后派鲧和他的儿子禹去治水，经过二十多年的努力，这片积水终于在大禹凿开灵石口后，给输送进黄河里去，而且数千年来汾河再没有发生过如此大的淤塞情况，这不得不令人叹服大禹治水的功绩。当大禹治水取得成功时，帝尧已不幸升天去世。经众首领推选，帝位由帝尧的女婿虞舜来继承。娥皇、女英为了抚慰父亲的在天之灵，决定在父亲当初的“封地”、她们的诞生地——平遥修筑一座城，这样既可以保障漂泊异地归来的父老乡亲们的居住和安全，又可向世人昭示：这里就是帝尧的发祥地——陶。
　　当她们沿着汾河溯流回到故土时，看到的竟是河泥满目，赤地千里，这下可把娥皇、女英姐妹俩难住了。究竟该在哪里修筑城池？娥皇清楚地记得，父亲总是经常指导人们制作陶罐，才使这一带的人以制陶技艺而声名远扬。安居乐业，人们为了纪念尧的美德，还将这一带称作“陶”。女英也清楚地记得，父亲当年日理万机，闲暇之时，又是如何与族友们一起设计建造了当时最华美的房屋。而这些回忆中的美好景物已都被这可恶的洪水吞没了。她们尽管从记忆中找回当年孩童时的印象，但放眼汾河两岸，除去淤泥满地，真是一无所有，只有微微熏风习习吹来。
　　正当众人一筹莫展之际，只见一只金灿灿的大乌龟从波涛滚滚的汾河中爬上岸来，人们见了无不惊异。这时，温和慈祥的帝舜用一种凝重而又和蔼的口气对他的两位爱妻说：“灵龟出现，真是大吉大兆。这可能是父皇显灵于此地，让它自由地爬行吧！它停在哪里，咱们就在哪里筑城，好让百姓重建家园。”娥皇、女英及大臣听了，都认为虞舜说得有理，于是大家就一起跟着踽踽南行的灵龟行进。当灵龟来到平遥城地面时，它就匍匐不动了。于是帝舜指着灵龟对大家说：“就在这里筑城吧。”帝舜将筑城池的任务交给大禹。大禹调集百姓，根据灵龟爬过的路线修建城池。古人建造城池时害怕“乌龟”爬走，将其左后腿使劲拉直，并用绳索拴在距城１０公里的台上，也就是后人鲁班修过的麓台塔处。过了一年半载，一座平遥龟城在大禹的亲自指挥下拔地而起，大禹成为中国历史上修筑城池的第一人。帝舜还根据尧生前传播陶器制品的功绩而将此城定名为“古陶”，并在北门外设计修筑了流传至今的“尧庙”，供世世代代的古陶人奉祀纪念。
　　这个看似虚妄的传说，折射出古人对“乌龟”的极其崇拜之情。乌龟乃长生之灵物，在古人心目中自然如同神灵一样圣洁。他们希望借龟神之力，使平遥古城坚如磐石，金汤永固，安然无恙，永世长存。