斗富桥的历史可以追溯到南宋时期，那时的杭州是南宋的都城，繁华异常。相传，将军王佐因在抗金战役中立下大功，被推荐为安乐王，并获准在杭州城内修建王府。然而，在王府的建造过程中，王佐发现百姓们的生活受到了一定的影响，于是决定为百姓修建一座桥，以方便他们的往来。这一举动赢得了百姓的广泛赞誉，这座桥后来被称为“安乐桥”。

然而，这段佳话并未就此结束。秦桧，这位权倾一时的宰相，在听闻王佐造桥的事迹后，心生嫉妒。他决定与王佐一较高下，于是在安乐桥不远处的同一条东河上，并排建造了三座桥，一座比一座阔，一座比一座高，以此来展示自己的财富和权力。在三个月后，三座桥竣工。秦桧亲自为它们取名为“斗富一桥”、“斗富二桥”和“斗富三桥”。

随着时间的推移，“斗富”一词在杭州话中与“豆腐”发音相近，因此，百姓们便戏称这三座桥为“豆腐桥”。这一称呼一直沿用至今，成为了杭州人茶余饭后的谈资。

需要注意的是，关于斗富桥的名称，历史上存在一些变化。例如，斗富一桥在宋代称为通利桥，明代称为平安一桥，后称斗富一桥。斗富二桥在宋代称为米市桥，明代改称平安二桥，俗呼斗富二桥。斗富三桥在宋代称为五柳庄桥，民国六年（1917）重修，二十世纪八十年代改建。

综上所述，斗富桥的来历与南宋时期的政治斗争和民间传说密切相关，其名称经历了多次变化，最终形成了今天我们所熟知的“豆腐桥”。