On l'appelle parfois le pont gallo-romain ou le pont Jules César au prétexte que le général Romain aurait emprunté un pont antérieur à celui-ci, uniquement destiné au passage des piétons.
Or, lors de travaux effectués en 2017, l’architecte des Monuments historiques et celui des Bâtiments de France ont fait appel à un historien et le pont dit Gallo-Romain est plutôt attesté comme un pont du haut Moyen Âge. Des vestiges de voie romaine à proximité, ainsi que les matériaux utilisés, ont à tort donné son nom à ce pont qui, selon les résultats de cette étude historique, ne daterait pas de l’époque romaine, mais serait bien plus récent.
Il daterait en effet de l'époque romane (VIIᵉ siècle). Il est doté de quatre arches inégales. Chaque pile est flanquée d'un éperon. En aval, cet éperon ne s'élève pas jusqu'au tablier ; il s'élève au-dessus de lui, ce qui lui donne un aspect tout particulier et le rend unique dans l'ouest. Il fut en partie restauré au Moyen Âge. Une arche ogivale en est la preuve.
Il a été inscrit à l'inventaire des Monuments Historiques par arrêté en date du 14 mai 1925.
À la suite de crues qui l'ont fragilisé en 2014-2015, il a été totalement restauré en 2018 et permet désormais une liaison douce avec un franchissement piétonnier et sécurisé.