Esta torre formaba parte de lo que fue la antigua colegiata de Saint-Martin, uno de los edificios religiosos más grandes de occidente, que fue construída en honor a St Martin, obispo de Tours en el siglo IV.
La basílica ya no existe, fue cayendo en ruinas a lo largo del siglo XVIII, para terminar de ser destruída totalmente durante la Revolución Francesa. De ella quedan sólo se conservan la Torre de Carlomagno y la Torre del Reloj.
Fue renovada a principios del siglo XX.