En el pasado fue fortaleza musulmana y frontera entre musulmanes y cristianos. Una vez conquistado el reino de Toledo por Alfonso VI y reconquistado por Alfonso VIII, se le dio potestad de Portazgo, pasando a ser una plaza comercial muy importante.
Esta plaza era controlada por la Orden de Santiago y tema de litigio con el arzobispo Cerebruno, que quería controlar los tres pasos del Tajo: Zorita de los Canes, Toledo y Alarilla.
El Portazgo estaba ubicado en el morrón, donde existía un azud en el río y daba servicio a una hospedería. A este paso se le llamó la Llave del Tajo.
Son muchos y variados los productos enumerados y el pago es distinto si es moro o cristiano.
En la actualidad está ubicada la Ermita de la Virgen de Alarilla donde, según la leyenda, se le apareció la Virgen al pastor y mandó que se construyera la Ermita.
Cada segundo fin de semana de septiembre se va de romería para recordar aquel hecho y dar honor a la Patrona, llevándola en andas desde el pueblo. Es típica la merienda y después de cantar las alabanzas, al anochecer se vuelve en procesión portando antorchas hasta el pueblo, que dista unos 3 kms. para posteriormente celebrar la embarcación.