Su origen es musulmán, época de la que se conserva el núcleo central, pero fue reconstruida por Alonso de Covarrubias en el siglo XVI.
Está formada por dos cuerpos independientes con dos altos muros almenados que los unen, formando un patio entre ellos.
El cuerpo que da a la ciudad es de arco de medio punto flanqueado por torreones cuadrados, rematados por tejados y un escudo de Carlos V en la parte superior.
El lado externo, atribuido a Covarrubias, está formado por un arco de sillares almohadillados sobre el que se apoya un gran escudo de la Ciudad Imperial, con su inconfundible águila bicéfala. Flanquean esta entrada dos grandes torreones circulares y almenados.