Se comenzó a construir sobre 1430, y se concluyó en el siglo XVI, siendo desde el momento de su construcción residencia de los duques de Alba de Tormes. La sobriedad de los severos muros de la antigua Torre del Homenaje, contrasta con la grandeza de su interior, donde la Sala de la Armería muestra frescos renacentistas realizados por el italiano Cristóbal Passini. La sala baja alberga una exposición de los restos arqueológicos encontrados en las excavaciones realizadas en el propio castillo en 1993.