El Palacio de Elsedo se construyó entre 1710 y 1715, a instancias de Francisco de Hermosa y Revilla, primer conde de Torre-Hermosa, caballero de Calatrava y alto dignatario de Felipe V, quien mandó elevar la capilla y reedificar la vieja casa solariega. Su original diseño se debe al arquitecto Francisco Agüero, nacido posiblemente en Pámanes. Entre sus obras se encuentran la colaboración en la construcción de la Capilla de Alfonso el Casto y el Panteón Real en la Catedral de Oviedo
En la actualidad, gran parte del palacio está dedicado a museo de arte moderno, pudiéndose observar obras de destacados artistas como Pablo Serrano, Berrocal, Chillida, Vázquez Díaz, María Blanchard, Gutiérrez Solana, etc.
