Situé face au port de plaisance de Gijon/Xixón, à côté de la statue de Don Pelayo, le palais date du XVIIIe siècle, bien que l'une de ses deux tours soit du XVe.
Le bâtiment, tel que nous le connaissons aujourd'hui, est sans doute attribuable à l'architecte Francisco Menéndez Camino, qui a réformé la tour originale et érigé le reste.
De l'extérieur, les deux tours carrées, plus hautes que le corps central sont surmontées de créneaux et ornées de baies à caractère historiciste.
Toute la richesse décorative du bâtiment est concentrée sur le corps central. Il est divisé en trois étages et cinq travées, la centrale étant légèrement plus large. Le rez-de-chaussée est ouvert par des arcades décorées et flanquées de colonnes; le premier étage ouvre sur cinq balcons et le deuxième compte cinq fenêtres.
Les travées des étages supérieurs sont marquées par des pilastres, sauf celle du centre qui est délimitée par des colonnes. Le balcon central est surmonté d'un grand panneau qui reçoit le blason des Ramirez Jove.
La partie supérieure du corps central est ourlée d'une balustrade en pierre ponctuée de pinacles.
Rattachée au palais, la Collégiale de Saint Jean Baptiste, œuvre de Pedro Muñiz Somonte, date de 1720.