El palacio, situado frente al puerto deportivo de Gijón/Xixón y junto a la estatua de Don Pelayo, es una construcción del siglo XVIII, aunque una de sus dos torres es originaria del siglo XV.
La construcción que hoy contemplamos, responde seguramente a traza del arquitecto Francisco Menéndez Camino, quien reformaría la torre originaria y levantaría el resto de la construcción.
Externamente, las dos torres, más elevadas que el cuerpo central, son de sección cuadrada rematadas con almenas y con una decoración base de vanos de carácter historicista.
Sobre el cuerpo central se concentra la riqueza decorativa del edificio. Está dividido en tres pisos y cinco calles siendo ligeramente más ancha la central. El piso bajo está abierto por arquerías decoradas y flanqueadas por columnas, el primero está abierto por cinco balcones y el segundo por cinco ventanas.
Las calles de los pisos superiores están recorridas por pilastras, excepto la central que lo está por columnas. Sobre el balcón central hay un gran panel que soporta el escudo de los Ramírez Jove.
Toda la parte superior del cuerpo central se remata con una barandilla de piedra con Pináculos.
Adosada al palacio, se encuentra la Colegiata de San Juan Bautista, trazada en 1720 por Pedro Muñiz Somonte.
