Al término de la Reconquista de Málaga, el caballero Diego Romero, recibe por merced de los Reyes Católicos, 100 fanegas de tierras en el término de la ciudad de Málaga (año 1490).

En 1494 le fueron dadas otras 20 fanegas como parte de las 100 previamente otorgadas en el lugar de la Pizarra, junto a otras dos caballerías de tierras que había adquirido por compra de vecinos y vecinas pobladores de la villa de Álora. Sobre estas tierras levantó el primer edificio, su cortijo, y andando el tiempo se hizo edificar su casa solariega. Junto a él, erigió la primera iglesia y entregó los primeros solares para levantar casas. Fue por tanto, el fundador de nuestro pueblo. Su única hija, Doña Juana Romero de Orellana, casada con Gonzalo Suárez de Figueroa, fundó un Mayorazgo sobre las tierras heredadas de su padre en el año 1535, que subsistiría hasta el siglo XIX.

El actual palacio, de estilo neomudéjar, fue edificado a principios del siglo XX, sobre los cimientos de las viejas casas del Mayorazgo. El edificio consta de una parte central de dos plantas y tres laterales (torres) de tres plantas. Rodeado de un amplio y bello jardín con gran diversidad de especies botánicas. Entre estas últimas, destaca la Glicinia, procedente de China. Es una planta trepadora muy potente, capaz de estrangular árboles y hierros, y cuya floración tiene lugar en el mes de Marzo. Esta planta la podemos encontrar, además de en “la Casa del Conde” en el Cenador del Jardín Botánico de la Finca de la Concepción de Málaga.

Entre las posesiones del Palacio sobresalen las pinturas de Goya, Madrazo, Coello y otros autores. De Goya destacamos el famoso Retrato de Carlos III Cazador, del que el autor efectuó tres. Uno de ellos se encuentra en el Museo del Prado de Madrid y otro es el existente en Pizarra. Esta y otras obras de Goya son pertenecientes a Doña Mercedes Falcó y Anchorena, Duquesa del Arco y Condesa viuda de Puerto Hermoso, descendiente del Duque de Fernán Núñez, uno de los máximos mecenas del pintor aragonés en su día. También destacan tapices, porcelanas orientales y trabajos de platería.

Del salón, la techumbre, elaborada con arreglo a la técnica del artesonado mudéjar, semejante a la empleada en la Iglesia de San Pedro Apóstol. En el hall, sobresalen la escalera colgante y la gran chimenea.  En algunas dependencias de la casa, se utiliza la técnica del estuco para revestir las paredes.

Cabe destacar la pernocta del Rey Alfonso XIII en su visita a Pizarra, el 21 de Mayo de 1921, y la celebración denominada “Conferencia de Pizarra” o “Conferencia de Marruecos” por el gabinete del presidente Maura, entre los días 4 y 6 de febrero de 1922, para la planificación del territorio comprendido en el protectorado español de Marruecos, cosa que no se lograría hasta 1925 mediante el desembarco de Alhucemas bajo Primo de Rivera. Ha sido siempre la residencia particular de los Condes de Puerto Hermoso, motivo por el cual no puede ser visitado por el público, salvo en contadas ocasiones especiales.