Ocupa una extensión aproximada de unos 15.200 metros cuadrados está rodeado por unos grandes jardines cerrados. Fue durante mucho tiempo el antiguo casal de los condes de Ayamans y barones de Lloseta. Con los siglos sufrió sucesivas reformas y, de hecho, actualmente no se conserva nada del edificio primitivo. Tampoco existen documentos referentes al palacio, anteriores a la reforma que se realizó a finales del siglo XIX.