El origen de la familia Varela se remonta a descendientes de don Ramiro I de Aragón y a su esposa doña Ermisinda, de la casa real de Francia. La familia Varela se establece en Galicia en las Casas de Quindimil y Ramil, en la provincia de Lugo, extendiéndose hasta Pontevedra donde se asienta en las casas de Casalnovo , en Caldas de Reyes y en La Buzaca, en Moraña.

El primer Varela relacionado con Caldas es don Jorge Varela, casado con doña Inés Vázquez, señores de la casa y solar de Quindimil, padres de don Pedro Varela de Dubra.

La Casa de La Buzaca era una casa de labranza y un fortín, al mismo tiempo. Datada por vez primera como propiedad de Gomez García Varela, casado con Dominga López de Villamoure, a fines del siglo XVI. A partir de aquí la familia Varela de generación en generación y por mayorazgo continúa la linea patrimonial en la casa de La Buzaca hasta nuestros días.

Don Gómez no fija en La Buzaca su residencia. Fue Juez de paz en Caldas de 1.600 a 1.627 y hombre importante en su época.

Don Pedro Varela de Dubra y doña Inés Mariño de Lobeira son los primeros señores del Pazo. Contraen matrimonio en 1.627 y a partir de entonces, acometen las reformas convenientes para hacer de La Buzaca su hogar. Se realiza la construcción del zaguán que da entrada al pazo así como de la balconada que corona el zaguán para dar acceso al piso superior. Durante esos años se construye la capilla.

La vida discurre en La Buzaca al ritmo de su habitantes. Allí habrá mujeres y hombres sensibles al arte como doña María Antonia de Boceta, Juana Sarmiento, Teresa Novoa que van cultivando las artes de una u otra manera.

Don Diego Francisco Varela y Mariño y doña Andrea Josefa Verea Fariña son los primeros en habitar de forma permanente en La Buzaca. Adquieren piezas valiosas como el reloj inglés de la entrada, del siglo XVII y el lavabo azul inglés y construyen el espléndido palomar.

El matrimonio formado por don José Varela de Verea y doña Rosalía Verea de Aguiar vincularon la sucesión hereditaria del linaje al Pazo y Casa solariega de la Buzaca. En su tiempo se realizaron grandes reformas en la antigua casa, construyendo el magnífico escudo del portalón de entrada.

Durante el siglo XIX la Buzaca se convierte en un centro de actividad en la comarca. El primogénito de los Varela Verea, don Benito, fue juez de Xeve. Destacó en la Guerra de la Independencia y junto con su mujer asistió a los heridos en su propia casa. Su hermano, don Jacobo, se puso al frente de sus paisanos y, en un asedio en Pontevedra perdió la vida en la batalla.