En 1909 sus propietarios decidieron abandonarla, a causa de una gran inundación producida por los ríos Cabe y Pousavedra, durante la que se ahogó todo el ganado que poseían. Los desbordamientos de ambos ríos en esta zona eran constantes y por dicha causa cada vecino tenía su propia barca.
Próximo a esta zona se encuentra el lugar de A Veiga de Camporrairo. Parece ser que aquí estuvo asentado un campamento militar de legiones romanas, que tendría como objetivo la defensa del Castro Dactonio. En estos terrenos fueron localizados restos de varias piedras de molino de origen romano y abundantes tégulas.

Leyenda con dos versiones:
Sobre el Palacio de Camporrairo pesaba una triste leyenda sobre el derecho de pernada, una ley medieval no escrita, que sólo aplicaban algunos nobles. Uno de ellos, al parecer, era Rodrigo de Canaval. En aplicación de esa ley, la novia tenía que pasar la primera noche con el noble.
Una pareja de novios nativa de Canaval sufrió en sus propias carnes esa práctica, y sobre lo que ocurrió circulan dos versiones distintas:

La primera lo cuenta de la siguiente manera: el día de la boda el novio se disfrazó con las ropas de su esposa. De esta guisa burló la vigilancia de los guardias y del propio Rodrigo de Canaval. Este le ordenó desnudarse y acto seguido el novio sacó de látigo amenazando al conde con que o suprimía la ley de pernada o de lo contrario lo mataba allí mismo. A raíz de este frustrado encuentro, el conde cedió y abolió aquella norma.

La otra versión dice que una vez consumado el derecho de pernada con la novia, el esposo indignado se vistió de mujer, entró en el palacio y lo incendió. De ahí, cuentan en Camporrairo, que apareciesen granos de trigo quemados entre los restos del palacio.