Cette très belle et immense demeure dominant l’étang cache bien ses origines. Pas facile en effet d’imaginer qu’il y avait là un véritable château-fort, avec 2 corps de logis entourés de hautes murailles crénelées, douves, pont-levis et tour de défense de 4 étages.
En ce qui concerne les douves et le pont-levis, nous pouvons vérifier sur le plan cadastral de 1820.

Pour le reste, nous avons la description faite en 1669 lorsque Sylvain de Rochedragon rendit hommage au roi de son fief de La Vaureille .
De ces hautes murailles crénelées, subsistent sur la façade Ouest une rangée de corbeaux ( mâchicoulis ? ) qui devaient soutenir un chemin de ronde , juste à côté de la fameuse tour carrée maintenant intégrée à la dite façade.

Les parties les plus anciennes, dont la tour ronde, sont vraisemblablement du XV ème siècle. Les transformations les plus importantes, avec la construction de l’aile Nord-Est, furent réalisées au XIX ème par la famille de Courthille.

Le premier propriétaire connu est Christophe Barthon de Montbas, seigneur de Peyrat en 1500. Sa fille Marguerite épousa en 1515 Jean de Rochedragon, seigneur de la Villate (commune de Tardes ), Marcillat ( près de Montluçon), Puy-Malsignat et autres lieux.
Sébastien de Rochedragon, petit-fils de Jean, acheta la seigneurie de Haute-Serre en 1614 puis La Chassagne en 1620. Ce n’est qu’en 1776 que Marie Odile, veuve de Claude de Pouthe du Chiroux, vendit le domaine de Chaux à Françoise de Gamaches, veuve de Jean-Joseph de Rochedragon.
Au début du XVII ème, Sébastien et son fils Geoffroy habitaient le plus souvent à La Villate, question de confort sans doute. A partir de 1669, La Voreille devint la résidence privilégiée pour Sylvain, né à La Voreille en 1638, puis pour son fils Jean né en 1672 et son petit-fils Jean-Joseph né en 1714. Mais l’attrait de la ville était sans doute le plus fort puisque les suivants Jean Baptiste et Jean-François sont nés à Montluçon en 1741 et 1744.
Les de Rochegragon appartenaient à la noblesse de chevalerie et lui firent honneur tout au long des générations :

• Sylvain , page de la grande écurie, capitaine de chevaux légers.
• Jean, capitaine de cavalerie.
• Jean-Joseph : chevalier de Malte.
• Jean-François : colonel, maréchal de camp, nommé général par Louis XVIII en 1814.

Ce Jean-François, marquis de Rochedragon, qui avait plusieurs propriétés à Montluçon et dans le Berry, vendit le château de La Voreille en 1812 et pour 120 000 francs à François Jean de Courthille de Saint-Avit, marquis lui aussi, colonel de cavalerie et chevalier de Saint-Louis.
Ce nouvel habitant convenait tout à fait pour devenir maire de la commune, fonction créée par la Révolution mais conservée sous l’ Empire et la Restauration. Nommé par le préfet en 1816, François Jean occupa le poste jusqu’à sa mort en 1830.Son fils Charles Constantin fit de même entre 1847 et 1870.
Mais le plus illustre de la famille est sans aucun doute Charles Félix Edgar, petit fils de François Jean par sa fille Constance, qui fit une brillante carrière dans la marine, jusqu’au grade de vice-amiral, mais qui décéda subitement en 1903 à bord du Masséna dans le port de La Pallice.
Sa petite fille Odile, née à Peyrat en 1905, épousa en 1930 le baron Paul de Lamberterie du Cros. Pour de nombreux peyratois, ce nom est intimement associé à La Voreille, mais c’est un prénom qui vient immédiatement à l’esprit : celui de Guy, maire de la commune de 1977 à 2010, mais aussi conseiller général, conseiller régional, infatigable défenseur de la ruralité.