Au moyen âge, Varaire était localisé sur le lieu dit "Peyrounasse" (sud ouest de Saint Jacques de Peyrounasse) situé le long de la Saint Jacques de Peyrounasse reliant Rodez à Cahors. Déjà Saint Jacques de Peyrounasse ou "Varadeto" était un lieu de passage des voyageurs, commerçants et pèlerins. Un hôpital avait d’ailleurs était construit, appelé Saint Jacques de Peyrounasse. C’était notamment une maison qui accueillait les voyageurs.Dès le XIIIe siècle, un hôpital avec une église, connu sous le nom de Saint-Jacques-de-Peyronèse (ou de Peyrounasse) accueillait les pèlerins ; encore aujourd’hui au bord de la voie romaine, on trouve une croix sur un petit muret qui en marque l’emplacement et que les villageois appellent la croix de Pétronille.
En 1561, existaient encore deux auberges où pouvaient s’arrêter les voyageurs. De la même époque, demeure dans le village une tour, vestige du château, et le lavoir communal aux dimensions vraiment seigneuriales car il en fut le vivier.