Pendant le Moyen Age, la construction d’un colombier (pigeonnier) était un privilège réservé à la féodalité. Le pigeonnier était un signe extérieur de richesse. En effet, sa grandeur dépendait de la superficie en culture de céréales du domaine. Au Moyen Age, la possession d’un colombier à pied, construction en dur séparée du corps de ferme – ayant des boulins de haut en bas – était un privilège du seigneur haut justicier. Pour les autres constructions, le droit de colombier variait suivant les provinces. Les colombiers devaient être en proportion de l’importance de la propriété, placés en étage au-dessus d’un poulailler, d’un chenil, d’un four à pain, d’un cellier…
Généralement, les volières intégrées à une étable, une grange ou un hangar, étaient permises à tout propriétaire d’au moins 30 arpents (environ 2.5 hectares) de terres labourables, qu’il soit noble ou non, pour une capacité ne devant pas dépasser suivant les cas 60 à 120 boulins. Dans la pratique, le pigeonnier était utile à plusieurs choses : il fournissait une viande très appréciée, mais son rôle essentiel était, peut-être la fourniture d’engrais (la colombine), pour le potager notamment. Les pigeons servaient également au dressage des faucons pour la chasse. Mais les pigeons étaient vus comme une catastrophe par les cultivateurs, en particulier au moment des semailles. Il était donc nécessaire d’enfermer les pigeons dans le colombier lors des semis agricoles, en obstruant les ouvertures du colombier. Dans de nombreuses régions, les cahiers de doléance demandèrent la suppression du privilège de posséder un pigeonnier. Cela qui sera entériné lors de la fameuse nuit du 4 août 1789 par les députés de l'Assemblée constituante(abolitions des privilèges).
A Gordes, se trouvent trois bories dites "Les Trois Soldats", où deux pigeonniers en pierre sèche encadrent une cabane de paysan. Le dispositif d’envol se trouve au-dessus du linteau de l’entrée ; au fond d’un vide rectangulaire, une dalle en molasse calcaire posée de champ est percée de deux trous au carré pour le passage des pigeons.