Le château primitif de Lafont doit dater du Moyen Âge Central. Durant cette époque de féodalité et de guerre, le domaine possédait des remparts et des douves.

Le nom de La Font (Font signifiant Fontaine en ancien français) était déjà donné au château au XV^ème siècle dû à l'abondance de ses ressources d'eau naturelles.

Après la guerre de Cent Ans, dont la dernière bataille eût lieu en 1453 quelques kilomètres à l'ouest dans la ville de Castillon-la-Bataille, le domaine fut occupé par des familles nobles durant plusieurs siècles.

Les archives permettent de retracer un bail de Lafont signé en 1464 par le procureur de l'Archevêque de Bordeaux, seigneur puissant de la région à cette époque, à un certain Louis de Lalande. Ses descendants resteront tenanciers de Lafont pendant plus de deux siècles.
     C'est probablement durant le XVII^ème siècle, toujours sous leur occupation, que le pigeonnier fut construit.

En 1721, la famille Barraud, issue de la noblesse d'épée, acquit Lafont et l'occupa pendant un peu moins d'un siècle.
     Cette famille a transformé le domaine considérablement pendant le XVIII^ème siècle, en réconstruisant le bâtiment principal en un petit manoir, et en réduisant les autres habitations et la grange tout en les rapprochant autour d'une petite cour centrale.

Après la Révolution Française, la noblesse avait disparu et le domaine a été racheté en 1806 par Pierre Vincent Bélair, habitant d'un village voisin. Depuis, le patrimoine du Château de Lafont a été transmis de génération en génération au sein de la même famille.
     Les héritiers des Bélair seront ensuite les Sicard durant la seconde moitié du XIX^ème siècle, puis finalement les di Tullio depuis le début du XX^ème siècle jusqu'à ce jour.

L'héritage du Château de Lafont est aujourd'hui entre les mains de Bernard di Tullio, qui depuis les années 1980 a effectué d'importants travaux de restauration et réacquit les anciennes terres de vignes de la propriété. Cela a permis à Lafont de devenir une élégante Gentilhommière et un domaine vinicole de qualité.