Le site fortifié de La Garde-Freinet occupe une surface d’environ 1200 m², s’étalant sur une grande partie de la colline surplombant le village. Il est ceinturé par un large fossé au Nord. Occupant le sommet de la colline, le château s’étend sur une esplanade de 120 m². Il est clairement séparé du village en contrebas par une rue, la première en arrivant par le chemin médiéval. Composé d’une quarantaine de cabanes dont la moitié a déjà été dégagée, le village s’étage en demi-cercle sur 3 ou 4 niveaux sur le versant Nord-Ouest. ATTENTION chemin escarpé !
Si les origines de ce castrum restent obscures, les circonstances de sa destruction sont quant à elles parfaitement connues. En novembre 1589, alors que les guerres de religion faisaient rage, le capitaine Montant, sur l'ordre du maréchal de La Valette, alors Lieutenant-Général du Duc d'Epernon, contraignit les habitants à démanteler le château afin que les huguenots ne puissent pas s'en emparer.
Ce castrum se composait de 3 secteurs :
- le château qui occupait le sommet de la colline,
- le village adossé au flanc sud de la falaise,
- un avant-poste occupant un sommet isolé.
L'originalité de ce site réside dans l'art avec lequel ses bâtisseurs ont su utiliser le rocher. Les habitants ont fait mieux que de s'adapter au milieu minéral, ils ont adapté ce dernier à leurs besoins, profitant des moindres accidents du terrain pour établir leurs demeures.
Le Fort-Freinet est classé site naturel remarquable.