Comment nous avons testé l’estimateur, en entier.
Les critères ont été écrits avant toute mesure et jamais modifiés après lecture des résultats. Voici tout : ce qui a réussi, ce qui a échoué, et ce qui n’est pas encore mesuré.
Mis à jour le 2026-10-18
Ce qui a été testé
- Le modèle servi par le site : les sorties d’âge de FairFace, compressées sur 8 bits, avec la même préparation que le site (alignement du visage, quatre vues, probabilités moyennées).
- Jeu de test : la partition validation de FairFace, sous CC BY 4.0, jamais utilisée pour l’entraînement. Les étiquettes sont des tranches d’âge perçu (avis majoritaire de trois annotateurs), la même nature de réponse que le site.
- Limite connue : même source (Flickr) et même procédure d’annotation que l’entraînement. Ce n’est pas un test hors distribution, et on ne peut pas exclure qu’une même personne figure dans les deux partitions.
- Deux niveaux : le modèle seul sur un tirage aléatoire de 3 000 visages, et la chaîne complète du site dans un navigateur (détection, alignement, quatre vues) sur des tirages stratifiés de 50 visages par tranche, un nouveau tirage à chaque mesure.
- Statistiques : tranche exacte, à une tranche près, erreur moyenne et médiane en tranches, intervalles de confiance de Wilson à 95 %, échecs de détection.
Critères fixés avant la mesure
| Critère | Seuil | 3e mesure |
|---|---|---|
| À une tranche près, chaîne complète, 20-69 ans | ≥ 85 % | 94,7 %, réussi |
| Tranche exacte, chaîne complète, adultes | ≥ 50 % | 55,6 %, réussi |
| Plus grand écart entre groupes de population (adultes, modèle seul, groupes de 100 visages et plus) | ≤ 10 points | 4,1 points, réussi |
| Aucun visage trouvé | ≤ 5 % | 7,5 %, échec |
| Même tranche quand la lumière change (×0,6 et ×1,4) | ≥ 80 % | 83,3 %, réussi |
| Modèle 8 bits contre modèle d’origine, écart de précision | ≤ 1 point | 0,1 point, réussi |
Trois mesures, une journée
- Première mesure : échec. Le modèle seul était bon (96,5 % à une tranche près), mais le site recadrait les visages autrement que les photos d’entraînement : 72,5 % à une tranche près chez les 20-69 ans et 30,6 % de tranches exactes chez les adultes.
- Deuxième mesure, recadrage recalé sur la seule partition train : 93,8 % à une tranche près, 44,2 % exact, et 9,1 % de visages non trouvés. Toujours en échec.
- Troisième mesure, alignement sur 14 points du visage, comme les photos d’entraînement : 5 critères sur 6 réussis. Seul le taux de visages non trouvés (7,5 %) échoue.
Chaque changement a été réglé sur la partition train et mesuré sur un nouveau tirage de visages de validation jamais vus.
Précision par tranche d’âge (modèle seul)
| Tranche réelle | Visages | Tranche exacte | À une tranche près |
|---|---|---|---|
| 0-2 | 59 | 71,2 % | 96,6 % |
| 3-9 | 391 | 77,7 % | 97,2 % |
| 10-19 | 314 | 46,5 % | 97,8 % |
| 20-29 | 889 | 73,3 % | 98,2 % |
| 30-39 | 656 | 47,7 % | 97,0 % |
| 40-49 | 350 | 45,7 % | 94,6 % |
| 50-59 | 226 | 45,6 % | 89,8 % |
| 60-69 | 80 | 46,2 % | 91,2 % |
| 70+ | 35 | 37,1 % | 97,1 % |
La précision exacte est la plus haute chez les enfants et les 20-29 ans, et la plus basse à partir de 30 ans, où les tranches voisines sont souvent confondues. Les tranches peu fournies (0-2, 60-69, 70+) ont une forte incertitude : le chiffre des 70+ ne repose que sur 35 visages.
Précision par groupe de population (modèle seul, adultes)
| Groupe (étiquette du jeu) | À une tranche près |
|---|---|
| Noir | 94,5 % |
| Asie de l’Est | 95,2 % |
| Blanc | 95,4 % |
| Inde | 96,5 % |
| Asie du Sud-Est | 96,6 % |
| Latino-hispanique | 97,0 % |
| Moyen-Orient | 98,5 % |
Le plus grand écart est de 4,1 points. Les étiquettes de groupe viennent du jeu de données ; Face-Age ne les déduit jamais des visiteurs, et le modèle publié ne peut pas les produire.
Matrice de confusion (chaîne complète du site, troisième mesure)
| Réel \ prédit | 0-2 | 3-9 | 10-19 | 20-29 | 30-39 | 40-49 | 50-59 | 60-69 | 70+ |
|---|---|---|---|---|---|---|---|---|---|
| 0-2 | 30 | 13 | 1 | · | · | · | · | · | · |
| 3-9 | 2 | 37 | 3 | · | · | · | · | · | · |
| 10-19 | · | 7 | 22 | 8 | · | · | · | · | · |
| 20-29 | · | · | 3 | 31 | 4 | · | · | · | · |
| 30-39 | · | · | 1 | 11 | 24 | 4 | 1 | · | · |
| 40-49 | 1 | 1 | · | 2 | 14 | 16 | 3 | 1 | · |
| 50-59 | · | · | · | 1 | · | 10 | 17 | 8 | · |
| 60-69 | · | · | · | · | · | 2 | 14 | 16 | 2 |
310 visages détectés sur 399 tirés (30 sans visage trouvé, 59 refusés pour plusieurs visages). Les cases en gras sont les bonnes réponses. La plupart des erreurs tombent dans la tranche voisine ; à partir de 40 ans, les visages ont tendance à être placés une tranche plus jeune. Il ne restait aucun visage de 70 ans et plus inutilisé dans la partition validation : cette tranche est absente ici.
Stabilité à la lumière
Sur 108 visages, l’image a été assombrie (×0,6) et éclaircie (×1,4). Même tranche dans les deux versions : 83,3 % (intervalle à 95 % de 75,2 à 89,2 %). Même tranche une fois assombrie : 88,9 % ; une fois éclaircie : 91,7 %.
Ce qui reste ouvert
- Visages non trouvés sur 7,5 % des images de test, surtout de profil, tournés vers le bas ou en partie cachés.
- Aucune mesure encore sur de vrais selfies.
- La tranche 70+ non mesurée sur la chaîne complète.
- Une quatrième mesure sur un jeu indépendant (LAGENDA, autre source, votes d’âge apparent) est écrite dans le protocole, avec les mêmes critères ; ses résultats seront publiés ici, quels qu’ils soient.
Le 18 octobre 2026, l’éditeur a décidé de retirer le badge PROTOTYPE avec 5 critères sur 6 réussis. Voir méthode et limites.