À l’instar du test d’anglais TOEIC, l’AICET -Artificial Intelligence Competence Evaluation Test - évalue les compétences en matière d’intelligence artificielle avec un score lisible, comparable et exploitable dans le temps. Ce nouveau standard devrait se déployer rapidement en France mais aussi à l’étranger, comme l’annoncent ses créateurs, le chercheur Gabriel Krouk, directeur de recherche CNRS et directeur scientifique de la start-up Bionomeex, et Arnault Ioualalen, président de Numalis, en partenariat avec l’Université de Montpellier. Entretien croisé.
D’où vient l’idée de ce test de l’IA et comment s’est structuré le collectif ?
Gabriel Krouk : L’idée est apparue en répondant à un appel à projet avec l’Université de Montpellier dans le cadre de France 2030 pour la création d’un cluster IA montpellierain. Nous nous sommes rendu compte qu’il n’existait pas de mesure de la connaissance de l’IA auprès des étudiants, alors que les formations commençaient à se structurer. Nous avons décidé de nous lancer dans la création d’un instrument robuste pour apprécier la réalité des compétences en IA. De là est né le principe d’un test articulé en dimensions complémentaires. Les premiers ateliers ont servi à cadrer l’architecture, puis des pilotes ont validé la capacité du dispositif à discriminer les niveaux et les profils.
Arnault Ioualalen : Du côté industriel, la demande était claire : disposer d’une mesure opposable pour recruter, affecter des personnes sur des projets et piloter la montée en compétences. Nous avons choisi une gouvernance partagée avec l’Université de Montpellier pour garantir la qualité scientifique et l’indépendance, et nous avons formalisé la méthode dans un cadre ouvert, accessible et transparent. L’objectif, dès l’origine, était de bâtir un standard utile et équitable, capable d’accompagner l’IA telle qu’elle s’invite désormais dans tous les métiers.
En quoi ce projet est-il opportun, et que promet-il d’apporter très concrètement ?
G.K. : Dans de nombreuses organisations, chacun peut se dire « expert IA » sans qu’aucune mesure ne permette d’en attester. L’intérêt d’AICET est précisément d’objectiver ces compétences par un score clair.
A.I. : Pour les entreprises, AICET devient un outil de pilotage : cartographier les forces et les fragilités d’une équipe, ajuster le plan de développement des compétences, puis suivre un actif immatériel « compétences IA » à l’échelle d’un groupe. C’est ce qui intéresse aujourd’hui des acteurs de l’aéronautique, de la publicité ou encore de la pharmacie, l’IA s’insérant de manière transversale dans leurs métiers.
À qui AICET s’adresse-t-il ?
A.I. : Nous visons d’abord le marché B2B, puis l’enseignement supérieur pour valider des acquis en formation initiale. Le grand public viendra dans un deuxième temps. Si techniquement, évaluer une personne ou mille ne change pas le cœur du dispositif, il est nécessaire de s’appuyer sur une organisation pour réaliser les inscriptions, valider des centres d’examen, assurer les facturations… Nous sommes en cours de structuration d’un réseau de partenaires pour y répondre.
Pourquoi avoir formalisé AICET en SPEC AFNOR ? Qu’apporte ce cadre ?
G.K. : Dès le lancement du projet, nous avons identifié le besoin de nous appuyer sur un référentiel public, lisible et opposable qui rende le dispositif reproductible et comparable d’une organisation à l’autre. La SPEC AFNOR fixe les niveaux, les axes évalués et les modalités d’administration et décrit aussi la gouvernance et les principes de transparence. Autrement dit, elle évite le “test maison” opaque car chacun sait ce qui est mesuré, pourquoi, comment, et les résultats deviennent interprétables et portables dans un CV, ou sur un profil professionnel.
A.I. : Côté entreprises, c’est un gage de confiance pour les directions RH, les acheteurs et, demain, les partenaires financeurs. La SPEC AFNOR clarifie le périmètre et la qualité attendue, et aligne tout le monde sur un langage commun. Elle nous donne aussi un cadre évolutif pour mettre à jour le contenu à mesure que l’IA progresse, sans basculer dans une norme trop rigide.
D’où viennent les questions ? Quelle gouvernance garantit leur pertinence dans le temps ?
A.I. : La gouvernance scientifique et éthique est assurée par l’Université de Montpellier, au sein d’un comité qui mobilise plusieurs dizaines de scientifiques pour garantir que nous évaluons les bons contenus sur le bon périmètre. Nous combinons génération par modèles de langage et curation experte, de manière collaborative.
G.K. : À ce jour, seul le niveau « acculturation » est accessible. Le test est présenté sous forme de QCM selon cinq domaines : théorique, applications, opérationnel, légal & éthique, culture générale. L’examen suit des procédures éprouvées avec sessions planifiées, supervision, banque privée distincte de la banque d’entraînement et aléa de tirage pour éviter toute mémorisation directe des items. L’ambition est d’atteindre rapidement plusieurs dizaines de milliers de questions afin de couvrir les centaines de sous-domaines de l’IA et de limiter la redondance des tirages. Pour les niveaux supérieurs, le test proposera aussi des questions ouvertes et des tâches appliquées, pour évaluer plus finement la pertinence de l’argumentation et la maîtrise opérationnelle.
Que démontrent les pilotes ?
G.K. : Les bêta-tests ont confirmé la validité de l’instrument avec une distribution normale des scores et une différenciation nette entre publics, par exemple entre ingénieurs et étudiants d’autres filières. C’est un signal fort, et nous mesurons bien ce que nous prétendons mesurer.
Qu’en est-il du déploiement ?
A.I. : Notre objectif est de toucher 30 000 personnes sur la première phase, avant montée en puissance l’année suivante. À ce jour, le pipeline est déjà substantiel ! Les demandes de clients dépassent déjà le cadre initialement prévu, comme la constitution de tests courts à partir de packs de 10 questions thématiques, par exemple « génératives » et « risques juridiques », pour qualifier des personnes en amont d’un projet précis. AICET remet l’IA à son vrai niveau, celui des preuves, et cela répond aux attentes des entreprises et de la société.
Propos recueillis par Valérie Ravinet
ITW tech & inno
Les interviews d’experts et d’expertes qui permettent de comprendre comment l’intelligence artificielle et l’innovation transforment le monde du travail. Dialogue social, droit, formation, égalité femmes-hommes, santé mentale, métiers : chaque entretien éclaire un enjeu clé des révolutions technologiques.
