Conformité à l’EU AI Act pour les systèmes d’IA à haut risque

Les systèmes d’IA à haut risque au titre de l’EU AI Act doivent démontrer leur conformité dans huit catégories opérationnelles avant leur mise sur le marché européen : système de gestion des risques (article 9), gouvernance des données (article 10), documentation technique (article 11), tenue des registres et journalisation automatique (article 12), transparence et information des utilisateurs (article 13), supervision humaine (article 14), exactitude, robustesse et cybersécurité (article 15), et système de gestion de la qualité (article 17).

Pour la plupart des équipes IA, les catégories les plus difficiles à documenter de manière crédible sont la gouvernance des données et la cybersécurité. La gouvernance des données exige de démontrer que les jeux d’entraînement, de validation et de test sont représentatifs des populations et cas d’usage européens visés par le système. La cybersécurité exige des preuves documentées de tests adversariaux montrant la résilience face à l’injection de prompts, aux jailbreaks et à d’autres attaques. Aucune de ces catégories ne peut être couverte par une documentation informelle de bonne foi.

La plupart des équipes IA sous-estiment trois écarts de conformité précis. D’abord, la représentativité des jeux de données pour un déploiement européen. Les systèmes entraînés principalement sur des données anglophones répondent mal à l’exigence de l’article 10 portant sur des données représentatives du cas d’usage européen prévu. Ensuite, les preuves de tests adversariaux pour la conformité cybersécurité de l’article 15. Sans résultats structurés de red teaming couvrant l’injection de prompts, les jailbreaks et l’empoisonnement de données, il est difficile de démontrer une cybersécurité appropriée sous examen réglementaire. Enfin, la documentation de la méthodologie d’annotation. Les systèmes ayant utilisé des pipelines d’étiquetage automatisé sans accord inter-annotateurs documenté, protocoles de calibration ou validation par expert domaine ne peuvent pas démontrer la qualité de gouvernance des données exigée par l’article 10.

Ces lacunes ne se comblent pas rétroactivement en rédigeant de meilleurs rapports. Elles nécessitent un véritable travail d’évaluation : tests multilingues, red teaming, calibration des annotateurs, mesure de l’IAA. La documentation reflète le travail réalisé ; elle ne peut pas le remplacer.

DataVLab fournit des services d’évaluation conçus pour produire les preuves documentées requises par la conformité des systèmes d’IA à haut risque. Cela inclut l’évaluation multilingue par des annotateurs natifs basés dans l’UE en français, allemand, italien, espagnol et autres langues européennes, afin de produire les preuves de représentativité exigées par l’article 10. Cela inclut aussi des tests adversariaux structurés selon OWASP Top 10 for LLMs et les cadres NIST AI RMF, afin de produire les preuves de cybersécurité exigées par l’article 15 ; la construction et la calibration de jeux de préférences avec accord inter-annotateurs documenté, afin de produire les preuves de gouvernance des données exigées par l’article 10 ; et des suites d’évaluation personnalisées de 100 à 200 cas de test domaine, avec grilles documentées et critères de réussite/échec, afin de produire les preuves d’exactitude et de robustesse exigées par l’article 15.

Chaque mission produit une documentation conçue pour soutenir l’évaluation de conformité, la due diligence d’achat entreprise et les demandes réglementaires. Le dossier de preuves est structuré pour correspondre directement aux articles et annexes examinés par les évaluateurs.

Pour les systèmes nécessitant une évaluation par organisme notifié au titre de l’annexe VII, la capacité des organismes notifiés est désormais contrainte et un engagement précoce devient essentiel.

L’ordre de priorité pratique pour les équipes qui démarrent maintenant est le suivant : inventorier et classer les systèmes d’IA, puis traiter en parallèle la gouvernance des données et les tests adversariaux, car ce sont les chantiers qui prennent le plus de temps calendaire, puis construire la documentation technique autour des preuves d’évaluation produites. Les missions DataVLab sont conçues pour alimenter directement la phase de documentation technique, ce qui réduit le calendrier total de conformité par rapport à des approches séquentielles.

Pour les éditeurs IA vendant aux entreprises européennes, la documentation de conformité sert également de support d’achat. Les acheteurs entreprise exigent de plus en plus une conformité démontrée à l’EU AI Act comme condition de sélection fournisseur, et non comme réflexion tardive.