Bruno Legeard

Qui est Bruno Legeard ?

Chef de AI Lab

De quoi va parler Bruno Legeard?

Un agent IA qui sait dire “J’ai un doute”, et qui apprend de vous.
Créer une relation de confiance critique et apprenante entre les professionnels QA et leurs IA de test

En deux ans, l’état de l’art des agents IA d’exécution de tests sur l’IHM a franchi un cap : plus de 85 % de résultats corrects sur des benchmarks significatifs. Le sujet aujourd’hui n’est plus la performance brute, ce sont les cas résiduels, ceux où l’agent se trompe. Et vous ne voulez pas avoir à le surveiller en permanence.
La bonne nouvelle : on sait détecter quand l’agent doute et risque de se tromper. Cela ouvre deux possibilités très utiles : l’agent indique “j’ai un doute”, et un dialogue s’engage entre l’agent IA et le QA pour lever les incertitudes et apprendre.
C’est ce changement de paradigme que je souhaite partager dans cette présentation, en m’appuyant sur deux ans de retour d’expérience. La présentation s’articule autour de trois mécanismes concrets.

Mesurer rigoureusement : un cadre d’évaluation qui va au-delà du verdict final pour mesurer la précision de chaque étape et la reproductibilité des résultats de l’IA lors de l’exécution des tests.

Savoir s’arrêter et dialoguer : quand l’agent doute, il n’invente pas. Après l’exécution, il pose des questions au QA. Un agent qui sait douter est plus fiable qu’un agent qui tranche toujours.

Apprendre, mémoriser et utiliser la connaissance : chaque dialogue forge des items de connaissance dans la mémoire à long terme de l’agent. Ainsi, l’agent ne pose pas deux fois la même question. Il utilise les connaissances acquises pour réaliser correctement sa tâche, en s’adaptant aux pratiques et aux attentes de l’équipe QA pour laquelle il opère.

Ce qui émerge, c’est un nouveau rôle pour le QA : ni surveillant passif ni remplacé, mais éducateur d’un agent IA qui gagne en autonomie tout en laissant au QA le contrôle sur ce qui compte.