Senior Test Automation Engineer – AI Testing

À propos du poste

Nous recherchons un Ingénieur en Assurance Qualité, ayant de l'expérience en IA et en tests d'automatisation et de performance. Les outils d'automatisation des tests utilisés sont Python, Robot Framework, Playwright.

• Concevoir et exécuter des stratégies de test complètes pour les systèmes et modèles d’IA, incluant l'ingénierie des requêtes (prompt engineering), l’évaluation des résultats et les tests de biais/sécurité.
• Développer une compréhension approfondie du comportement des grands modèles de langage (LLM), notamment de la tokénisation, des vecteurs d'intégration (embeddings), des mécanismes d'attention et de l'inférence, afin d'anticiper les modes de défaillance potentiels.
• Concevoir des requêtes efficaces, détecter les hallucinations et les résultats hors cible, et évaluer la qualité des réponses générées selon leur exactitude, leur ton, leur cohérence et l'absence de biais.
• Appliquer des mesures d'évaluation propres à l'IA générative et établir des seuils de performance appropriés.
• Tester les systèmes d'IA intégrés à des pipelines de génération augmentée par récupération (RAG) et à des bases de connaissances, en veillant à la qualité des données et à l'exactitude de la récupération de l'information, lesquelles ont une incidence sur les résultats générés par les modèles.
• Comprendre le fonctionnement des bases de données vectorielles, les seuils de recherche par similarité, les phénomènes de dérive des embeddings, et tester les cas limites, notamment les documents quasi identiques, les embeddings clairsemés ou denses, ainsi que les performances lors du passage à l'échelle.
• Utiliser les frameworks Lang Chain et Lang Graph afin d'analyser le code, de comprendre la structure des chaînes et des graphes, d'identifier les points de défaillance et de concevoir des harnais de test.
• Valider les points d'intégration à l'aide des protocoles MCP (Model Context Protocol), en vérifiant la disponibilité des outils et la gestion des erreurs.

Élaborer et exécuter des stratégies de test complètes pour les plateformes de titrisation, en veillant à la couverture complète des tests fonctionnels, de régression, d'intégration et de performance. Établir des normes d'essai et des pratiques exemplaires couvrant à la fois l'assurance qualité traditionnelle et la validation propre aux systèmes d'IA.

Concevoir, développer et maintenir des suites de tests automatisés afin d'accélérer les cycles de mise en production et d'améliorer la couverture des essais. Mettre à profit les outils d'IA et d'apprentissage automatique (ML) pour accroître la couverture des essais, améliorer l'efficacité des activités de test et réduire les cycles de régression.

Valider de bout en bout les flux de travail liés aux transactions, notamment la configuration, la structuration, le traitement et les distributions. Assurer l'intégrité des données entre les systèmes en amont et en aval au moyen de tests de rapprochement et de rapports.

Coordonner les tests de régression liés aux mises en production de la plateforme, aux correctifs et aux modifications d'infrastructure. Assurer la stabilité et la rétrocompatibilité, en particulier lors des périodes de traitement critiques.

Nous croyons que le travail hybride est l’avenir, et nous nous efforçons d'offrir de la flexibilité dans la mesure du possible. Compte tenu des exigences opérationnelles de ce poste, il s'agit d'un poste hybride nécessitant quatre jours par semaine au bureau de Cognizant ou chez un client à…