Le Crédit Mutuel Arkéa mise sur l’open source pour industrialiser ses applications d’IA générative
Le Crédit Mutuel Arkéa s’emploie à industrialiser ses applications d’intelligence artificielle générative en production, en optant pour une approche open source. Ce choix stratégique vise à améliorer l’efficacité et la fiabilité de ses outils d’IA.
Tybot sur Tock
Pour la création de bots conversationnels, notamment « Tybot » déployé sur les espaces clients, la banque utilise Tock (The Open Conversation Kit), un projet open source initialement développé par la SNCF. Ce projet est désormais intégré au sein de TOSIT, une association qui regroupe des grands comptes français autour de l’open source. Le Crédit Mutuel Arkéa y contribue particulièrement dans le domaine de la GenAI, avec Orange participant sur la gestion de paquets pour Kubernetes via Helm.
Tybot repose sur une architecture de RAG (Retrieval-Augmented Generation). Pour alimenter ce système, l’équipe a indexé les contenus de sa base de connaissances clients, qui utilise le logiciel Smart Tribune, tout en puisant dans les bases descriptives des produits des fédérations. Benjamin Bernard, Lead Tech à l’AI Factory, souligne que l’objectif est de créer des vecteurs pour réaliser une recherche sémantique alimentant la chaîne RAG.
Un studio pour créer ses chatbots
Tock est également présenté comme une « ferme à chatbots », offrant un studio permettant de concevoir des chatbots sans nécessiter de développement. Cet outil inclut une chaîne GenIA RAG, complétant ainsi les fonctions conversationnelles traditionnelles. Il permet une reconnaissance d’intention classique pour des sujets récurrents, évitant l’usage systématique de l’IA générative. De plus, Tock s’intègre avec des outils de relation client, permettant au chatbot d’orienter les clients vers des conseillers humains sans changer de canal. Plus de quinze canaux, tels que Slack, WhatsApp et Messenger, sont pris en charge, ainsi qu’une intégration avec des applications compatibles avec le modèle OpenAI.
Observabilité, « LLM as a Judge » et l’humain dans la boucle
Pour répondre aux exigences réglementaires, Arkéa a mis en place une couche d’audit. L’observabilité technique repose sur Langfuse, un outil traceur des interactions qui automatise l’évaluation via des modèles juges. Le Studio Tock, en production depuis deux ans, permet la supervision des chatbots et l’annotation des conversations par des experts métiers. Cette annotation humaine va au-delà du simple retour d’information, contribuant à l’ajustement des prompts et à l’identification de thématiques émergentes.
Les limites de l’ingestion conventionnelle
Concernant le service « Wero », lancé en janvier 2025, Tybot a montré ses limites en ne pouvant répondre à des questions, en raison d’une mise à jour insuffisante de ses vecteurs. Cette situation est attribuée à un pipeline d’ingestion obsolète, basé sur un processus manuel, entraînant des temps de traitement de plus de 24 heures pour des volumes massifs de données. Cela représente un risque opérationnel en raison de l’incapacité à synchroniser les données avec les référentiels métiers.
QaLLam
Pour résoudre ces vulnérabilités, le projet QaLLam a été initié. Ce logiciel vise à simplifier l’ingestion de masse en assurant la collecte, la conversion et la vectorisation des données non structurées. Son architecture utilise des connecteurs variés et un web crawler pour extraire les données. L’outil intègre des innovations comme la librairie Readability JS pour le nettoyage des pages web, permettant d’éliminer le contenu non pertinent.
La résilience du système est renforcée par Temporal, qui permet de reprendre le traitement à l’endroit précis où il a été interrompu, une fonctionnalité essentielle pour gérer de grands volumes de documents.
Raffinement sémantique et stratégies de chunking avancé
Une fois les données traitées, QaLLam enrichit sémantiquement l’information par un système de « captioning » intelligent. Il transforme les graphiques en tableaux structurés et génère des descriptions textuelles. En matière de découpage de l’information, la banque adopte des méthodes inspirées du Dense X-Retrieval, minimisant la perte de sens. QaLLam est utilisé non seulement avec Tock, mais également dans toutes les applications d’IA générative traitant de données non structurées, et son déploiement s’étend désormais à l’international, notamment en Espagne.
Source : Le Mag IT.
