Mistral, une entreprise spécialisée dans l’intelligence artificielle, a récemment dévoilé un modèle ouvert visant à contrôler les contenus générés par l’IA. Ce modèle, baptisé Mistral Moderation 2, est conçu pour détecter et filtrer les contenus nuisibles dans les textes produits par des systèmes d’IA. (docs.mistral.ai)
Le modèle Mistral Moderation 2 offre une fenêtre contextuelle de 128 000 tokens et intègre une détection des contournements, permettant ainsi une analyse approfondie des conversations longues et complexes. Il est capable de classer le texte en neuf catégories : contenu sexuel, haine et discrimination, violence et menaces, contenu dangereux et criminel, automutilation, santé, financier, juridique et informations personnelles identifiables. (techcrunch.com)
Ce modèle est mis à disposition sous la licence Apache 2.0, offrant aux utilisateurs la possibilité de l’utiliser, de le modifier et de le redistribuer librement. Toutefois, les entreprises dont le chiffre d’affaires mensuel dépasse 20 millions de dollars américains doivent soit obtenir une licence commerciale en contactant Mistral, soit utiliser les modèles via Mistral Studio. (help.mistral.ai)
La mise en place de tels mécanismes de modération est devenue essentielle à me que les entreprises déploient progressivement des assistants d’intelligence artificielle générative. Ces outils, bien que puissants, peuvent parfois produire des contenus inappropriés ou nuisibles. Ainsi, des solutions comme Mistral Moderation 2 visent à asr une utilisation responsable et sécurisée de l’IA dans divers domaines.
