ACTUALITÉ

| Démystifier les LLMs : Enjeux et opportunités de l’IA générative

Les progrès fulgurants de l’intelligence artificielle (IA), notamment dans le domaine du traitement du langage naturel (NLP), ont permis de développer de nouveaux types d’algorithmes qui peuvent créer automatiquement du contenu. Qu’il s’agisse de texte, d’images, d’audio ou de vidéo, l’intelligence artificielle dite générative a connu en 2023 une progression remarquable et un intérêt croissant, à l’instar du désormais incontournable ChatGPT[1] et exemple emblématique de cette révolution technologique.

Bien que nous soyons qu’aux prémices, les perspectives d’applications potentielles de l’IA générative dans le secteur financier sont extrêmement prometteuses. En chiffre, le marché[2] des services financiers devrait connaître une croissance fulgurante, passant de 847,2 millions de dollars en 2022 à 9475,2 millions de dollars d’ici 2032 soit une progression à un taux annuel moyen de 28%. L’IA générative est donc bien une véritable technologie de rupture qui bouleverse tous les secteurs, en particulier celui des finances.

Services financiers : de l'IA à l'IA générative

Alors que l’IA traditionnelle excelle dans l’analyse de données et les prédictions, l’IA générative a la capacité unique de créer de nouvelles données à partir de son apprentissage. Cette distinction fondamentale place les services financiers parmi les secteurs les plus prometteurs pour bénéficier des retombées de l’IA générative en termes de revenus et d’efficacité.

[1] Développé par OpenAI, GPT, qui signifie « Generative Pre-trained Transformer », est un réseau neuronal qui a la capacité de générer un langage de type humain, ce qui en fait un outil impressionnant pour le traitement du langage naturel (NLP). [2]marketresearch.biz: »Global Generative AI In Financial Services Market »

En offrant une vision holistique de l’entreprise et en automatisant de nombreuses tâches chronophages, l’intelligence artificielle générative promet de révolutionner la fonction finance. Cette technologie facilitera la prise de décisions en connectant les données opérationnelles, commerciales et financières pour produire des analyses approfondies. L’IA optimisera les processus de facturation, de paiement, de recouvrement et de gestion de trésorerie au cœur de la production d’informations financières. En traitant les rapprochements, les consolidations et la documentation comptable, elle automatisera la production des comptes. De plus, elle fournira un résumé des contrats complexes et des recommandations pour leur traitement conformément aux normes IFRS. Cette technologie, quelle que soit la juridiction concernée, calculera les impôts, générera les déclarations et analysera l’impact des nouvelles réglementations dans le domaine fiscal. Grâce à cette technologie, l’IA générative deviendra un détecteur de signaux faibles en utilisant ses capacités d’analyse pour détecter les transactions suspectes, les manquements aux procédures internes et proposer des mécanismes de réponses appropriées. générative.

Cependant, malgré leur succès retentissant, les mécanismes sous-jacents qui régissent le fonctionnement de l’IA générative – et donc des LLMs (Large Language Models) – demeurent souvent mal compris en dehors des cercles spécialisés en intelligence artificielle (IA). Cet article a pour objectif de lever le voile sur les principes fondamentaux des LLMs d’une manière accessible, en mettant l’accent sur l’intuition plutôt que sur les aspects mathématiques complexes.

Apprentissage automatique et Deep Learning : Les fondations des LLMs

Intelligence artificielle (IA) : ensemble de théories et de techniques mises en œuvre pour effectuer des tâches complexes de manière autonome, sans nécessiter une intervention humaine. Avant d’explorer les LLMs, il est essentiel de comprendre d’abord l’apprentissage automatique (ML) et de deep learning (DL) qui constituent leur base.

Apprentissage automatique

Pour rappel[3], l’objectif de l’apprentissage automatique est de découvrir des modèles dans les données, c’est-à-dire d’apprendre la relation entre une entrée et un résultat. Pour illustrer ce concept, considérons un exemple de classification de clients pour l’attribution de prêts. Supposons que nous disposions d’un ensemble de données historiques de clients ayant obtenu ou non un prêt, ainsi que des informations sur leur revenu, leur score de crédit, leur ratio d’endettement et leur valeur nette. À partir de ces données étiquetées, nous pouvons entraîner un modèle d’apprentissage automatique (ou « classificateur ») à apprendre la relation entre les variables financières des clients (revenu, score de crédit, ratio d’endettement, valeur nette) et la décision d’octroi ou de refus du prêt. Une fois cette relation apprise, le modèle peut prédire si un nouveau client devrait se voir accorder ou refuser un prêt en utilisant uniquement ses informations financières, sans avoir besoin d’une évaluation manuelle coûteuse. Cependant, dans de nombreux cas, la relation entre l’entrée et le résultat est beaucoup plus complexe que dans cet exemple simple, impliquant de nombreuses variables d’entrée et de sortie liées par des relations non linéaires complexes. C’est là qu’intervient le deep learning.

Deep Learning

Le deep learning est un sous-domaine de l’apprentissage automatique qui se concentre sur les données non structurées, telles que le texte et les images, en utilisant des réseaux de neurones artificiels. Ces réseaux, inspirés (de manière approximative) du cerveau humain, sont des modèles d’apprentissage automatique extrêmement puissants capables de modéliser des relations arbitrairement complexes. Les réseaux de neurones sont constitués d’une séquence de couches de « neurones » connectés, à travers lesquelles un signal d’entrée passe pour prédire la variable de résultat. Ils peuvent être très profonds, d’où le nom de « deep learning », ce qui leur permet de modéliser des relations hautement non linéaires. Le LLM ChatGPT, par exemple, est basé sur un réseau de neurones comportant 176 milliards de neurones, soit plus que le nombre approximatif de 100 milliards de neurones dans un cerveau humain.

Avec ces bases, nous pouvons désormais nous plonger dans les mécanismes régissant le fonctionnement des LLMs. Le terme « Large » fait simplement référence au nombre élevé de neurones, ou paramètres, dans le réseau neuronal, généralement au-delà d’un milliard. Quant au « Language Model », il s’agit d’apprendre à prédire le prochain mot dans une séquence donnée, de phrases ou de paragraphes. Cette modélisation du langage consiste donc à entraîner un réseau de neurones (le LLM) à prédire le mot suivant dans n’importe quel contexte, qu’il s’agisse d’un tweet, d’une formule mathématique ou d’un extrait de code. Pour ce faire, un vaste ensemble de données textuelles provenant d’Internet, de livres et d’articles est utilisé pour l’entraînement de manière auto-supervisée. Grâce à ces données massives et à un réseau suffisamment grand, le LLM devient performant pour prédire le prochain mot approprié d’un point de vue syntaxique et sémantique. C’est cette capacité à produire du contenu linguistique original de manière probabiliste que nous qualifions d’IA générative.

[3] Se référer à l’article « Machine Learning : Une nécessité pour le secteur bancaire » dans notre rubrique InData d’avril 2023 www.lendys.fr/in-data/

OUTPUT

A ce stade, la prédiction du prochain mot dans une séquence peut être considérée, à juste titre, comme un problème d’apprentissage automatique, plus précis[ément une tâche de classification. Cependant, contrairement à une classification binaire classique avec seulement deux classes possibles, nous faisons face ici à un défi d’une complexité bien supérieure. En effet, le nombre de classes à prédire est équivalent au nombre de mots existants dans le vocabulaire, ce qui représente des ordres de grandeur supplémentaires. Pour relever ce défi de taille, le recours à des techniques de modélisation du langage ou « Language Models » s’avère indispensable, permettant de capturer les subtilités et les nuances du langage naturel

Modélisation du language

Grâce au processus de conditionnement sur la sortie générée précédemment, les modèles de langage entraînés peuvent être utilisés pour générer du texte de manière autorégressive : après avoir prédit un mot initial, le modèle incorpore ce mot dans son contexte d’entrée et prédit un nouveau mot conditionné sur le précédent. C’est cette capacité à produire du contenu linguistique original de manière probabiliste qui est qualifiée d’IA générative dans le domaine de l’apprentissage automatique. En substance, nous avons appris au modèle à enchaîner des prédictions lexicales[4] de manière cohérente pour simuler une forme rudimentaire de production langagière

[4] Échantillonner parmi les mots les plus probables au lieu du plus probable permet plus de créativité. Certains LLMS ajustent le niveau de créativité/déterminisme.

L’image ci-dessus montre comment cela se fait. Une seule séquence peut être transformée en plusieurs séquences pour l’entraînement. Chaque séquence de mots est divisée en plusieurs sous-séquences, chacune étant utilisée comme entrée pour le LLM, avec le mot suivant comme étiquette (auto-supervisée [5]). Grâce à une quantité massive de données d’entraînement et à un réseau de neurones suffisamment grand, le LLM devient très performant pour prédire le prochain mot approprié [6] d’un point de vue syntaxique et sémantique dans n’importe quel contexte. En généralisant, nous obtenons l’image ci-dessous.

Après avoir illustré l’idée des LLMs, on pourrait se poser la question sur la relation avec la famille des modèles Generative Pre-trained Transformer (GPT). Dès lors, une précision est importante : le LLM n’est que la première étape dans le développement ! En effet, dans l’acronyme GPT, si le « G » indique que le modèle est entraîné de manière générative à produire du texte et que le « T » fait référence à l’architecture Transformer qui permet une attention sélective sur les parties les plus pertinentes des données d’entrée, c’est le « P » pour « Pre-trained » qui est crucial. Les grands modèles de dialogue comme ChatGPT ne sont pas simplement entraînés en une seule fois. Ils suivent un pipeline d’entraînement en plusieurs phases. La modélisation de langage n’est donc que le point de départ d’un système beaucoup plus complexe.

Phases d'entrainement des LLMs

Pré-entrainement : C’est l’étape que nous venons de décrire, où le modèle acquiert une maîtrise de la grammaire, de la syntaxe et des connaissances générales.

L’ajustement des instructions qui permet d’aligner le LLM sur les intentions humaines afin qu’il réponde de manière appropriée aux questions et instructions

Apprentissage par renforcement à partir de commentaires humains : Pour certains LLMs, un apprentissage par renforcement à partir de commentaires humains contribue davantage à cet alignement sur les valeurs et préférences.

[5]Nous n’avons même pas besoin d’étiqueter les données, car le mot suivant lui-même est l’étiquette, c’est pourquoi on l’appelle aussi l’apprentissage auto-supervisé.

[6] Échantillonner parmi les mots les plus probables au lieu du plus probable permet plus de créativité. Certains LLMs ajustent le niveau de créativité/déterminisme.

Limites des LLMs et stratégies d'atténuation

Bien que le modèle puisse générer dans la forme du texte fluide et naturel, il peut manquer de cohérence et produire du contenu inexact ou trompeur. De plus, apprenant à partir de données textuelles existantes, il est sujet aux biais et stéréotypes présents dans ces données. Une situation qualifiée par phénomène « d’hallucinations » et qui s’s’explique par le fait que, pendant l’entraînement, le modèle n’a aucun moyen de distinguer les vraies informations des données incorrectes, fictives ou manipulées. Ce qui est probable ne veut pas nécessairement dire vrai ! Pour atténuer ces risques, des stratégies peuvent être mises en œuvre, comme l’ancrage contextuel en fournissant aux LLMs des informations complémentaires pertinentes. Un ajustement fin des instructions et un apprentissage par renforcement renforcé permettent également un meilleur alignement sur les intentions des utilisateurs.

Conclusion

L’IA générative représente une opportunité unique pour les institutions financières de repenser leurs services et d’optimiser leurs processus. Cependant, son adoption nécessite une compréhension approfondie de ses mécanismes, de ses capacités émergentes ainsi que des stratégies d’atténuation des risques associés. Comme pour toutes les technologies émergentes, il existe des défis à relever, notamment en matière de qualité des données. Il est essentiel que les entreprises utilisent des données de formation de haute qualité pour éviter les biais dans les résultats. En naviguant habilement dans ce paysage en constante évolution, les acteurs financiers peuvent se positionner à l’avant-garde et offrir des services véritablement différenciés, tout en maintenant des niveaux élevés de fiabilité, de transparence et d’éthique.

| Mohammed MEHANAOUI

Responsable – Études R&D et Innovation | Pôle Transformation Finance

Les banques à l’avant-garde de l’IA générative

► Swift : Ouverte aux innovations, Swift salue l’impact transformateur de ChatGPT et GPT-4 selon son responsable IA Chalapathy Neti.

► ABN Amro : Teste l’IA générative pour automatiser la synthèse des interactions clients et améliorer la collecte de données.

► ING Bank : Expérimente l’IA générative pour la refactorisation de code et l’analyse comportementale des clients.

► Goldman Sachs : Projets pilotes d’automatisation de la génération et des tests de code. Héberge la startup « Louisa » dans son incubateur.

► Morgan Stanley : Déploie un chatbot OpenAI pour améliorer le support aux conseillers financiers avec une recherche et création de contenu personnalisés..

Source : marketsandmarkets.com.