Un nouveau modèle pour réduire les coûts de l’IA en entreprise
L’intelligence artificielle (IA) génère un intérêt croissant dans le monde des affaires, mais le déploiement de modèles d’IA, en particulier ceux liés à l’IA générative, entraîne souvent des coûts prohibitifs. Les entreprises doivent faire face à des défis majeurs, non seulement en termes de dépenses financières, mais également en ce qui concerne l’impact environnemental. Un nouvel article de recherche de Tencent AI et de l’Université Tsinghua propose une solution potentielle à ces problèmes à travers une architecture innovante.
Les défis de l’IA générative
Les modèles génératifs, tels que ceux utilisés pour la création de texte, reposent souvent sur un processus autoregressif. Ce processus génère du texte de manière séquentielle, token par token. Cette approche peut entraîner des inefficacités, notamment dans le traitement de flux de données massifs, comme ceux des réseaux IoT ou des marchés financiers. Les entreprises qui ont besoin d’analyses longues et détaillées se retrouvent confrontées à des coûts de calcul élevés et à des délais de génération prolongés.
Une alternative avec les modèles de langage autoregressifs continus (CALM)
La recherche de Tencent et Tsinghua propose un nouveau type de modèle, les Modèles de Langage Autoregressifs Continus (CALM). Cette approche révolutionne le processus de génération en prédisant un vecteur continu au lieu d’un token discret. Voici comment cela fonctionne :
– Un autoencodeur de haute fidélité compresse un groupe de K tokens en un seul vecteur continu.
– Cette compression permet de traiter plusieurs tokens en une étape, réduisant ainsi le nombre d’étapes de génération nécessaires.
Les résultats expérimentaux montrent que les modèles CALM offrent un meilleur compromis entre performance et coût de calcul. Par exemple, un modèle CALM nécessitait 44 % de FLOPs d’entraînement en moins et 34 % de FLOPs d’inférence en moins qu’un modèle Transformer de capacités similaires.
Un cadre innovant pour une meilleure efficacité
Le passage à un espace vectoriel continu pose des défis en matière de formation et d’évaluation. Les chercheurs ont développé un cadre sans vraisemblance pour rendre le modèle viable. Dans ce cadre :
– La fonction d’objectif repose sur un Transformer énergétique, récompensant les prédictions précises sans nécessiter de probabilités explicites.
– Une nouvelle métrique d’évaluation, BrierLM, a été introduite. Elle est basée sur le score de Brier et peut être estimée uniquement à partir des échantillons du modèle.
Ces avancées permettent également de restaurer la génération contrôlée, une caractéristique essentielle pour une utilisation en entreprise. Un nouvel algorithme d’échantillonnage sans vraisemblance a été introduit, permettant de gérer le compromis entre la précision de sortie et la diversité.
Les avantages pour les entreprises
Cette recherche ouvre la voie à un avenir où les modèles d’IA générative ne seront pas seulement définis par des tailles de paramètres toujours plus grandes, mais par une efficacité architecturale accrue. Voici quelques-uns des avantages pour les entreprises :
– Réduction des coûts de formation et d’inférence, permettant des économies substantielles.
– Possibilité de déployer des IA plus économiquement, rendant l’IA accessible aux entreprises de toutes tailles.
– Diminution de l’impact environnemental grâce à une consommation d’énergie réduite.
En examinant les feuilles de route des fournisseurs, les décideurs technologiques devraient se concentrer non seulement sur la taille des modèles, mais aussi sur leur efficacité architecturale.
Vers une IA durable et économique
Le cadre CALM représente une voie prometteuse pour les entreprises cherchant à exploiter les capacités de l’IA tout en maîtrisant leurs coûts. En réduisant les FLOPs nécessaires par token généré, les entreprises peuvent déployer des solutions d’IA de manière plus économique et durable.
À l’avenir, il sera essentiel pour les entreprises de considérer non seulement les performances des modèles, mais aussi leur efficacité opérationnelle. En adoptant des modèles comme CALM, les entreprises peuvent non seulement améliorer leur rentabilité, mais aussi contribuer à un avenir plus respectueux de l’environnement.
