Pourquoi les petites améliorations des modèles IA changent tout

La course à la création du plus grand modèle d’intelligence artificielle se heurte à un mur de rendements décroissants. Alors que les gros titres se concentrent souvent sur des systèmes massifs dotés de milliers de milliards de paramètres, les vrais progrès se jouent en marge. De petites améliorations dans la manière dont ces modèles traitent les données créent des changements majeurs dans ce que les logiciels peuvent accomplir au quotidien. Nous quittons une période où l’échelle brute était le seul indicateur qui comptait. Aujourd’hui, l’accent est mis sur la quantité d’intelligence que nous pouvons intégrer dans un format réduit. Ce changement rend la technologie plus accessible et plus rapide pour tout le monde. Il ne s’agit plus de construire un cerveau plus gros, mais de faire fonctionner les cerveaux existants avec beaucoup plus d’efficacité. Lorsqu’un modèle devient dix pour cent plus petit tout en conservant sa précision, il ne se contente pas d’économiser sur les coûts de serveur. Il permet l’émergence d’une toute nouvelle catégorie d’applications auparavant impossibles en raison des contraintes matérielles. Cette transition est la tendance la plus importante du secteur technologique en ce moment, car elle déplace la puissance du calcul avancé des centres de données massifs vers le creux de votre main.

La fin de l’ère du « plus c’est gros, mieux c’est »

Pour comprendre pourquoi ces ajustements mineurs comptent, il faut regarder ce qu’ils sont réellement. La plupart des progrès proviennent de trois domaines : la curation des données, la quantification et les raffinements architecturaux. Pendant longtemps, les chercheurs ont cru que plus de données signifiaient toujours mieux. Ils ont scruté tout Internet pour alimenter les machines. Aujourd’hui, nous savons que des données de haute qualité ont bien plus de valeur que le simple volume. En nettoyant les jeux de données et en supprimant les informations redondantes, les ingénieurs peuvent entraîner des modèles plus petits qui surpassent leurs prédécesseurs plus volumineux. C’est ce qu’on appelle souvent des données de qualité « manuel scolaire ». Un autre facteur majeur est la quantification. Il s’agit du processus consistant à réduire la précision des nombres qu’un modèle utilise pour effectuer ses calculs. Au lieu d’utiliser des décimales de haute précision, un modèle peut utiliser des entiers simples. Cela semble pouvoir ruiner les résultats, mais des mathématiques astucieuses permettent au modèle de rester presque aussi intelligent tout en nécessitant une fraction de la mémoire. Vous pouvez en savoir plus sur ces évolutions techniques dans les recherches récentes sur QLoRA et la compression de modèles.

Enfin, il existe des changements architecturaux comme les mécanismes d’attention qui se concentrent sur les parties les plus pertinentes d’une phrase. Ce ne sont pas des refontes massives. Ce sont des ajustements subtils des mathématiques qui permettent au système d’ignorer le bruit. Lorsque vous combinez ces facteurs, vous obtenez un modèle qui tient sur un ordinateur portable standard au lieu de nécessiter une salle remplie de puces spécialisées. Les gens surestiment souvent le besoin de modèles massifs pour des tâches simples. Ils sous-estiment la quantité de logique qui peut être intégrée dans quelques milliards de paramètres. Nous assistons à une tendance où le « suffisamment bon » devient la norme pour la plupart des produits grand public. Cela permet aux développeurs d’intégrer des fonctionnalités intelligentes dans des apps sans facturer d’abonnement pour couvrir les coûts élevés du cloud. C’est un changement fondamental dans la manière dont les logiciels sont construits et distribués.

Pourquoi l’intelligence locale compte plus que la puissance du cloud

L’impact mondial de ces petites améliorations est difficile à surestimer. La majeure partie du monde n’a pas accès à l’Internet haut débit nécessaire pour interagir avec des modèles cloud massifs. Lorsque l’intelligence nécessite une connexion constante à un serveur en Virginie ou à Dublin, elle reste un luxe pour les plus riches. Les petites améliorations des modèles changent la donne en permettant au logiciel de fonctionner localement sur du matériel de milieu de gamme. Cela signifie qu’un étudiant dans une zone rurale ou un travailleur sur un marché émergent peut accéder au même niveau d’assistance que quelqu’un dans un hub technologique. Cela uniformise les règles du jeu d’une manière que la mise à l’échelle brute ne pourrait jamais faire. Le coût de l’intelligence tend vers zéro. C’est particulièrement important pour la confidentialité et la sécurité. Lorsque les données n’ont pas à quitter un appareil, le risque de violation est nettement plus faible. Les gouvernements et les prestataires de soins de santé considèrent ces modèles efficaces comme un moyen de fournir des services sans compromettre les données des citoyens.

Ce changement a également un impact sur l’environnement. Les entraînements à grande échelle consomment d’énormes quantités d’électricité et d’eau pour le refroidissement. En se concentrant sur l’efficacité, l’industrie peut réduire son empreinte carbone tout en proposant de meilleurs produits. Des revues scientifiques comme Nature ont souligné comment une IA efficace pourrait réduire le coût environnemental de l’industrie. Voici quelques façons dont ce changement mondial se manifeste :

• Des services de traduction locaux qui fonctionnent sans aucune connexion Internet.
• Des outils de diagnostic médical qui fonctionnent sur des tablettes portables dans des cliniques isolées.
• Des logiciels éducatifs qui s’adaptent aux besoins d’un étudiant sur du matériel peu coûteux.
• Un filtrage de confidentialité en temps réel pour les appels vidéo qui se fait entièrement sur l’appareil.
• Un suivi automatisé des cultures pour les agriculteurs utilisant des drones bon marché et un traitement local.

Il ne s’agit pas seulement de rendre les choses plus rapides. Il s’agit de les rendre universelles. Lorsque les exigences matérielles diminuent, la base d’utilisateurs potentiels augmente de plusieurs milliards de personnes. Cette tendance est étroitement liée aux dernières tendances du développement de l’IA qui privilégient l’accessibilité à la puissance brute.

Un mardi avec un assistant hors ligne

Considérez une journée dans la vie d’un ingénieur de terrain nommé Marcus. Il travaille sur des éoliennes offshore où l’accès à Internet est inexistant. Par le passé, si Marcus rencontrait une panne mécanique qu’il ne reconnaissait pas, il devait prendre des photos, attendre de retourner sur la terre ferme et consulter un manuel ou un collègue senior. Cela pouvait retarder les réparations de plusieurs jours. Maintenant, il transporte une tablette durcie avec un modèle local hautement optimisé. Il pointe la caméra vers les composants de la turbine et le modèle identifie le problème en temps réel. Il fournit un guide de réparation étape par étape basé sur le numéro de série spécifique de la machine. Le modèle que Marcus utilise n’est pas un géant à mille milliards de paramètres. C’est une version petite et spécialisée qui a été affinée pour comprendre l’ingénierie mécanique. C’est un exemple concret de la façon dont une petite amélioration de l’efficacité d’un modèle crée un changement massif dans la productivité.

Plus tard dans la journée, Marcus utilise le même appareil pour traduire un document technique provenant d’un fournisseur étranger. La traduction est presque parfaite car le modèle a été entraîné sur un ensemble restreint mais de haute qualité de textes d’ingénierie. Il n’a jamais eu à télécharger un seul fichier sur le cloud. Cette fiabilité est ce qui rend la technologie utile dans le monde réel. Beaucoup de gens supposent que l’IA doit être généraliste pour être utile, mais Marcus prouve que les systèmes spécialisés et petits sont souvent supérieurs pour les tâches professionnelles. La petite taille du modèle est en fait une fonctionnalité, pas un bug. Cela signifie que le système est plus rapide, plus privé et moins coûteux à exploiter. Marcus a reçu sa dernière mise à jour la semaine dernière, et la différence de vitesse a été immédiatement perceptible.

La contradiction ici est que, alors que les modèles deviennent plus petits, le travail qu’ils accomplissent devient plus important. Nous assistons à un passage de la discussion avec un bot à l’intégration d’un outil dans un flux de travail. Les gens ont tendance à surestimer l’importance pour un modèle d’être capable d’écrire de la poésie. Ils sous-estiment la valeur d’un modèle capable d’extraire parfaitement des données d’une facture floue ou d’identifier une microfissure dans une poutre en acier. Ce sont ces tâches qui stimulent l’économie mondiale. À mesure que ces petites améliorations se poursuivent, la frontière entre logiciel intelligent et logiciel classique disparaîtra. Tout fonctionnera simplement mieux. C’est la réalité de l’environnement technologique actuel.

Questions difficiles sur le compromis de l’efficacité

Cependant, nous devons appliquer un certain scepticisme socratique à cette tendance. Si nous nous dirigeons vers des modèles plus petits et plus optimisés, que laissons-nous derrière nous ? Une question difficile est de savoir si l’accent mis sur l’efficacité conduit à un plateau de « suffisamment bon ». Si un modèle est optimisé pour être rapide, perd-il la capacité de gérer des cas limites qu’un modèle plus grand pourrait détecter ? Nous devons nous demander si la précipitation à réduire les modèles crée un nouveau type de biais. Si nous n’utilisons que des données de haute qualité pour entraîner ces systèmes, qui définit ce qu’est la qualité ? Nous pourrions accidentellement filtrer les voix et les perspectives des groupes marginalisés parce que leurs données ne correspondent pas à la norme des manuels scolaires.

Vous avez une histoire, un outil, une tendance ou une question sur l'IA que nous devrions couvrir ? Envoyez-nous votre idée d'article — nous serions ravis de l'entendre.

Il y a aussi la question des coûts cachés. Bien que l’exécution d’un petit modèle soit bon marché, la recherche et le développement nécessaires pour réduire un grand modèle sont incroyablement coûteux. Sommes-nous simplement en train de déplacer la consommation d’énergie de la phase d’inférence vers la phase d’entraînement et d’optimisation ? De plus, à mesure que ces modèles deviennent plus courants sur les appareils personnels, qu’advient-il de notre vie privée ? Même si le modèle fonctionne localement, les métadonnées sur la façon dont nous l’utilisons pourraient toujours être collectées. Nous devons nous demander si la commodité de l’intelligence locale vaut le risque d’un suivi plus invasif. Si chaque application sur votre téléphone possède son propre petit cerveau, qui surveille ce que ces cerveaux apprennent sur vous ? Nous devons également considérer la longévité du matériel. Si les logiciels continuent de devenir plus efficaces, les entreprises nous pousseront-elles toujours à mettre à niveau nos appareils tous les ? Ou cela mènera-t-il à une ère durable où un téléphone vieux de cinq ans est toujours parfaitement capable d’exécuter les derniers outils ? Ce sont les contradictions auxquelles nous devons faire face à mesure que la technologie évolue.

L’ingénierie derrière la compression

Pour les utilisateurs avancés et les développeurs, le passage à des modèles plus petits est une question de spécificités techniques. L’indicateur le plus important n’est plus seulement le nombre de paramètres. Ce sont les bits par paramètre. Nous assistons à un passage des poids en virgule flottante 16 bits à une quantification 8 bits, voire 4 bits. Cela permet à un modèle qui nécessiterait normalement 40 gigaoctets de VRAM de tenir dans moins de 10 gigaoctets. C’est un changement massif pour le stockage local et les exigences GPU. Les développeurs se tournent maintenant vers LoRA, ou Low-Rank Adaptation, pour affiner ces modèles sur des tâches spécifiques sans réentraîner tout le système. Cela facilite grandement les intégrations de flux de travail. Vous pouvez trouver la documentation technique sur ces méthodes sur MIT Technology Review.

Lors de la construction d’applications, vous devez tenir compte des limites techniques suivantes :

• La bande passante mémoire est souvent un goulot d’étranglement plus important que la puissance de calcul brute pour l’inférence locale.
• Les limites d’API pour les modèles cloud deviennent moins pertinentes à mesure que l’hébergement local devient viable pour la production.
• La gestion de la fenêtre de contexte reste un défi pour les petits modèles car ils ont tendance à perdre le fil des longues conversations plus rapidement.
• Le choix entre la précision FP8 et INT4 peut avoir un impact significatif sur le taux d’hallucination dans les tâches créatives.
• Les besoins en stockage local diminuent, mais le besoin de disques NVMe haute vitesse reste nécessaire pour un chargement rapide des modèles.

Nous assistons également à l’essor du décodage spéculatif, où un minuscule modèle prédit les quelques prochains jetons et un modèle plus grand les vérifie. Cette approche hybride offre la vitesse d’un petit modèle avec la précision d’un géant. C’est un moyen astucieux de contourner les compromis traditionnels liés à la taille des modèles. Pour quiconque cherche à garder une longueur d’avance dans ce domaine, comprendre ces techniques de compression est plus important que de savoir construire un modèle à partir de zéro. L’avenir appartient aux optimiseurs qui peuvent faire plus avec moins. L’accent se déplace de la puissance brute vers une ingénierie intelligente.

La cible mouvante de la performance optimale

En fin de compte, l’ère du « plus c’est gros, mieux c’est » touche à sa fin. Les avancées les plus significatives ne concernent plus l’ajout de couches ou de données supplémentaires. Elles concernent le raffinement, l’efficacité et l’accessibilité. Nous assistons à un changement qui rendra le calcul avancé aussi courant qu’une calculatrice. Ce progrès n’est pas seulement une réussite technique. C’est une réussite sociale. Il apporte la puissance de la recherche la plus avancée à tout le monde, indépendamment de leur matériel ou de leur connexion Internet. C’est la démocratisation de l’intelligence par la porte dérobée de l’optimisation.

Note de l’éditeur : Nous avons créé ce site comme un centre multilingue d’actualités et de guides sur l’IA pour les personnes qui ne sont pas des experts en informatique, mais qui souhaitent tout de même comprendre l’intelligence artificielle, l’utiliser avec plus de confiance et suivre l’avenir qui est déjà en marche.

Alors que nous nous tournons vers le prochain , la question ouverte demeure : continuerons-nous à trouver des moyens de réduire l’intelligence, ou atteindrons-nous finalement une limite physique qui nous forcera à revenir au cloud ? Pour l’instant, la tendance est claire. Le petit est le nouveau grand. Les systèmes que nous utiliserons demain ne seront pas définis par ce qu’ils savent, mais par la façon dont ils utilisent ce qu’ils ont.