Le cloud n’est pas toujours une option. Parfois les exigences de latence demandent l’inf\u00e9rence on-device. Parfois les r\u00e9gulations de confidentialit\u00e9 prohibent d’envoyer les donn\u00e9es \u00e0 des serveurs externes. Parfois tu construis pour des environnements avec une connectivit\u00e9 non fiable. Edge AI \u2014 ex\u00e9cuter les mod\u00e8les de langage directement sur les appareils des utilisateurs finaux \u2014 est pass\u00e9 de la curiosit\u00e9 \u00e0 la n\u00e9cessit\u00e9.<\/p>\n
Il y a deux ans, ex\u00e9cuter un mod\u00e8le de langage significatif sur un t\u00e9l\u00e9phone \u00e9tait un tour de magie. Aujourd’hui, c’est une strat\u00e9gie de produit viable. La convergence de meilleure quantisation, runtimes optimis\u00e9s, et mat\u00e9riel mobile de plus en plus puissant a franchi un seuil. Les mod\u00e8les qui produisent un r\u00e9sultat genuinely utile tournent sur des appareils que les gens poss\u00e8dent d\u00e9j\u00e0.<\/p>\n
L’activation cl\u00e9 est la quantisation agressive<\/strong>. Un mod\u00e8le 3B param\u00e8tres quantis\u00e9 \u00e0 4 bits tient en environ 1,7GB de m\u00e9moire. C’est \u00e0 port\u00e9e de n’importe quel smartphone moderne avec 6GB+ de RAM. Un mod\u00e8le 1,5B \u00e0 4 bits prend moins de 1GB \u2014 laissant beaucoup d’espace pour le syst\u00e8me d’exploitation et d’autres applications.<\/p>\n La portabilit\u00e9 de llama.cpp rend cela possible sur les plateformes. La m\u00eame base de code C++ compile pour ARM (t\u00e9l\u00e9phones, Raspberry Pi), x86 (ordinateurs portables, desktops), et Apple Silicon (Macs, iPads). Un moteur d’inf\u00e9rence, chaque plateforme.<\/p>\n Les t\u00e9l\u00e9phones flagship modernes sont des appareils d’inf\u00e9rence \u00e9tonnamment capables. L’Apple A17 Pro et Snapdragon 8 Gen 3 incluent des unit\u00e9s de traitement neural (NPUs) d\u00e9di\u00e9es qui acc\u00e9l\u00e8rent les op\u00e9rations matricielles. Combin\u00e9 avec 8-12GB de RAM, ces appareils ex\u00e9cutent des mod\u00e8les 3B \u00e0 des vitesses conversationnelles.<\/p>\n Sur iPhone, MLX<\/strong> (framework d’apprentissage machine d’Apple) fournit des chemins d’inf\u00e9rence optimis\u00e9s qui exploitent le Neural Engine et le GPU simultan\u00e9ment. Les applications tierces comme LLM Farm et MLC Chat d\u00e9montrent que les chatbots interactifs tournant enti\u00e8rement on-device sont pratiques.<\/p>\n Sur Android, les projets comme MLC LLM<\/strong> et llama.cpp avec Vulkan<\/strong> fournissent l’inf\u00e9rence acc\u00e9l\u00e9r\u00e9e par GPU. La performance varie plus sur l’\u00e9cosyst\u00e8me Android en raison de la fragmentation du mat\u00e9riel, mais les appareils flagship de Samsung, Google, et OnePlus g\u00e8rent tous les petits mod\u00e8les capablement.<\/p>\n Le plafond r\u00e9aliste sur les t\u00e9l\u00e9phones est la classe 3B param\u00e8tres. Ces mod\u00e8les g\u00e8rent les t\u00e2ches focalis\u00e9es bien : compl\u00e9tude de texte, Q&A simple, summarisation de documents courts, assistance code basique. N’attends pas une qualit\u00e9 GPT-4, mais pour les applications capables de fonctionner hors-ligne, l’utilit\u00e9 est r\u00e9elle.<\/p>\n Les ordinateurs portables sont le sweet spot de l’edge AI parce qu’ils combinent une puissance compute significative avec les avantages de la confidentialit\u00e9 et la latence de l’inf\u00e9rence locale. Un MacBook avec 16GB de m\u00e9moire unifi\u00e9e ex\u00e9cute des mod\u00e8les 7B \u00e0 20-30 tokens par seconde. Un ordinateur portable gaming avec un GPU d\u00e9di\u00e9 pousse 50+ tokens par seconde.<\/p>\n L’exp\u00e9rience utilisateur approche la qualit\u00e9 du cloud. Les outils comme Ollama<\/strong>, LM Studio<\/strong>, et Jan<\/strong> fournissent des interfaces polies qui rendent l’ex\u00e9cution de mod\u00e8les locaux aussi simple que d’installer une application. S\u00e9lectionne un mod\u00e8le, clique t\u00e9l\u00e9charger, commence \u00e0 chatter. Pas de cl\u00e9s API, pas de limites d’usage, pas de donn\u00e9es quittant ta machine.<\/p>\n Pour les d\u00e9veloppeurs, les mod\u00e8les locaux sur ordinateurs portables permettent des workflows de d\u00e9veloppement hors-ligne. Compl\u00e9tude de code, g\u00e9n\u00e9ration de documentation, \u00e9criture de test \u2014 tous sans d\u00e9pendance internet. L’avantage de latence est aussi r\u00e9el : l’inf\u00e9rence locale a z\u00e9ro temps de round-trip r\u00e9seau, rendant l’assistance code interactive se ressentant plus responsif que les alternatives cloud.<\/p>\n Le Raspberry Pi 5 avec 8GB de RAM repr\u00e9sente l’extr\u00eame fin de l’edge AI. Il ex\u00e9cute les petits mod\u00e8les (param\u00e8tres 1-3B, extr\u00eamement quantis\u00e9s) \u00e0 des vitesses utilisables pour les applications non-interactives. Pense aux appareils IoT qui traitent les donn\u00e9es de capteur avec compr\u00e9hension du langage naturel, ou les kiosques qui tournent sans internet.<\/p>\n La performance est modeste : 2-5 tokens par seconde pour un mod\u00e8le 1,5B Q4 sur CPU. Pas assez rapide pour le chat interactif, mais parfaitement ad\u00e9quat pour le traitement par batch, les t\u00e2ches de classification, et l’extraction structur\u00e9e. Un Raspberry Pi ex\u00e9cutant un petit mod\u00e8le peut analyser les donn\u00e9es entrantes, g\u00e9n\u00e9rer des alertes, et prendre des d\u00e9cisions locales sans aucune d\u00e9pendance cloud.<\/p>\n L’\u00e9cosyst\u00e8me RISC-V<\/strong> \u00e9merge comme une autre plateforme edge AI. Des cartes avec des acc\u00e9l\u00e9rateurs IA apparaissent aux prix du Raspberry Pi, offrant du mat\u00e9riel d’inf\u00e9rence d\u00e9di\u00e9 qui pourrait pousser les petits mod\u00e8les \u00e0 des vitesses interactives sur du mat\u00e9riel sub-$50.<\/p>\n La confidentialit\u00e9 est l’argument le plus fort pour l’edge AI, et c’est n’est pas juste sur la pr\u00e9f\u00e9rence \u2014 c’est de plus en plus une question de r\u00e9glementation. GDPR, HIPAA, et les r\u00e9gulations \u00e9mergentes d’IA cr\u00e9ent des exigences de conformit\u00e9 que l’inf\u00e9rence cloud ne peut pas toujours satisfaire. Quand un mod\u00e8le tourne on-device, les donn\u00e9es de l’utilisateur ne quittent jamais l’appareil. Fin de l’histoire.<\/p>\n Les applications healthcare traitant les dossiers patients, les outils l\u00e9gaux analysant les documents confidentiels, les services financiers g\u00e9rant les donn\u00e9es sensibles \u2014 ces cas d’usage exigent l’inf\u00e9rence on-device. Le compromis de qualit\u00e9 d’utiliser un mod\u00e8le plus petit est acceptable quand l’alternative est ne pas pouvoir utiliser l’IA du tout d\u00fb aux contraintes de conformit\u00e9.<\/p>\n La dur\u00e9e de vie de la batterie<\/strong> est le probl\u00e8me non r\u00e9solu sur mobile. L’ex\u00e9cution d’inf\u00e9rence est intensive en calcul. Une session de chat prolong\u00e9e peut drainer la batterie d’un t\u00e9l\u00e9phone notablement plus vite que l’usage normal. Les mod\u00e8les doivent \u00eatre utilis\u00e9s judicieusement, pas laiss\u00e9s ex\u00e9cut\u00e9s continuellement.<\/p>\n Les mises \u00e0 jour de mod\u00e8le<\/strong> sur les appareils edge sont plus difficiles que mettre \u00e0 jour un endpoint cloud. Tu dois distribuer les nouveaux poids de mod\u00e8le \u00e0 potentiellement des millions d’appareils, g\u00e9rer la compatibilit\u00e9 des versions, et g\u00e9rer les contraintes de stockage. L’infrastructure pour cela existe (c’est similaire aux mises \u00e0 jour d’application) mais ajoute de la complexit\u00e9 op\u00e9rationnelle.<\/p>\n Le plafond de qualit\u00e9<\/strong> est r\u00e9el. Les mod\u00e8les edge sont plus petits par n\u00e9cessit\u00e9, et plus petit signifie moins capable. Pour les t\u00e2ches n\u00e9cessitant une vaste connaissance, du raisonnement complexe, ou la gestion d’entr\u00e9es inhabituelles, les mod\u00e8les edge tra\u00eeneront les mod\u00e8les cloud pour l’avenir pr\u00e9visible. L’approche intelligente est hybride : utilise l’edge pour ce qu’il g\u00e8re bien, reviens au cloud pour ce qu’il ne fait pas.<\/p>\n L’edge AI ne remplace pas l’AI cloud. Il le compl\u00e8te, remplissant les lacunes o\u00f9 le cloud ne peut pas atteindre. Et \u00e0 mesure que le mat\u00e9riel s’am\u00e9liore et que les mod\u00e8les deviennent plus efficaces, ces lacunes continuent de r\u00e9duire.<\/p>\nT\u00e9l\u00e9phones : la plateforme d’un milliard d’utilisateurs<\/h2>\n
Ordinateurs portables : le sweet spot du power user<\/h2>\n
Raspberry Pi et syst\u00e8mes embarqu\u00e9s<\/h2>\n
L’argument de la confidentialit\u00e9<\/h2>\n
D\u00e9fis et limitations<\/h2>\n