Edge AI : exécuter les modèles sur téléphones, ordinateurs portables et Raspberry Pi

Le cloud n’est pas toujours une option. Parfois les exigences de latence demandent l’inférence on-device. Parfois les régulations de confidentialité prohibent d’envoyer les données à des serveurs externes. Parfois tu construis pour des environnements avec une connectivité non fiable. Edge AI — exécuter les modèles de langage directement sur les appareils des utilisateurs finaux — est passé de la curiosité à la nécessité.

L’état actuel de l’inférence on-device

Il y a deux ans, exécuter un modèle de langage significatif sur un téléphone était un tour de magie. Aujourd’hui, c’est une stratégie de produit viable. La convergence de meilleure quantisation, runtimes optimisés, et matériel mobile de plus en plus puissant a franchi un seuil. Les modèles qui produisent un résultat genuinely utile tournent sur des appareils que les gens possèdent déjà.

L’activation clé est la quantisation agressive. Un modèle 3B paramètres quantisé à 4 bits tient en environ 1,7GB de mémoire. C’est à portée de n’importe quel smartphone moderne avec 6GB+ de RAM. Un modèle 1,5B à 4 bits prend moins de 1GB — laissant beaucoup d’espace pour le système d’exploitation et d’autres applications.

La portabilité de llama.cpp rend cela possible sur les plateformes. La même base de code C++ compile pour ARM (téléphones, Raspberry Pi), x86 (ordinateurs portables, desktops), et Apple Silicon (Macs, iPads). Un moteur d’inférence, chaque plateforme.

Téléphones : la plateforme d’un milliard d’utilisateurs

Les téléphones flagship modernes sont des appareils d’inférence étonnamment capables. L’Apple A17 Pro et Snapdragon 8 Gen 3 incluent des unités de traitement neural (NPUs) dédiées qui accélèrent les opérations matricielles. Combiné avec 8-12GB de RAM, ces appareils exécutent des modèles 3B à des vitesses conversationnelles.

Sur iPhone, MLX (framework d’apprentissage machine d’Apple) fournit des chemins d’inférence optimisés qui exploitent le Neural Engine et le GPU simultanément. Les applications tierces comme LLM Farm et MLC Chat démontrent que les chatbots interactifs tournant entièrement on-device sont pratiques.

Sur Android, les projets comme MLC LLM et llama.cpp avec Vulkan fournissent l’inférence accélérée par GPU. La performance varie plus sur l’écosystème Android en raison de la fragmentation du matériel, mais les appareils flagship de Samsung, Google, et OnePlus gèrent tous les petits modèles capablement.

Le plafond réaliste sur les téléphones est la classe 3B paramètres. Ces modèles gèrent les tâches focalisées bien : complétude de texte, Q&A simple, summarisation de documents courts, assistance code basique. N’attends pas une qualité GPT-4, mais pour les applications capables de fonctionner hors-ligne, l’utilité est réelle.

Ordinateurs portables : le sweet spot du power user

Les ordinateurs portables sont le sweet spot de l’edge AI parce qu’ils combinent une puissance compute significative avec les avantages de la confidentialité et la latence de l’inférence locale. Un MacBook avec 16GB de mémoire unifiée exécute des modèles 7B à 20-30 tokens par seconde. Un ordinateur portable gaming avec un GPU dédié pousse 50+ tokens par seconde.

L’expérience utilisateur approche la qualité du cloud. Les outils comme Ollama, LM Studio, et Jan fournissent des interfaces polies qui rendent l’exécution de modèles locaux aussi simple que d’installer une application. Sélectionne un modèle, clique télécharger, commence à chatter. Pas de clés API, pas de limites d’usage, pas de données quittant ta machine.

Pour les développeurs, les modèles locaux sur ordinateurs portables permettent des workflows de développement hors-ligne. Complétude de code, génération de documentation, écriture de test — tous sans dépendance internet. L’avantage de latence est aussi réel : l’inférence locale a zéro temps de round-trip réseau, rendant l’assistance code interactive se ressentant plus responsif que les alternatives cloud.

Raspberry Pi et systèmes embarqués

Le Raspberry Pi 5 avec 8GB de RAM représente l’extrême fin de l’edge AI. Il exécute les petits modèles (paramètres 1-3B, extrêmement quantisés) à des vitesses utilisables pour les applications non-interactives. Pense aux appareils IoT qui traitent les données de capteur avec compréhension du langage naturel, ou les kiosques qui tournent sans internet.

La performance est modeste : 2-5 tokens par seconde pour un modèle 1,5B Q4 sur CPU. Pas assez rapide pour le chat interactif, mais parfaitement adéquat pour le traitement par batch, les tâches de classification, et l’extraction structurée. Un Raspberry Pi exécutant un petit modèle peut analyser les données entrantes, générer des alertes, et prendre des décisions locales sans aucune dépendance cloud.

L’écosystème RISC-V émerge comme une autre plateforme edge AI. Des cartes avec des accélérateurs IA apparaissent aux prix du Raspberry Pi, offrant du matériel d’inférence dédié qui pourrait pousser les petits modèles à des vitesses interactives sur du matériel sub-$50.

L’argument de la confidentialité

La confidentialité est l’argument le plus fort pour l’edge AI, et c’est n’est pas juste sur la préférence — c’est de plus en plus une question de réglementation. GDPR, HIPAA, et les régulations émergentes d’IA créent des exigences de conformité que l’inférence cloud ne peut pas toujours satisfaire. Quand un modèle tourne on-device, les données de l’utilisateur ne quittent jamais l’appareil. Fin de l’histoire.

Les applications healthcare traitant les dossiers patients, les outils légaux analysant les documents confidentiels, les services financiers gérant les données sensibles — ces cas d’usage exigent l’inférence on-device. Le compromis de qualité d’utiliser un modèle plus petit est acceptable quand l’alternative est ne pas pouvoir utiliser l’IA du tout dû aux contraintes de conformité.

Défis et limitations

La durée de vie de la batterie est le problème non résolu sur mobile. L’exécution d’inférence est intensive en calcul. Une session de chat prolongée peut drainer la batterie d’un téléphone notablement plus vite que l’usage normal. Les modèles doivent être utilisés judicieusement, pas laissés exécutés continuellement.

Les mises à jour de modèle sur les appareils edge sont plus difficiles que mettre à jour un endpoint cloud. Tu dois distribuer les nouveaux poids de modèle à potentiellement des millions d’appareils, gérer la compatibilité des versions, et gérer les contraintes de stockage. L’infrastructure pour cela existe (c’est similaire aux mises à jour d’application) mais ajoute de la complexité opérationnelle.

Le plafond de qualité est réel. Les modèles edge sont plus petits par nécessité, et plus petit signifie moins capable. Pour les tâches nécessitant une vaste connaissance, du raisonnement complexe, ou la gestion d’entrées inhabituelles, les modèles edge traîneront les modèles cloud pour l’avenir prévisible. L’approche intelligente est hybride : utilise l’edge pour ce qu’il gère bien, reviens au cloud pour ce qu’il ne fait pas.

L’edge AI ne remplace pas l’AI cloud. Il le complète, remplissant les lacunes où le cloud ne peut pas atteindre. Et à mesure que le matériel s’améliore et que les modèles deviennent plus efficaces, ces lacunes continuent de réduire.

Pour la recherche sur le déploiement efficace d’IA sur les plateformes, visite Laeka Research.