Le machine learning a un probl\u00e8me de donn\u00e9es, et ce n’est pas ce que tu penses. Le probl\u00e8me n’est pas qu’il n’y ait pas assez de donn\u00e9es \u2014 il y en a plein. Le probl\u00e8me est que les donn\u00e9es sont pi\u00e9g\u00e9es. Les h\u00f4pitaux ont des dossiers patients qui pourraient r\u00e9volutionner les diagnostics. Les banques ont des historiques de transactions qui pourraient \u00e9liminer la fraude. Les fabricants de t\u00e9l\u00e9phones ont des mod\u00e8les de clavier qui pourraient perfectionner la pr\u00e9diction de texte. Mais aucun d’eux ne peut partager ces donn\u00e9es sans violer les lois sur la vie priv\u00e9e, trahir la confiance, ou s’exposer \u00e0 une responsabilit\u00e9 catastrophique.<\/p>\n
L’apprentissage f\u00e9d\u00e9r\u00e9 renverse le paradigme traditionnel du machine learning. Au lieu de porter toutes les donn\u00e9es \u00e0 un serveur central et d’entra\u00eener un mod\u00e8le l\u00e0, tu portes le mod\u00e8le aux donn\u00e9es. Chaque participant entra\u00eene sur ses donn\u00e9es locales, et seules les mises \u00e0 jour du mod\u00e8le \u2014 les motifs appris, pas les donn\u00e9es brutes \u2014 sont partag\u00e9es. Le serveur central agr\u00e8ge ces mises \u00e0 jour dans un mod\u00e8le global am\u00e9lior\u00e9 et le renvoie. Rinse and repeat. Les donn\u00e9es ne quittent jamais leur source.<\/p>\n
Le protocole de base est \u00e9l\u00e9gant dans sa simplicit\u00e9. Un serveur central maintient un mod\u00e8le global et le distribue aux clients participants. Chaque client entra\u00eene ce mod\u00e8le sur son ensemble de donn\u00e9es local pendant quelques epochs, produisant des poids de mod\u00e8le mis \u00e0 jour. Ces mises \u00e0 jour de poids (ou gradients) sont renvoy\u00e9s au serveur, qui les moyenne ensemble en utilisant un algorithme comme Federated Averaging (FedAvg). La mise \u00e0 jour moyenn\u00e9e est appliqu\u00e9e au mod\u00e8le global, et le cycle se r\u00e9p\u00e8te.<\/p>\n
Google a \u00e9t\u00e9 pionnier dans ce domaine \u00e0 l’\u00e9chelle avec Gboard, son clavier mobile. Chaque t\u00e9l\u00e9phone Android ex\u00e9cutant Gboard entra\u00eene un mod\u00e8le local sur les mod\u00e8les de frappe de l’utilisateur. Les mises \u00e0 jour de poids sont envoy\u00e9es aux serveurs de Google, agr\u00e9g\u00e9es, et le mod\u00e8le am\u00e9lior\u00e9 est pouss\u00e9 \u00e0 tous les t\u00e9l\u00e9phones. Tes donn\u00e9es de frappe ne quittent jamais ton appareil, mais l’intelligence collective de millions de dactylographes am\u00e9liore les pr\u00e9dictions de tout le monde. C’\u00e9tait l’une des premi\u00e8res d\u00e9monstrations que l’apprentissage f\u00e9d\u00e9r\u00e9 pouvait fonctionner \u00e0 une vraie grande \u00e9chelle.<\/p>\n
Les math\u00e9matiques derri\u00e8re FedAvg sont simples : prends la moyenne pond\u00e9r\u00e9e de toutes les mises \u00e0 jour de mod\u00e8le client, o\u00f9 le poids est proportionnel \u00e0 la taille de l’ensemble de donn\u00e9es de chaque client. Mais cette simplicit\u00e9 masque des d\u00e9fis significatifs. Les clients ont diff\u00e9rentes distributions de donn\u00e9es (donn\u00e9es non-IID), diff\u00e9rentes quantit\u00e9s de donn\u00e9es, diff\u00e9rentes capacit\u00e9s computationnelles, et diff\u00e9rentes conditions de r\u00e9seau. Rendre l’apprentissage f\u00e9d\u00e9r\u00e9 robuste \u00e0 toutes ces h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9s est l\u00e0 o\u00f9 se trouve la complexit\u00e9 de la recherche.<\/p>\n
Le plus grand d\u00e9fi technique en apprentissage f\u00e9d\u00e9r\u00e9 est l’h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 des donn\u00e9es. En entra\u00eenement centralis\u00e9, tu m\u00e9langes toutes tes donn\u00e9es ensemble, en assurant que chaque mini-batch est \u00e0 peu pr\u00e8s repr\u00e9sentatif de la distribution compl\u00e8te. En apprentissage f\u00e9d\u00e9r\u00e9, chaque client a sa propre distribution locale qui pourrait \u00eatre totalement diff\u00e9rente de celle globale.<\/p>\n
Consid\u00e8re un syst\u00e8me f\u00e9d\u00e9r\u00e9 pour l’imagerie m\u00e9dicale \u00e0 travers les h\u00f4pitaux. Un h\u00f4pital se sp\u00e9cialise en cardiologie et poss\u00e8de principalement des scans cardiaques. Un autre se concentre sur l’oncologie avec principalement des images de tumeurs. Une clinique rurale voit un m\u00e9lange large mais peu profond de tout. Entra\u00eener un seul mod\u00e8le qui fonctionne bien pour tous est fondamentalement plus difficile que d’entra\u00eener sur un ensemble de donn\u00e9es centralis\u00e9 et \u00e9quilibr\u00e9.<\/p>\n
Le probl\u00e8me non-IID cause la divergence des mises \u00e0 jour client. L’entra\u00eenement local de chaque client pousse le mod\u00e8le vers sa propre distribution de donn\u00e9es, et ces pouss\u00e9es peuvent pointer dans des directions conflictuelles. La simple moyenne de mises \u00e0 jour divergentes produit un mod\u00e8le qui est m\u00e9diocre pour tout le monde plut\u00f4t qu’excellent pour quelqu’un. C’est appel\u00e9 d\u00e9rive client, et c’est la raison principale pour laquelle l’apprentissage f\u00e9d\u00e9r\u00e9 na\u00eff sous-performe l’entra\u00eenement centralis\u00e9.<\/p>\n
Les solutions abondent mais aucune n’est parfaite. FedProx ajoute un terme de r\u00e9gularisation qui emp\u00eache les mod\u00e8les clients de s’\u00e9loigner trop du mod\u00e8le global. SCAFFOLD utilise la r\u00e9duction de variance pour corriger la d\u00e9rive client. L’apprentissage f\u00e9d\u00e9r\u00e9 personnalis\u00e9 abandonne compl\u00e8tement l’objectif d’un mod\u00e8le global unique, utilisant plut\u00f4t la f\u00e9d\u00e9ration pour apprendre une bonne initialisation que chaque client affine localement. Chaque approche \u00e9change entre la qualit\u00e9 du mod\u00e8le global et l’adaptation locale.<\/p>\n
L’apprentissage f\u00e9d\u00e9r\u00e9 fournit la vie priv\u00e9e par d\u00e9faut \u2014 les donn\u00e9es brutes restent locales. Mais \u00ab ne pas partager de donn\u00e9es \u00bb ne signifie pas automatiquement \u00ab aucune information ne s’\u00e9chappe. \u00bb Les mises \u00e0 jour de mod\u00e8le elles-m\u00eames contiennent des informations sur les donn\u00e9es d’entra\u00eenement, et les attaques ing\u00e9nieuses peuvent l’extraire.<\/p>\n
Les attaques d’inversion de gradient peuvent reconstruire les donn\u00e9es d’entra\u00eenement \u00e0 partir des mises \u00e0 jour de gradient avec une fid\u00e9lit\u00e9 surprenante. \u00c9tant donn\u00e9 les gradients qu’un client a calcul\u00e9s, un attaquant peut optimiser une image d’entr\u00e9e pour produire les m\u00eames gradients, reconstruisant efficacement ce sur quoi le client a \u00e9t\u00e9 entra\u00een\u00e9. Pour les petites tailles de batch et les mod\u00e8les haute r\u00e9solution, ces reconstructions peuvent \u00eatre presque parfaites. Tes donn\u00e9es n’ont pas quitt\u00e9 ton appareil, mais leur spectre l’a fait.<\/p>\n
Les attaques d’inf\u00e9rence d’appartenance prennent un angle diff\u00e9rent : \u00e9tant donn\u00e9 un point de donn\u00e9es, d\u00e9termine s’il a \u00e9t\u00e9 utilis\u00e9 dans l’ensemble d’entra\u00eenement d’un client particulier. C’est moins spectaculaire qu’une reconstruction compl\u00e8te mais peut \u00eatre d\u00e9vastateur dans les contextes sensibles. Savoir que le dossier d’un patient sp\u00e9cifique a \u00e9t\u00e9 utilis\u00e9 pour entra\u00eener un mod\u00e8le de diab\u00e8te r\u00e9v\u00e8le sa condition m\u00e9dicale, m\u00eame sans voir le dossier lui-m\u00eame.<\/p>\n
La vie priv\u00e9e diff\u00e9rentielle fournit la d\u00e9fense formelle la plus forte. En ajoutant du bruit calibr\u00e9 aux mises \u00e0 jour de gradient avant de les partager, tu peux math\u00e9matiquement borner les informations que tout observateur peut extraire sur n’importe quel point de donn\u00e9es individuel. Le compromis est la qualit\u00e9 du mod\u00e8le : plus de bruit signifie des garanties de vie priv\u00e9e plus fortes mais des mises \u00e0 jour plus bruyantes qui ralentissent la convergence et r\u00e9duisent la pr\u00e9cision finale. Trouver le bon budget de vie priv\u00e9e (epsilon) pour une application donn\u00e9e est autant un art qu’une science.<\/p>\n
L’apprentissage f\u00e9d\u00e9r\u00e9 a engendr\u00e9 un \u00e9cosyst\u00e8me open-source riche. Flower (flwr) a \u00e9merg\u00e9 comme le cadre leader, fournissant une API Python flexible qui supporte pratiquement tout framework de ML (PyTorch, TensorFlow, JAX) et tout backend de communication. Son abstraction de strat\u00e9gie permet aux chercheurs d’impl\u00e9menter de nouveaux algorithmes f\u00e9d\u00e9r\u00e9s avec un boilerplate minimal tout en g\u00e9rant les d\u00e9tails d\u00e9tourn\u00e9s de la gestion des clients, de la communication, et de la tol\u00e9rance aux pannes.<\/p>\n
PySyft d’OpenMined prend une approche centr\u00e9e sur la vie priv\u00e9e, int\u00e9grant l’apprentissage f\u00e9d\u00e9r\u00e9 avec le calcul s\u00e9curis\u00e9 multi-parties et la vie priv\u00e9e diff\u00e9rentielle dans un cadre unifi\u00e9. C’est particuli\u00e8rement populaire dans la sant\u00e9 et la finance o\u00f9 les garanties de vie priv\u00e9e doivent \u00eatre formellement v\u00e9rifiables, pas seulement best-effort.<\/p>\n
FATE (Federated AI Technology Enabler) de WeBank cible les d\u00e9ploiements en entreprise avec des fonctionnalit\u00e9s de niveau production comme le contr\u00f4le d’acc\u00e8s bas\u00e9 sur les r\u00f4les, la journalisation d’audit, et l’orchestration du d\u00e9ploiement. Cela refl\u00e8te la r\u00e9alit\u00e9 que l’apprentissage f\u00e9d\u00e9r\u00e9 en production n\u00e9cessite beaucoup plus qu’un simple algorithme d’entra\u00eenement \u2014 il n\u00e9cessite une infrastructure de gouvernance.<\/p>\n
Au-del\u00e0 de Gboard, l’apprentissage f\u00e9d\u00e9r\u00e9 a trouv\u00e9 une traction dans plusieurs domaines. Apple l’utilise pour les am\u00e9liorations de Siri, la personnalisation sur l’appareil, et les pr\u00e9dictions QuickType. Le mod\u00e8le de d\u00e9tection \u00ab Hey Siri \u00bb est partiellement entra\u00een\u00e9 f\u00e9d\u00e9ralement \u00e0 travers des millions d’appareils, am\u00e9liorant la pr\u00e9cision du mot-cl\u00e9 sans centraliser les enregistrements audio.<\/p>\n
La sant\u00e9 est le fit le plus naturel pour l’apprentissage f\u00e9d\u00e9r\u00e9, et des projets comme MELLODDY (d\u00e9couverte de m\u00e9dicaments pharmaceutiques \u00e0 travers dix grandes entreprises pharmaceutiques) et HealthChain (imagerie m\u00e9dicale \u00e0 travers les h\u00f4pitaux europ\u00e9ens) d\u00e9montrent son potentiel. Ces consortiums ne partageraient jamais de donn\u00e9es brutes \u2014 les pr\u00e9occupations de comp\u00e9tition \u00e0 part, les r\u00e9glementations comme GDPR et HIPAA le rendent l\u00e9galement impossible. L’apprentissage f\u00e9d\u00e9r\u00e9 leur permet de collaborer sur l’entra\u00eenement du mod\u00e8le sans violer aucune de ces contraintes.<\/p>\n
Les institutions financi\u00e8res utilisent des approches f\u00e9d\u00e9r\u00e9es pour la lutte contre le blanchiment d’argent et la d\u00e9tection de fraude. Chaque banque ne voit que ses propres transactions, mais les sch\u00e9mas de blanchiment d’argent s’\u00e9tendent souvent sur plusieurs institutions. Les mod\u00e8les f\u00e9d\u00e9r\u00e9s peuvent d\u00e9tecter les motifs inter-institutionnels que nulle banque unique ne pourrait identifier seule, sans qu’aucune banque ne r\u00e9v\u00e8le ses donn\u00e9es clients aux concurrents ou aux r\u00e9gulateurs.<\/p>\n
L’apprentissage f\u00e9d\u00e9r\u00e9 m\u00fbrit encore. L’efficacit\u00e9 de la communication reste un goulot d’\u00e9tranglement \u2014 l’envoi des mises \u00e0 jour de mod\u00e8le complet sur des r\u00e9seaux mobiles est co\u00fbteux. La compression, la quantification, et les techniques de mise \u00e0 jour clairsem\u00e9e r\u00e9duisent la bande passante mais ajoutent de la complexit\u00e9. Les protocoles asynchrones qui ne n\u00e9cessitent pas que tous les clients participent \u00e0 chaque cycle am\u00e9liorent la robustesse mais compliquent l’analyse de convergence.<\/p>\n
L’intersection de l’apprentissage f\u00e9d\u00e9r\u00e9 avec les mod\u00e8les fondamentaux est particuli\u00e8rement excitante. Le fine-tuning de masifs mod\u00e8les pr\u00e9d\u00e9finis f\u00e9d\u00e9ralement \u2014 utilisant des techniques comme LoRA ou des adaptateurs qui produisent des mises \u00e0 jour petites et efficaces \u2014 pourrait permettre des mod\u00e8les de langage volumineux personnalis\u00e9s qui s’adaptent aux donn\u00e9es institutionnelles sans que ces donn\u00e9es ne quittent jamais l’institution. L’h\u00f4pital qui affine un LLM m\u00e9dical sur ses dossiers patients, le cabinet juridique qui adapte un mod\u00e8le juridique \u00e0 son historique de cas, l’entreprise qui personnalise un assistant \u00e0 sa documentation interne \u2014 tout cela sans envoyer un seul document au cloud.<\/p>\n
L’apprentissage f\u00e9d\u00e9r\u00e9 ne remplacera pas l’entra\u00eenement centralis\u00e9 pour tous les cas d’usage. Quand tu peux centraliser les donn\u00e9es, tu le dois \u2014 c’est plus simple et produit g\u00e9n\u00e9ralement de meilleurs mod\u00e8les. Mais pour le vaste oc\u00e9an de donn\u00e9es sensibles qui ne peut pas \u00eatre centralis\u00e9, l’apprentissage f\u00e9d\u00e9r\u00e9 est le pont entre la vie priv\u00e9e et le progr\u00e8s. Et cet oc\u00e9an est bien plus grand que la plupart des gens ne le r\u00e9alisent.<\/p>\n","protected":false},"excerpt":{"rendered":"
Le paradoxe de la vie priv\u00e9e de l’IA Le machine learning a un probl\u00e8me de donn\u00e9es, et ce n’est pas ce que tu penses. Le probl\u00e8me n’est pas qu’il n’y ait pas assez de…<\/p>\n","protected":false},"author":1,"featured_media":302,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_kad_post_transparent":"","_kad_post_title":"","_kad_post_layout":"","_kad_post_sidebar_id":"","_kad_post_content_style":"","_kad_post_vertical_padding":"","_kad_post_feature":"","_kad_post_feature_position":"","_kad_post_header":false,"_kad_post_footer":false,"_kad_post_classname":"","footnotes":""},"categories":[278],"tags":[],"class_list":["post-556","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-securite-et-ethique-ia"],"_links":{"self":[{"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/posts\/556","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/comments?post=556"}],"version-history":[{"count":0,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/posts\/556\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/media\/302"}],"wp:attachment":[{"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/media?parent=556"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/categories?post=556"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/tags?post=556"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}