Introduction aux outils « responsables » en IA

 Lorsqu’un programme est écrit par un développeur, un calculateur va prendre des données en entrée qui vont être compilées par une machine. Le programme va être appliqué aux différentes entrées et va donner des sorties ; Il s’agit là d’un paradigme « classique » de programmation.

Avec l’IA et notamment le machine learning, on fournit plusieurs entrées et plusieurs sorties et on laisse le calculateur définir de lui-même un programme. Le programme n’est plus une donnée, mais une sortie du machine learning.

Comment est alors fabriqué un programme ? C’est un ensemble d’essais/erreurs, dans lequel « on va essayer quelque chose. » On va observer que la sortie ne correspond pas à ce que l’on espérait et petit à petit, on arrive à un programme. 

Lorsqu’on parle « d’éthique dans l’utilisation de la machine », on a plutôt une vision très pragmatique dans laquelle l’éthique devient qualificative d’un certain nombre de pratiques. Dans les faits on a une vision un peu plus réifiée de l’éthique en se disant que tel ou tel algorithme est éthique. 

Aujourd’hui on parle d’« IA responsable », mais le fait de le réifier est problématique : ne faut-il pas plutôt parler uniquement des pratiques humaines, des pratiques collectives, délibérées ? C’est une vraie question qui se pose.

L’idée est de moins se focaliser sur ces débats, les grands principes, et de plus axer les questionnements sur des débats internes : essayer de générer une discussion qui permette de faire sortir les points de désaccords entre les personnes, de les discuter tels qu’ils se présentent vraiment de manière opérationnelle. Cela demande de disposer des outils pour le faire. 

En matière d’éthique, l’IA pose quatre catégories de problèmes majeurs :

• Les données personnelles

La donnée est l’éléments numéro un de l’IA. Si on a des données à caractère personnel, on peut imaginer une forme « d’adhérence » du modèle, et un programme qui contient des données personnelles.

• Les biais et la discrimination

Ce problème est également relativement intuitif parce qu’on comprend que l’IA va prendre en entrées et en sorties des exemples et qu’elle va produire un programme. Le modèle est censé se déployer par inférence sur de nouvelles données. Dès lors, il y a toujours une forme d’adhérence avec les données en entrées que l’on a pu lui fournir. L’induction créé donc naturellement le problème des biais et de la discrimination. 

• Le problème de la transparence

Dès lors qu’il y a un réseau de neurones avec de nombreuses couches, on peut imaginer que face à toute cette complexité, on ait du mal à avoir un raisonnement très formel. La complexité nous fait perdre toute chaine de causalité dans le raisonnement de l’algorithme, ce qui créé un problème de transparence et d’explicabilité.

• L’autonomie des sujets 

Cette question est essentielle. Dès lors que l’on observe que l’algorithme d’IA peut s’autoadapter à des situations très variées on peut se poser la question de savoir quelle est la place du sujet qui, doté d’un libre-arbitre face à un algorithme, parvient à s’adapter à ses moindres gestes.

Dans chacune de ces catégories, peuvent émerger d’autres problèmes liés à l’éthique, comme le sujet de la propriété intellectuelle.

L’induction est le cœur même de l’IA. Étant donné qu’il y a une forme d’adhérence sur les données d’apprentissage, les données ont un impact assez fort sur la manière dont l’algorithme apprend.

Les causes liées aux problèmes de discrimination concernant l’IA peuvent être très complexes et variées. On se rend compte que l’algorithme n’utilise pas les mêmes catégories que celles que nous utilisons pour faire face à une problématique. C’est le point de départ de mes travaux : poser le problème de la catégorie. En effet, les algorithmes utilisent peut-être des catégories différentes mais la question est « comment mettre en place des outils d’enquête pour comprendre les catégories utilisées par les algorithmes ? ».

On peut distinguer :

• les données porteuses de préjugés humains dans la tâche à classifier (cf. racisme, sexisme, discrimination à l’embauche…) ;
• les biais intentionnels du concepteur dans la configuration du modèle (cf. entrave à la concurrence sur les moteurs de recherche…) ;
• les biais statistiques : les données d’apprentissage ne sont pas statistiquement fiables et ne sont pas représentatives de la population globale (cf. racisme sur reconnaissance faciale…). 

Ceux qui tentent de corriger ces biais se heurtent à un problème majeur qui est celui de la définition du biais.

Les data scientists pensent être neutres de prime abord ? Ils recherchent d’ailleurs la neutralité, c’est très important pour eux, mais cela n’évite pas les biais. 

Le « voile de la neutralité » est parfois problématique : on devrait plutôt adopter une autre approche plus réaliste et plus intéressante qui reviendrait à considérer que tout ce que l’on fait est biaisé et politique, et qu’il faudrait déterminer ensemble le meilleur biais.

Voici quelques exemples illustrant le problème d’explicabilité :

• Un algorithme refuse d’accorder un crédit bancaire. L’utilisateur peut-il obtenir une explication ?
• Un algorithme prédit la panne d’une machine. Le technicien peut-il en savoir plus sur la façon d’éviter la panne ?
• Un étudiant proteste à la suite de son affectation par l’algorithme de Parcoursup. Peut-il obtenir une explication sur la décision de l’algorithme ?

Une des grandes croyances que l’on peut avoir, c’est de se dire que l’on a besoin d’une représentation a priori pour travailler ensemble.

En fonction du contexte, de l’interlocuteur, de la manière dont on va expliquer et du cas d’usage, l’interprétation est différente. 

Donc l’idée de croire que l’on a besoin de coller, de révéler une vérité cachée à l’intérieur de l’algorithme est peut-être un leurre, une vue de l’esprit. L’interprétation est juste un processus de traduction toujours localisé dans un contexte varié.

Avec les boucles de rétroaction, l’IA est cyclique dans sa manière de fonctionner.

Prenons l’exemple des systèmes de recommandations sur YouTube :

L’application propose des recommandations. En fonction des choix des utilisateurs, cela va générer des données variées qui sont utilisées pour l’apprentissage de l’algorithme (par essais/erreurs) et qui évoluent en fonction de la réaction des utilisateurs et ainsi de suite…

Les boucles de rétroaction posent la question de l’autonomie du sujet en opposition à celle de la machine. Le principal écueil réside dans la possibilité de se retrouver enfermé dans des cases, selon les phénomènes suivants :

• la bulle filtrante : il s’agit de l’exposition à des informations (décisions) résultant de notre comportement passé où rien ne permet de s’en éloigner ;
• la chambre d’écho : il s’agit de l’exposition à des informations (décisions) de personnes proches de nous ;
• la « manipulation » de l’algorithme, qui s’opère en captant par tâtonnement des comportements inconscients et inavoués tels que le sentiment de réciprocité, le sentiment de reconnaissance ou des peurs variées.

Ces phénomènes engendrent des conséquences éthiques plus ou moins réalistes :

• la manipulation à visée économique ou politique (fake news) ;
• l’asservissement de l’homme ;
• le fait de maintenir l’homme dans la passivité sans la possibilité de se mobiliser ;
• l’obstruction au principe d’individuation.

Pour régler ces problèmes, il faut ajouter des aléas dans le processus d’apprentissage pour sortir de ces équilibres trop stables qui ne nous intéressent pas.

Un des principaux problèmes de l’algorithme de machine learning - qui est aussi une de ses principales forces - est qu’il donne une place essentielle à la donnée. 

Les informations sensibles personnelles s’encapsulent au sein de l’algorithme. La principale question résulte dès lors du fait que ces informations sont privées : « est-ce que l’algorithme en lui-même est aussi personnel ? ».

Différentes méthodes permettent de pallier ce problème, telles que la K-anonymisation, la differential privacy.

Ces méthodes permettent d’agréger les données à l’intérieur de l’algorithme afin qu’il conserve son pouvoir statistique tout en oubliant les données personnelles. Pour ne pas encapsuler les données personnelles, on essaye de pousser le curseur vers la généralisation, on essaye de moins « sur-apprendre » les données personnelles à l’intérieur de l’apprentissage. 

Le monde de l’éthique de l’IA est traversé par un mouvement top-down, avec une approche très déductive. Avec l’IA, la difficulté réside dans le fait que les critères de qualité ou les critères normatifs sont beaucoup trop variés parce qu’ils sont dépendants des données en entrée. 

Donc, si les données en entrée ont des configurations infinies, les critères de qualité auront également des configurations infinies. Le résultat est que les approches top-down sont beaucoup trop restrictives et réduisent la situation à des critères trop généraux.

Une autre manière de procéder correspond à une approche plus bottom-up :

A partir d’une situation algorithmique particulière, elle consiste à adopter une approche plus collective, en consultant des experts qui donnent leur avis sur des algorithmes qui peuvent être problématiques, en relevant les biais. A partir de ces retours, il s’agit dans une troisième étape d’agréger des critères normatifs plus généraux en faisant émerger des critères à partir d’une situation particulière.

Certes, l’inconvénient par rapport à la méthode top-down est l’absence de référentiel. Mais elle permet en revanche de s’ouvrir à des contextes très diversifiés et de créer une stratégie de gouvernance de cas très variés.