Comment créer des algorithmes qui s'expliquent eux-mêmes

En 2019, j'ai écrit mes prédictions sur les avancées que nous verrions dans l'IA en 2020. Dans l'une de ces prédictions, j'ai discuté du problème éternel de l'explicabilité algorithmique, ou la capacité des algorithmes à s'expliquer eux-mêmes, et comment cela allait devenir primordial cette année. Résoudre ce problème est essentiel pour le succès des entreprises, car le grand public devient de plus en plus mal à l'aise avec les algorithmes en boîte noire. Les algorithmes en boîte noire se réfèrent à des algorithmes dont on ne peut discerner la raison pour laquelle ils ont atteint un certain résultat. Lorsque les décisions algorithmiques sont déterminées par de très grands ensembles de données, cela peut être un problème épineux. Comme la transparence est le principe le plus répandu dans la littérature actuelle sur l'éthique de l'IA, il n'est pas étonnant que l'explicabilité, un sous-ensemble de la transparence, soit sur toutes les lèvres des responsables gouvernementaux, des technologues et des profanes. L'IA explicable, également connue sous le nom de XAI, est le processus par lequel le processus de prise de décision des algorithmes est rendu transparent et compréhensible pour les humains. Le problème : comprendre nos données Nous avons tous entendu l'histoire : ce monde en constante évolution dans lequel nous vivons est fondamentalement axé sur les données. Les experts en données utilisent des outils d'analyse sophistiqués et de science des données pour donner un sens à la multitude de données qui nous entourent. Mais avec les big data vient une grande responsabilité. Les méthodes algorithmiques de travail avec les données, telles que l'apprentissage automatique et l'apprentissage profond (un sous-ensemble du premier), peuvent produire des résultats robustes, permettant à un analyste de prédire les résultats futurs en se basant sur des données historiques. Malheureusement, avec bon nombre de ces méthodes, les résultats sont clairs mais les raisons et explications de la façon dont l'algorithme y est parvenu le sont moins. Cela est en grande partie dû à la nature compliquée et complexe des algorithmes, surtout en ce qui concerne l'apprentissage profond, où il peut y avoir de nombreuses étapes ou phases entre l'entrée et la sortie. Ce problème est aggravé par le fait que les cadres juridiques du monde entier, tels que le Règlement général sur la protection des données (RGPD), accordent aux personnes le droit de recevoir une explication pour un résultat d'un algorithme. Merry Marwig, analyste de recherche sur le marché de la confidentialité et de la cybersécurité chez G2, soutient : L'article 22 du RGPD de l'UE intitulé « Décision individuelle automatisée, y compris le profilage », aborde l'explicabilité de l'IA. Le but de l'article est de donner à une personne la possibilité de demander à un humain de revoir un cas où l'IA a pris une décision impactant la vie de la personne. Par exemple, si une personne demande un prêt bancaire et se voit refuser, elle a le droit de demander les facteurs qui ont contribué à ce résultat. Peut-être était-ce parce qu'elle avait un mauvais crédit ou une faillite antérieure et était jugée trop risquée pour accorder un prêt. Ce sont des raisons simples pour un refus de prêt, mais que se passe-t-il si la raison est due à une multitude de données, de logique et de calculs qui ne peuvent pas être facilement expliqués par un humain ? C'est le problème que pose un manque d'explicabilité de l'IA aux entreprises et la difficulté de se conformer à l'article 22 du RGPD. Cependant, il convient de noter que des juristes tels que Sandra Wachter remettent en question la portée et l'étendue de la clause « droit à l'explication » dans le RGPD et son application aux systèmes algorithmiques intelligents artificiellement en raison du fait que « le RGPD manque de langage précis ainsi que de droits et de garanties explicites et bien définis contre la prise de décision automatisée ». La solution : l'explicabilité algorithmique Outre la législation gouvernementale, nous voyons également comment les dirigeants d'entreprise écoutent la voix du peuple qui, selon une enquête de l'IBM Institute for Business Value, exige - et continuera d'exiger - plus d'explicabilité de l'IA. Les professionnels de l'informatique réalisent bien ses avantages, notamment sur le plan fiscal. Selon l'enquête annuelle de CCS Insight auprès des décideurs informatiques, la transparence sur le fonctionnement et la formation des systèmes est désormais l'une des exigences les plus importantes lors de l'investissement dans l'IA et l'apprentissage automatique, citée par près de 50 % des répondants. Avec cela à l'esprit, il semble presque sans regret de mettre en œuvre l'explicabilité algorithmique dans la pile technologique d'une entreprise, donnant aux parties prenantes la possibilité de regarder à l'intérieur de la boîte noire et de comprendre le fonctionnement interne des algorithmes. Si seulement c'était aussi simple... Le problème avec la solution Comme pour de nombreuses solutions idéalisées, elles ne sont pas parfaites et ne fonctionnent pas pour tous les problèmes. Ainsi, nous avons vu trois problèmes clés avec l'expansion et l'adoption de l'explicabilité. Profondeur et complexité de l'algorithme Bien que certains algorithmes d'apprentissage automatique soient plus enclins à l'explication en raison de leur relative simplicité, d'autres, tels que l'apprentissage profond, sont plus délicats en raison de leur nature imbriquée et du fait qu'ils peuvent avoir des couches cachées entre l'entrée et la sortie. Cela dit, cela ne signifie pas que tout est perdu et que nous devrions abandonner notre objectif d'une IA explicable. (Comme le dit le proverbe, si au début vous ne réussissez pas, essayez, essayez, essayez encore.) Nous voyons une tendance sur le marché des plateformes de science des données et d'apprentissage automatique où les fournisseurs répondent à cet appel clair et fournissent des outils pour donner à l'algorithme d'un utilisateur une certaine forme d'explicabilité. Par exemple, nous avons vu des outils - tels que l'Explainability 360 d'IBM, le SageMaker Debugger d'AWS et l'Explainable AI de Google - qui ne s'attaquent intentionnellement qu'à un sous-ensemble d'algorithmes dans un cas d'utilisation particulier, avec des plans d'expansion à l'avenir. L'espace des logiciels d'opérationnalisation de l'IA et de l'apprentissage automatique (MLOps) est en plein essor. Sur G2, nous avons constaté un intérêt considérable pour la catégorie, avec une augmentation du trafic de 842 % en juillet 2021. De plus, G2 a ajouté un attribut à la catégorie des logiciels d'opérationnalisation de l'IA et de l'apprentissage automatique (MLOps) pour les outils qui sont orientés vers l'explicabilité algorithmique. Avec ces outils, les équipes de science des données peuvent intégrer l'explicabilité dans leur pipeline de données, aidant à expliquer leurs algorithmes et leurs résultats à d'autres départements, clients, et plus encore. Les examinateurs décrivent l'importance de l'explicabilité pour leur pipeline de science des données. Par exemple, un examinateur pour MLOps a décrit : « L'observabilité ML est la meilleure partie du pipeline MLOps. Surveiller les modèles pour l'explicabilité et la surveillance de la dérive avec Grafana et Prometheus est plus perspicace et incite quiconque à plonger profondément. » Ce n'est pas ce que vous dites - c'est comment vous le dites Comme pour toute solution, il est essentiel que l'explication soit adaptée à l'utilisateur, en fonction de ses compétences, de son rôle et de son objectif. Par exemple, il pourrait être contre-productif et inefficace de fournir une explication approfondie et riche en données à un dirigeant d'entreprise. En même temps, ce style d'explication pourrait convenir à un analyste de données ou à un data scientist qui cherche à ajuster l'algorithme. Certains des outils disponibles sur le marché prennent ce dilemme en considération et permettent que l'explication soit adaptée à l'utilisateur final. Malheureusement, le simple fait d'expliquer l'IA peut parfois avoir des effets désastreux. Trop de transparence peut conduire à une surcharge d'informations. Dans une étude de 2018 examinant comment les utilisateurs non experts interagissent avec les outils d'apprentissage automatique, par exemple, Jennifer Wortman Vaughan, informaticienne chez Microsoft Research, a constaté que les modèles transparents peuvent en fait rendre plus difficile la détection et la correction des erreurs du modèle, car créer des réseaux neuronaux plus transparents peut nous amener à leur faire trop confiance. Comme l'a écrit Douglas Heaven, MIT Tech Review, « En fin de compte, nous voulons que les IA s'expliquent non seulement aux data scientists et aux médecins, mais aussi aux policiers utilisant la technologie de reconnaissance faciale, aux enseignants utilisant des logiciels d'analyse dans leurs salles de classe, aux étudiants essayant de comprendre leurs flux de médias sociaux - et à quiconque assis sur le siège arrière d'une voiture autonome. » L'explicabilité comme un « agréable à avoir » contre un « indispensable » Juste parce que quelque chose peut être expliqué, ne signifie pas qu'il doit l'être ou qu'il doit l'être. Selon le Dr Francesco Corea, responsable de la recherche chez Balderton Capital, l'explicabilité de l'IA pourrait créer des problèmes à l'avenir. Le point du Dr Corea réitère le problème ci-dessus : juste parce que quelque chose peut être expliqué, cela ne signifie pas qu'il doit l'être. De plus, je suis tout à fait d'accord avec le fait que l'explicabilité algorithmique doit être une partie clé du processus de conception et non juste une réflexion après coup. L'avenir Ce mouvement vers l'explicabilité est excitant pour une autre raison : il fait avancer la lutte contre les biais algorithmiques. C'est une tragédie bien connue que, en raison de plusieurs facteurs comme des ensembles de données biaisés, les algorithmes peuvent produire des résultats biaisés. Un exemple de cela est le fait que de nombreux systèmes de reconnaissance faciale sont meilleurs pour détecter les visages blancs. Damon Civin, data scientist principal chez Arm, a remarqué que la poussée vers une IA explicable peut aider à réduire l'impact des algorithmes biaisés, « Si les opérateurs humains pouvaient vérifier le 'raisonnement' qu'un algorithme a utilisé pour prendre des décisions concernant les membres de groupes à haut risque, ils pourraient être en mesure de corriger les biais avant qu'ils n'aient un impact sérieux. » Quiconque est intéressé à voir les choses désastreuses et destructrices qui peuvent résulter de données biaisées est invité à lire le livre révélateur de Caroline Criado-Pérez, Invisible Women. Heureusement, comme nous l'avons mentionné ci-dessus, nous voyons des plateformes de science des données et d'apprentissage automatique commencer à intégrer des fonctionnalités d'explicabilité dans leurs produits. Avec ces capacités, on peut construire des applications et des logiciels alimentés par l'IA visant à offrir de la transparence. Avec cela à l'esprit, les entreprises pourront non seulement cocher une case éthique, mais aussi fournir à leurs utilisateurs finaux un produit responsable qui peut être compris par tous.