Como Fazer Algoritmos Que Se Expliquem

Em 2019, escrevi minhas previsões sobre os avanços que veríamos em IA em 2020. Em uma dessas previsões, discuti o problema perene da explicabilidade algorítmica, ou a capacidade dos algoritmos de se explicarem, e como isso se destacaria este ano. Resolver esse problema é fundamental para o sucesso dos negócios, à medida que o público em geral está se sentindo cada vez mais desconfortável com algoritmos de caixa preta. Algoritmos de caixa preta referem-se a algoritmos nos quais não se pode discernir a razão pela qual chegaram a um determinado resultado. Quando as decisões algorítmicas são determinadas por conjuntos de dados muito grandes, isso pode ser um problema espinhoso. Como a transparência é o princípio mais prevalente na literatura atual de ética em IA, não é de se admirar que a explicabilidade, um subconjunto da transparência, esteja na ponta da língua de autoridades governamentais, tecnólogos e leigos. IA explicável, também conhecida como XAI, é o processo pelo qual o processo de tomada de decisão dos algoritmos é tornado transparente e compreensível para os humanos. O problema: entender nossos dados Todos nós já ouvimos a história: Este mundo em constante mudança em que vivemos é fundamentalmente orientado por dados. Especialistas em dados usam ferramentas sofisticadas de análise e ciência de dados para dar sentido à loucura de dados que nos cerca. Mas com big data vem grande responsabilidade. Métodos algorítmicos de trabalho com os dados, como aprendizado de máquina e aprendizado profundo (um subconjunto do primeiro), podem produzir resultados robustos, permitindo que um analista preveja resultados futuros com base em dados históricos. Infelizmente, com muitos desses métodos, os resultados são claros, mas as razões e explicações de como o algoritmo chegou lá são menos claras. Isso se deve em grande parte à natureza complicada e complexa dos algoritmos — especialmente quando se trata de aprendizado profundo, no qual pode haver várias etapas ou estágios entre a entrada e a saída. Esse problema é agravado pelo fato de que estruturas legais em todo o mundo, como o Regulamento Geral sobre a Proteção de Dados (GDPR), estão concedendo às pessoas o direito de receber uma explicação para um resultado de um algoritmo. Merry Marwig, analista de pesquisa de mercado de privacidade e cibersegurança da G2, argumenta: O Artigo 22 do GDPR da UE, intitulado "Decisão individual automatizada, incluindo a definição de perfis", aborda a explicabilidade da IA. O objetivo do Artigo é dar a uma pessoa a capacidade de solicitar que um humano revise um caso em que a IA tomou uma decisão que impacta a vida da pessoa. Por exemplo, se uma pessoa solicita um empréstimo bancário e é negado, ela tem o direito de pedir os fatores que contribuíram para esse resultado. Talvez tenha sido porque ela tinha um crédito ruim ou uma falência anterior e foi considerada muito arriscada para conceder um empréstimo. Essas são razões diretas para a negação de um empréstimo, mas e se a razão fosse devido a uma miríade de dados, lógica e computação que não podem ser facilmente explicados por um humano? Este é o problema que a falta de explicabilidade da IA representa para as empresas e a dificuldade em cumprir o Artigo 22 do GDPR. No entanto, deve-se notar que estudiosos do direito, como Sandra Wachter, questionam o escopo e a extensão da cláusula "direito à explicação" no GDPR e sua aplicação a sistemas algorítmicos artificialmente inteligentes devido ao fato de que "o GDPR carece de linguagem precisa, bem como de direitos e salvaguardas explícitos e bem definidos contra a tomada de decisão automatizada." A solução: explicabilidade algorítmica Além da legislação governamental, também estamos vendo como líderes empresariais estão ouvindo a voz do povo que, de acordo com uma pesquisa do IBM Institute for Business Value, está exigindo — e continuará a exigir — mais explicabilidade da IA. Profissionais de TI percebem bem seus benefícios, especialmente em um sentido fiscal. De acordo com a pesquisa anual da CCS Insight com tomadores de decisão de TI, a transparência sobre como os sistemas funcionam e são treinados é agora um dos requisitos mais importantes ao investir em IA e aprendizado de máquina, citado por quase 50% dos entrevistados. Com isso em mente, parece quase um movimento sem arrependimentos implementar a explicabilidade algorítmica no conjunto de tecnologias de uma empresa, dando aos stakeholders a capacidade de espiar dentro da caixa preta e entender o funcionamento interno dos algoritmos. Se ao menos fosse tão fácil... O problema com a solução Como muitas soluções idealizadas, elas não são perfeitas e não funcionam para todos os problemas. Assim, vimos três questões principais com a expansão e adoção da explicabilidade. Profundidade e complexidade do algoritmo Embora alguns algoritmos de aprendizado de máquina sejam mais propensos à explicação devido à sua relativa simplicidade, outros, como o aprendizado profundo, são mais complicados devido à sua natureza aninhada e ao fato de que podem ter camadas ocultas entre a entrada e a saída. Dito isso, isso não significa que tudo está perdido e que devemos desistir de nosso objetivo de IA explicável. (Como diz o ditado, se no início você não conseguir, tente, tente, tente novamente.) Estamos vendo uma tendência no mercado de plataformas de ciência de dados e aprendizado de máquina onde os provedores estão respondendo a esse chamado e estão fornecendo ferramentas para dar ao algoritmo de um usuário alguma forma de explicabilidade. Por exemplo, vimos ferramentas — como o Explainability 360 da IBM, o SageMaker Debugger da AWS e o Explainable AI do Google — que estão intencionalmente abordando apenas um subconjunto de algoritmos dentro de um caso de uso específico, com planos de expansão no futuro. O espaço de software de operacionalização de IA e aprendizado de máquina (MLOps) está em alta. Na G2, vimos um tremendo interesse na categoria, com o tráfego crescendo 842% em julho de 2021. Além disso, a G2 adicionou um atributo à categoria de software de operacionalização de IA e aprendizado de máquina (MLOps) para ferramentas voltadas para a explicabilidade algorítmica. Com essas ferramentas, as equipes de ciência de dados podem incorporar a explicabilidade em seu pipeline de dados, ajudando a explicar seus algoritmos e seus resultados para outros departamentos, clientes e mais. Os revisores descrevem como a explicabilidade é importante para seu pipeline de ciência de dados. Por exemplo, um revisor do MLOps descreveu: "A observabilidade de ML é a melhor parte do pipeline de MLOps. Monitorar os modelos para explicabilidade e monitoramento de deriva com Grafana e Prometheus é mais perspicaz e faz com que qualquer pessoa se interesse em se aprofundar." Não é o que você diz — é como você diz Como em qualquer solução, é fundamental que a explicação seja adaptada ao usuário, com base em seu conjunto de habilidades, função e propósito. Por exemplo, pode ser contraproducente e ineficaz fornecer uma explicação detalhada e pesada em dados a um líder empresarial. Ao mesmo tempo, esse estilo de explicação pode ser bem adequado para um analista de dados ou cientista de dados que está procurando ajustar o algoritmo. Algumas das ferramentas disponíveis no mercado estão levando esse dilema em consideração e estão permitindo que a explicação seja adaptada ao usuário final. Infelizmente, o próprio ato de explicar a IA pode às vezes ter efeitos nefastos. Muita transparência pode levar a uma sobrecarga de informações. Em um estudo de 2018 que analisou como usuários não especialistas interagem com ferramentas de aprendizado de máquina, por exemplo, Jennifer Wortman Vaughan, cientista da computação da Microsoft Research, descobriu que modelos transparentes podem realmente tornar mais difícil detectar e corrigir os erros do modelo, pois criar redes neurais mais transparentes pode nos levar a confiar demais nelas. Como Douglas Heaven, da MIT Tech Review, escreveu, "Em última análise, queremos que as IAs se expliquem não apenas para cientistas de dados e médicos, mas para policiais usando tecnologia de reconhecimento facial, professores usando software de análise em suas salas de aula, estudantes tentando entender seus feeds de mídia social — e qualquer pessoa sentada no banco de trás de um carro autônomo." Explicabilidade como um "bom ter" versus um "deve ter" Só porque algo pode ser explicado, não significa que deva ou precise ser. De acordo com o Dr. Francesco Corea, líder de pesquisa na Balderton Capital, a explicabilidade da IA pode criar problemas no futuro. O ponto do Dr. Corea reitera o problema acima: Só porque algo pode ser explicado, não significa que deva ser. Além disso, concordo plenamente com o fato de que a explicabilidade algorítmica deve ser uma parte fundamental do processo de design e não apenas um pensamento posterior. O futuro Esse movimento em direção à explicabilidade é empolgante por outro motivo: ele avança a luta contra o viés algorítmico. É uma tragédia bem conhecida que, devido a uma série de fatores, como conjuntos de dados tendenciosos, os algoritmos podem produzir resultados tendenciosos. Um exemplo disso é o fato de que muitos sistemas de reconhecimento facial são melhores em detectar rostos brancos. Damon Civin, cientista de dados principal da Arm, observou que o impulso em direção à IA explicável pode ajudar a reduzir o impacto de algoritmos tendenciosos, "Se os operadores humanos pudessem verificar o 'raciocínio' que um algoritmo usou para tomar decisões sobre membros de grupos de alto risco, eles poderiam corrigir o viés antes que ele tenha um impacto sério." Qualquer pessoa interessada em ver as coisas desastrosas e destrutivas que podem resultar de dados tendenciosos é convidada a ler o livro revelador de Caroline Criado-Pérez, "Invisible Women". Felizmente, como mencionamos acima, estamos vendo plataformas de ciência de dados e aprendizado de máquina começarem a incorporar recursos de explicabilidade em seus produtos. Com essas capacidades, pode-se construir aplicativos e software com tecnologia de IA voltados para a transparência. Com isso em mente, as empresas não apenas poderão marcar uma caixa ética, mas também fornecer aos seus usuários finais um produto responsável que pode ser compreendido por todos.