Cómo hacer algoritmos que se expliquen a sí mismos

En 2019, escribí mis predicciones sobre los avances que veríamos en la IA en 2020. En una de esas predicciones, discutí el problema perenne de la explicabilidad algorítmica, o la capacidad de los algoritmos para explicarse a sí mismos, y cómo eso se destacaría este año. Resolver este problema es clave para el éxito empresarial, ya que el público en general se siente cada vez más incómodo con los algoritmos de caja negra. Los algoritmos de caja negra se refieren a algoritmos de los cuales no se puede discernir la razón por la que llegaron a un cierto resultado. Cuando las decisiones algorítmicas son determinadas por conjuntos de datos muy grandes, esto puede ser un problema espinoso. Dado que la transparencia es el principio más prevalente en la literatura actual sobre ética de la IA, no es de extrañar que la explicabilidad, un subconjunto de la transparencia, esté en boca de funcionarios gubernamentales, tecnólogos y personas comunes por igual. La IA explicable, también conocida como XAI, es el proceso mediante el cual el proceso de toma de decisiones de los algoritmos se hace transparente y comprensible para los humanos. El problema: entender nuestros datos Todos hemos escuchado la historia: Este mundo en constante cambio en el que vivimos está fundamentalmente impulsado por datos. Los expertos en datos utilizan herramientas sofisticadas de análisis y ciencia de datos para dar sentido a la multitud de datos que nos rodean. Pero con los grandes datos viene una gran responsabilidad. Los métodos algorítmicos de trabajo con los datos, como el aprendizaje automático y el aprendizaje profundo (un subconjunto del primero), pueden producir resultados robustos, permitiendo a un analista predecir resultados futuros basados en datos históricos. Desafortunadamente, con muchos de estos métodos, los resultados son claros pero las razones y explicaciones de cómo el algoritmo llegó allí son menos claras. Esto se debe en gran medida a la naturaleza complicada y compleja de los algoritmos, especialmente cuando se trata de aprendizaje profundo, en el que puede haber múltiples pasos o etapas entre la entrada y la salida. Este problema se agrava por el hecho de que los marcos legales en todo el mundo, como el Reglamento General de Protección de Datos (GDPR), están otorgando a las personas el derecho a recibir una explicación de un resultado de un algoritmo. Merry Marwig, analista de investigación de mercado de privacidad y ciberseguridad de G2, argumenta: El Artículo 22 del GDPR de la UE titulado "Toma de decisiones individuales automatizadas, incluida la elaboración de perfiles", aborda la explicabilidad de la IA. El propósito del Artículo es dar a una persona la capacidad de solicitar a un humano que revise un caso en el que la IA haya tomado una decisión que impacte en la vida de la persona. Por ejemplo, si una persona solicita un préstamo bancario y se le niega, tiene derecho a pedir los factores que contribuyeron a este resultado. Tal vez fue porque tenía mal crédito o una quiebra previa y se consideró demasiado arriesgado extender un préstamo. Esas son razones directas para la denegación de un préstamo, pero ¿qué pasa si la razón se debió a una multitud de datos, lógica y computación que no pueden ser fácilmente explicados por un humano? Este es el problema que la falta de explicabilidad de la IA plantea a las empresas y la dificultad para cumplir con el Artículo 22 del GDPR. Sin embargo, cabe señalar que académicos legales como Sandra Wachter cuestionan el alcance y la extensión de la cláusula de "derecho a la explicación" en el GDPR y su aplicación a los sistemas algorítmicos artificialmente inteligentes debido al hecho de que "el GDPR carece de un lenguaje preciso, así como de derechos y salvaguardias explícitos y bien definidos contra la toma de decisiones automatizada". La solución: explicabilidad algorítmica Además de la legislación gubernamental, también estamos viendo cómo los líderes empresariales están escuchando la voz del pueblo que, según una encuesta del Instituto de Valor Empresarial de IBM, está demandando—y seguirá demandando—más explicabilidad de la IA. Los profesionales de TI se dan cuenta plenamente de su beneficio, especialmente en un sentido fiscal. Según la encuesta anual de CCS Insight de tomadores de decisiones de TI, la transparencia sobre cómo funcionan y se entrenan los sistemas es ahora uno de los requisitos más importantes al invertir en IA y aprendizaje automático, citado por casi el 50% de los encuestados. Con eso en mente, parece casi un movimiento sin arrepentimientos implementar la explicabilidad algorítmica en el stack tecnológico de una empresa, dando a las partes interesadas la capacidad de mirar dentro de la caja negra y entender el funcionamiento interno de los algoritmos. Si tan solo fuera tan fácil... El problema con la solución Como ocurre con muchas soluciones idealizadas, no son perfectas y no funcionan para todos los problemas. Por lo tanto, hemos visto tres problemas clave con la expansión y adopción de la explicabilidad. Profundidad y complejidad del algoritmo Aunque algunos algoritmos de aprendizaje automático son más propensos a la explicación debido a su relativa simplicidad, otros, como el aprendizaje profundo, son más complicados debido a su naturaleza anidada y al hecho de que pueden tener capas ocultas entre la entrada y la salida. Dicho esto, esto no significa que todo esté perdido y que debamos renunciar a nuestro objetivo de una IA explicable. (Como dice el refrán, si al principio no tienes éxito, intenta, intenta, intenta de nuevo). Estamos viendo una tendencia en el mercado de plataformas de ciencia de datos y aprendizaje automático donde los proveedores están respondiendo a este llamado y están proporcionando herramientas para dar a los algoritmos de un usuario alguna forma de explicabilidad. Por ejemplo, hemos visto herramientas—como Explainability 360 de IBM, SageMaker Debugger de AWS y Explainable AI de Google—que están abordando intencionalmente solo un subconjunto de algoritmos dentro de un caso de uso particular, con planes de expandirse en el futuro. El espacio de software de operacionalización de IA y aprendizaje automático (MLOps) está en auge. En G2, hemos visto un tremendo interés en la categoría, con un crecimiento del tráfico del 842% en julio de 2021. Además, G2 agregó un atributo a la categoría de software de operacionalización de IA y aprendizaje automático (MLOps) para herramientas que están orientadas hacia la explicabilidad algorítmica. Con estas herramientas, los equipos de ciencia de datos pueden integrar la explicabilidad en su pipeline de datos, ayudando a explicar sus algoritmos y sus resultados a otros departamentos, clientes y más. Los revisores describen lo importante que es la explicabilidad para su pipeline de ciencia de datos. Por ejemplo, un revisor de MLOps describió: "La observabilidad de ML es la mejor parte del pipeline de MLOps. Monitorear los modelos para la explicabilidad y el monitoreo de deriva con Grafana y Prometheus es más revelador y hace que cualquiera se interese en profundizar." No es lo que dices, es cómo lo dices Como ocurre con cualquier solución, es clave que la explicación esté adaptada al usuario, según su conjunto de habilidades, rol y propósito. Por ejemplo, podría ser contraproducente e ineficaz proporcionar una explicación detallada y cargada de datos a un líder empresarial. Al mismo tiempo, este estilo de explicación podría ser adecuado para un analista de datos o científico de datos que busca ajustar el algoritmo. Algunas de las herramientas disponibles en el mercado están teniendo en cuenta este dilema y están permitiendo que la explicación se adapte al usuario final. Desafortunadamente, el mero acto de explicar la IA a veces puede tener efectos nefastos. Demasiada transparencia puede llevar a una sobrecarga de información. En un estudio de 2018 que examinó cómo los usuarios no expertos interactúan con herramientas de aprendizaje automático, por ejemplo, Jennifer Wortman Vaughan, científica informática de Microsoft Research, encontró que los modelos transparentes pueden en realidad dificultar la detección y corrección de los errores del modelo, ya que crear redes neuronales más transparentes puede llevarnos a confiar demasiado en ellas. Como escribió Douglas Heaven, de MIT Tech Review, "En última instancia, queremos que las IAs se expliquen no solo a los científicos de datos y médicos, sino a los oficiales de policía que usan tecnología de reconocimiento facial, maestros que usan software de análisis en sus aulas, estudiantes que intentan entender sus feeds de redes sociales, y cualquier persona sentada en el asiento trasero de un coche autónomo." La explicabilidad como un "agradable de tener" versus un "debe tener" Solo porque algo pueda ser explicado, no significa que deba serlo o tenga que serlo. Según el Dr. Francesco Corea, líder de investigación en Balderton Capital, la explicabilidad de la IA podría crear problemas en el futuro. El punto del Dr. Corea reitera el problema anterior: Solo porque algo pueda ser explicado, no significa que deba serlo. Además, estoy completamente de acuerdo con el hecho de que la explicabilidad algorítmica debe ser una parte clave del proceso de diseño y no solo un pensamiento posterior. El futuro Este movimiento hacia la explicabilidad es emocionante por otra razón: Avanza la lucha contra el sesgo algorítmico. Es una tragedia bien conocida que, debido a una serie de factores como conjuntos de datos sesgados, los algoritmos pueden producir resultados sesgados. Un ejemplo de esto es el hecho de que muchos sistemas de reconocimiento facial son mejores para detectar rostros blancos. Damon Civin, científico de datos principal en Arm, comentó que el impulso hacia la IA explicable puede ayudar a reducir el impacto de los algoritmos sesgados, "Si los operadores humanos pudieran verificar el 'razonamiento' que un algoritmo utilizó para tomar decisiones sobre miembros de grupos de alto riesgo, podrían corregir el sesgo antes de que tenga un impacto serio." Cualquiera interesado en ver las cosas desastrosas y destructivas que pueden surgir como resultado de datos sesgados está invitado a leer el libro revelador de Caroline Criado-Pérez, Mujeres Invisibles. Afortunadamente, como mencionamos anteriormente, estamos viendo plataformas de ciencia de datos y aprendizaje automático comenzar a integrar características de explicabilidad en sus productos. Con estas capacidades, se pueden construir aplicaciones y software impulsados por IA destinados a ofrecer transparencia. Con eso en mente, las empresas no solo podrán marcar una casilla ética, sino también proporcionar a sus usuarios finales un producto responsable que pueda ser entendido por todos.