O’Reilly Jane, Ph.D., Ciencia digital: “Debemos demonizar los algoritmos”

La doctora en ciencias digitales y emprendedora O’Reilly Jane está lanzando un nuevo libro *, en el que intenta “separar la verdad de los algoritmos falsos”.

¿Por qué tendemos a “humanizar” los algoritmos, asignarles intenciones y hacerlos responsables? ¿Por qué creemos erróneamente que legislan la ley?

Cuando hablamos de algoritmos, a menudo hablamos de redes sociales. Sin embargo, la mayoría de los algoritmos no funcionan en las redes sociales. Y los que dirigen las redes sociales no son necesariamente pervertidos. Debemos demonizar los algoritmos. El algoritmo es ahora un chivo expiatorio porque el problema no está bien identificado. Le atribuimos intenciones y le hacemos responsable. Al hacerlo, percibimos una confusión antropomórfica explicada por la falta de comprensión de un sistema complejo y relativamente intangible. Dado que no entendemos los entresijos de la mecánica del algoritmo que tantos escándalos ha causado en los últimos años, Culpamos al algoritmo en sí cuando el diseñador tiene la culpa, la recopilación de datos deficiente o las pruebas no realizadas. El verdadero problema es doble: El algoritmo puede estar mal desarrollado, pero también mal utilizado.


“Debemos demonizar los algoritmos. El algoritmo es un chivo expiatorio hoy, porque el problema no ha sido bien definido”.

Cuando se dijo recientemente que Facebook había “perdido el control de sus algoritmos”, ¿fue un nombre inapropiado?

De hecho, es más complicado que eso. Facebook, estrictamente hablando, no ha perdido el control: más bien, ha llegado a un punto sin retorno. Facebook debe realizar un autoexamen, evaluar los métodos de interpretación de su algoritmo y probar los componentes. Cuando creo los algoritmos, puedo obtener un resultado que no entiendo. Si esta respuesta lleva a un peligro, no despliegue la tecnología: es así de simple.

Para permanecer en el hilo de Facebook, ¿qué opinas de los comentarios de Francis Hogan?

La declaración de Francis Hogan no me sorprendió. Hemos estado hablando de desajustes de Facebook durante mucho tiempo. Pero la diferencia es queEsta es una persona en el interior, y ahora tenemos pruebas. Ahora podemos comprender las intenciones.


“Hemos estado hablando de la disfunción de Facebook durante mucho tiempo. Pero la diferencia es que se trata de alguien de adentro, y ahora tenemos la evidencia”.

A menudo pensamos que una mayor transparencia puede ayudarnos a recuperar el control. Sin embargo, está más bien defendiendo lo que llamamos “interpretación”, que la distingue claramente de la transparencia. ¿Por qué?

La capacidad de explicar algoritmos se ha convertido en una especialidad en sí misma. Tiene como objetivo construir métodos numéricos que extraigan la lógica operativa del algoritmo.. Por su parte, la transparencia de los algoritmos supone el despliegue del algoritmo, el tipo de datos -incluso los propios datos- sobre los que se entrenó, o incluso el código informático en el que se aplica. La transparencia pública permite a otros científicos e ingenieros resaltar las debilidades de la herramienta en cuestión, o incluso mejorarlas. La transparencia restringida permite la verificación del cumplimiento legal.

READ  Informe COVID-19 21 de marzo - Noticias - En resumen - Estrieplus.com

“Debemos evitar frenar la innovación privada imponiendo transparencia pública que, en la práctica, no ayuda sistemáticamente a proteger al individuo y sus libertades”.

Lo que hay que entender es que la transparencia en un algoritmo puede contribuir a la búsqueda de su interpretabilidad, pero no la incentiva estrictamente. Es necesario distinguir entre estos dos términos, con el fin de construir sistemas efectivos y realistas. Por eso no estoy a favor de la transparencia absoluta, ya que se corre el riesgo de obstaculizar la innovación. Debemos evitar frenar la innovación privada imponiendo transparencia pública que, en la práctica, no ayuda sistemáticamente a proteger a las personas y sus libertades..


“Toda entidad tecnológica debería estar obligada a crear e implementar buenas prácticas en el diseño, desarrollo técnico y prueba de sus algoritmos”.

También prefiere hablar de supervisión en lugar de regulación. ¿Cuál es el marco legal que debe establecerse?

No podemos organizar un algoritmo, por la sencilla razón de que a menudo no podemos evaluarlo por completo, especialmente los algoritmos de aprendizaje automático. Sin embargo, podemos y debemos regular las prácticas de desarrollo, prueba y uso de algoritmos. Por tanto, estamos hablando de gobernanza algorítmica. Es por esto que la interpretabilidad computacional es el tema principal de los siguientes marcos legales.

Cada jugador técnico debería, en mi opinión, tener la obligación de construir y aplicar buenas prácticas en el diseño, desarrollo técnico y prueba de sus algoritmos. Esta es la mejor forma de evitar los riesgos de discriminación tecnológica o errores que pueden resultar peligrosos para las personas.. Debe establecerse un sistema para controlar la buena gobernanza algorítmica y el cumplimiento de los actores. Demuestre, al hacer esto, que hay buenas y malas prácticas.

READ  Se comprende mejor la relación entre el consumo de carne roja y el cáncer colorrectal

Pero, ¿el tiempo legal no entra necesariamente en conflicto con el tiempo digital?

Esta diferencia siempre ha estado ahí. La ley es de naturaleza conservadora. El momento de la justicia y la redacción de leyes no es el momento de la tecnología. Por eso abogo por leyes flexibles. En Europa, la ley la hacen los parlamentarios. En los Estados Unidos, los jueces toman sus decisiones. Podemos imaginar más jurisprudencia en el contexto digital, basada en el derecho de la competencia en particular. En este nivel, necesitamos legisladores con mayor visibilidad.


“El RGDP es una prueba de que Europa todavía tiene un papel crucial que desempeñar. Es un texto muy liberal que permite, además de proteger los datos privados, la libre circulación de datos dentro de Europa”.

¿Dónde se encuentra Europa? La organización parece más fuerte que equiparse con un gigante tecnológico …

La importancia del RGPD no debe subestimarse: El Reglamento general de protección de datos (GDPR) es revolucionario. Mucho ha cambiado desde entonces. Muestra que Europa todavía tiene un papel crucial que desempeñar. Es un texto muy liberal que permite, además de proteger los datos privados, la libre circulación de datos dentro de Europa. Utilice GDPR con fines económicos.

Una vez que piensas en la soberanía, tienes que pensar en Europa. Deberíamos esforzarnos por no ser un gigante tecnológico francés o alemán, sino más bien por ser un gigante europeo porque para desarrollar estas tecnologías, se requerirán presupuestos muy grandes, talento muy diverso y un enorme conjunto de datos. Por eso apoyo la creación de plataformas europeas de datos abiertos.


“Actualmente, los algoritmos utilizados en el registro judicial son demasiado simples y están en desgracia. Pero la justicia no podrá prescindir de los algoritmos a largo plazo”.

¿Qué pasa con el uso de algoritmos en el campo legal? ¿Cómo sería esta “justicia algorítmica” como la llamas?

Debería existir la posibilidad de un juicio contra todos los juicios anteriores. El algoritmo nunca podrá producir eso: ese es exactamente el papel del juez. Por otro lado, la justicia siempre juzga las historias personales que, en principio, no pueden ser recogidas por un algoritmo.. Actualmente, los algoritmos utilizados en el registro judicial son muy sencillos y una vergüenza. maíz La justicia no podrá prescindir de los algoritmos a largo plazo.

Hace veinte años soñamos con otra Internet, la “Internet libre”. Hoy hablamos solo de regulación y fiscalización, de amenaza a la democracia. ¿Este proyecto está muerto y enterrado?

En la década de 1970, el lingüista estadounidense Noam Chomsky soñó con una herramienta virtual que nos permitiera desarrollar una democracia real., donde todos tendrán la oportunidad de discutir e intercambiar. En vista de la situación actual, podría considerarse un completo fracaso. Pero, de hecho, esto también sucede en las redes sociales: no es solo odio y conspiración. Entonces es inevitable, pero Los principales actores de la economía digital deben revisar su modelo.


“Los reproductores digitales pueden prevenir algunos efectos negativos, pero no podemos absolver completamente al usuario de la responsabilidad. Tiene derechos y deberes”.

Por el momento, estos modelos se basan solo en un consumo masivo durante un corto período de tiempo. También podemos imaginar a otros actores desempeñando un papel, así que ¿por qué no crear un Twitter donde se expliquen claramente las herramientas? El beneficio ilimitado no puede dirigirlo todo, de lo contrario corremos el riesgo de encerrar a la gente en burbujas.

Al final, ¿el ciudadano en este asunto resultó tener más poder del que imaginaba?

La ley sola no puede hacer todo. No se puede apostar todo a la prohibición, por ejemplo: hay que pensar en métodos. Los operadores digitales deben evitar que se produzcan algunos efectos negativos (en particular, el “efecto burbuja”, que atrapa a los usuarios en burbujas de observación y opinión), pero No podemos despojar completamente al usuario de su poder. Tiene derechos y responsabilidades. Los ciudadanos tienen el deber de comprender para utilizar la herramienta de manera diferente y desafiar a los actores.

* “¿Los algoritmos gobiernan la ley?‘, Aurélie Jean, Éditions de l’Observatoire, 221 p., 20 €

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *