Por Cory Doctorow
Mucho antes de la crisis pandémica, existía una preocupación generalizada por el impacto que la tecnología estaba teniendo en la calidad de nuestro discurso, desde campañas de desinformación hasta campañas de influencia y polarización.
Es cierto que la forma en que hablamos entre nosotros y sobre el mundo ha cambiado, tanto en la forma (gracias a la migración del discurso a las plataformas en línea) como en el fondo, ya sea por el auge de elementos no verbales en nuestro discurso escrito (emojis, memes, arte ASCII y emoticonos) o por los tipos de acoso en línea y campañas de acoso coordinado que han crecido con Internet .
Una explicación común para el cambio en nuestro discurso es que las plataformas tecnológicas más grandes utilizan la vigilancia, la recopilación de datos y el aprendizaje automático para manipularnos, ya sea para aumentar la «participación» (y por lo tanto las visitas a las páginas y los ingresos publicitarios) o para persuadirnos de cosas que no son ciertas, por ejemplo, para convencernos de comprar algo que no queremos o de apoyar a un político al que de otro modo nos opondríamos .
Existe una explicación sencilla para esta relación: al recopilar gran cantidad de datos sobre nosotros y aplicar algoritmos de aprendizaje automático auto-modificables a esos datos , las grandes empresas tecnológicas pueden dirigirse a nosotros con mensajes que eluden nuestra capacidad crítica, cambiando nuestra opinión no con la razón, sino con una especie de hipnosis tecnológica.
Esta historia tiene su origen en las grandes empresas tecnológicas. Las promesas de marketing sobre publicidad programática y marketing dirigido (incluido el marketing político) aseguran a los clientes potenciales que pueden comprar audiencias para sus ideas a través de estas grandes empresas, que combinarán sus vastos repositorios de datos con el aprendizaje automático y superarán nuestras defensas cognitivas para convertirnos en clientes de productos o ideas.
Siempre debemos ser escépticos ante las afirmaciones de marketing. No se trata de artículos científicos revisados por pares, sino de publicidad engañosa. El hecho de que convenzan a los profesionales del marketing para invertir miles de millones de dólares en las grandes tecnológicas no garantiza su veracidad. Al fin y al cabo, quienes toman decisiones importantes en el mundo empresarial tienen un largo historial de creer en cosas que resultaron ser falsas.
Es evidente que nuestro discurso está cambiando. Ideas que durante años fueron marginales han adquirido una nueva relevancia. Algunas de estas ideas nos agradan (la inclusión de género, la justicia racial, el sentimiento antimonopolio) y otras nos disgustan (la xenofobia, las teorías conspirativas y la negación de la ciencia del cambio climático y las vacunas).
Nuestro mundo también está dominado por la tecnología, por lo que cualquier cambio en él probablemente la involucre. Desentrañar las relaciones causales entre tecnología y discurso es un problema complejo, pero importante.
Es posible que las grandes empresas tecnológicas hayan inventado una forma de hipnosis de alta tecnología, pero, creas o no en ello, existen muchas otras maneras menos controvertidas y más evidentes en las que las grandes empresas tecnológicas influyen (y distorsionan) nuestro discurso.
Localización de audiencias precisas
Obviamente, las grandes tecnológicas son expertas en segmentar audiencias con precisión , lo cual constituye la principal ventaja de toda la industria de la tecnología publicitaria. ¿Necesitas llegar a estudiantes extranjeros de la Cuenca del Pacífico que cursan estudios de posgrado en Física o Química en el Medio Oeste? No hay problema. Los anunciantes valoran esta función, al igual que cualquiera que aspire a influir en nuestro discurso.
Localizar personas va más allá de simplemente «comprar audiencia» para un anuncio. Los activistas que desean llegar a personas interesadas en sus causas pueden usar esta función para movilizarlas en apoyo de las mismas. Las personas LGBTQ+ que no conocen a nadie que haya salido del armario pueden encontrar comunidades en línea que les ayuden a comprender y desarrollar su propia identidad. Las personas que viven con enfermedades crónicas pueden hablar de sus dolencias con otras personas que comparten sus problemas.
Esta precisión es útil para cualquiera que tenga una opinión que se salga de lo convencional, incluyendo a personas con puntos de vista diferentes a los nuestros o causas que rechazamos. Las grandes empresas tecnológicas pueden ayudarte a encontrar personas que colaboren contigo en campañas de acoso racista o sexista, o para fomentar movimientos políticos de odio.
Un diálogo requiere participantes: si no encuentras a nadie interesado en hablar contigo sobre un tema esotérico, no puedes hablar de él. Las grandes empresas tecnológicas han transformado radicalmente nuestro discurso al facilitar que quienes desean hablar sobre temas poco comunes encuentren interlocutores, propiciando conversaciones que, de otro modo, jamás habrían sido posibles. A veces esto es positivo y a veces negativo, pero sin duda es una situación completamente distinta a la de cualquier otro momento.
Secreto
Algunas conversaciones son arriesgadas. Hablar de tu sexualidad queer en una cultura intolerante puede acarrearte ostracismo, acoso y violencia. Hablar de tu afición por el cannabis en un lugar donde su consumo es ilegal puede costarte el trabajo o incluso la cárcel.
El hecho de que muchas conversaciones en línea tengan lugar en espacios privados significa que la gente puede decir cosas que de otro modo se guardaría para sí misma por miedo a represalias.
No todas estas prácticas son positivas. Ser descubierto produciendo anuncios políticos engañosos puede acarrear problemas con el organismo regulador electoral y, además, desviar a los simpatizantes hacia tus oponentes. Anunciar que tu empresa discrimina por motivos de raza, género u orientación sexual puede provocar boicots o demandas , pero si encuentras resquicios legales que te permitan dirigirte a ciertos grupos que comparten tu agenda discriminatoria , puedes ganarte su confianza.
El secreto permite que las personas digan cosas ilegales y socialmente inaceptables a quienes comparten su opinión, reduciendo considerablemente las consecuencias de tales expresiones. Por eso, la libertad de expresión es esencial para el progreso social, y también para quienes fomentan el odio y la violencia. Creemos en la libertad de expresión y la hemos defendido durante 30 años porque creemos en sus beneficios, pero no negamos sus costos.
Combinado con la selección de objetivos, el secretismo permite una forma de discurso muy persuasiva, no solo porque se pueden cometer actos inmorales con impunidad , sino también porque las minorías desfavorecidas pueden susurrar ideas que son demasiado peligrosas para decirlas en voz alta .
Mentir y/o equivocarse
La concentración del sector tecnológico ha generado una monocultura de respuestas. Para muchos , Google es un oráculo, y sus respuestas —los primeros resultados de búsqueda— son definitivas.
Hay una buena razón para ello: Google casi siempre acierta . Escribe «¿Cuánto mide el puente de Brooklyn?» en el buscador y obtendrás una respuesta que coincide tanto con Wikipedia como con su fuente original, el informe de 1967 de la Comisión para la Preservación de Monumentos Históricos de la Ciudad de Nueva York.
Sin embargo, a veces Google es engañado para mentir por personas que quieren imponer falsedades al resto de nosotros. Al explorar sistemáticamente el sistema de clasificación de búsqueda de Google (un sistema rodeado de secretismo y sometido a análisis constante por la industria de la optimización de motores de búsqueda ), los actores malintencionados pueden cambiar, y de hecho cambian, los primeros resultados de Google, engañando al sistema para que devuelva información errónea ( y a veces, simplemente es un error tonto ).
Esto puede ser un medio muy eficaz para cambiar nuestro discurso. Las respuestas falsas de una fuente confiable se aceptan naturalmente sin cuestionarlas, especialmente cuando la respuesta falsa es plausible (añadir o quitar unos metros a la longitud del Puente de Brooklyn), o cuando quien pregunta realmente no tiene idea de cuál debería ser la respuesta (añadir decenas de miles de millas por segundo a la velocidad de la luz).
Incluso cuando no se engaña deliberadamente a Google para que dé respuestas incorrectas, aún puede darlas. Por ejemplo, cuando una cita se atribuye erróneamente a muchos y luego se corrige, Google puede tardar meses o incluso años en dejar de mostrar la atribución errónea en sus primeros resultados. De hecho, a veces Google nunca acierta en casos como este , porque las personas que reciben la respuesta errónea de Google la repiten en sus propias publicaciones, aumentando así el número de fuentes donde Google encuentra la respuesta errónea.
Esto no se limita solo a Google. Los nichos de búsqueda específicos que Google no controla ( sitios de citas , redes profesionales , algunos mercados en línea) generalmente dominan sus respectivos campos y, del mismo modo, los usuarios confían en ellos, considerándolos infalibles, aunque reconozcan que no siempre es prudente hacerlo.
En resumen, de qué hablamos y cómo lo hacemos depende en gran medida de lo que Google nos dice cuando le hacemos preguntas. Pero esto no implica que Google cambie nuestras creencias preexistentes: si sabes con exactitud cuál es la velocidad de la luz o cuánto mide el Puente de Brooklyn, un mal resultado de búsqueda en Google no te hará cambiar de opinión. Más bien, se trata de que Google llena un vacío en nuestro conocimiento.
Existe un problema secundario, relacionado con el anterior, de «modismos distintivos y disjuntos». Buscar «engaño climático» arroja resultados diferentes a buscar «crisis climática», y estos a su vez, a buscar «cambio climático». Si bien los tres términos se refieren al mismo fenómeno subyacente, reflejan creencias muy distintas al respecto. El término que utilice para iniciar su búsqueda le llevará a un conjunto diferente de recursos.
Este es un problema recurrente en el discurso público, pero se ve agravado por el mundo digital.
«Ordenar por controversia»
Los sitios web con publicidad obtienen sus ingresos de las visitas a sus páginas. Cuantas más páginas te muestren, más anuncios podrán presentarte y mayor será la probabilidad de que hagas clic en uno. Los anuncios no son muy efectivos, incluso cuando están altamente segmentados , y cuanto más anuncios veas, más te acostumbrarás a sus mensajes publicitarios . Por lo tanto, se necesitan muchas visitas para generar un volumen de clics constante, y la cantidad de visitas necesarias para mantener ingresos estables tiende a aumentar con el tiempo.
Aumentar el número de visitas a la página es difícil: la gente tiene un tiempo limitado. Las plataformas pueden incrementar tu «interacción» ofreciéndote sugerencias de contenido que te gustará, pero esto es complicado (piensa en el sistema de recomendaciones de Netflix).
Pero las plataformas también pueden aumentar la interacción provocándote ira, ansiedad o indignación, y estas emociones son mucho más fáciles de generar mediante procesos automatizados. Inyectar comentarios perturbadores, imágenes impactantes o afirmaciones extravagantes en tus sesiones en línea puede resultar contraproducente a largo plazo, pero a corto plazo, son una fuente confiable de clics excesivos.
Esto tiene un impacto evidente en nuestro discurso, magnificando la tendencia humana natural a querer opinar sobre controversias relacionadas con temas que nos importan. Promueve discusiones airadas e improductivas. No se trata de manipulación mental —la gente puede optar por ignorar estas «recomendaciones» o mantenerse al margen de la controversia—, pero las plataformas que emplean esta táctica suelen adquirir un carácter discordante y agresivo.
Censura deliberada
La moderación de contenido es muy difícil. Cualquiera que haya intentado crear reglas sobre lo que se puede y no se puede publicar descubre rápidamente que estas reglas nunca pueden ser completas ; por ejemplo, si clasificas cierta conducta como «acoso», puedes descubrir que una conducta ligeramente menos grave que la que has especificado también es percibida como acoso por las personas que la sufren.
Por difícil que sea esto, se vuelve mucho más difícil a gran escala, particularmente cuando los servicios trascienden las barreras culturales y lingüísticas : por difícil que sea decidir si alguien cruza la línea cuando esa persona es de la misma cultura que tú y habla tu idioma nativo, es mucho más difícil interpretar las contribuciones de personas de diferentes orígenes , y las barreras lingüísticas añaden otra capa de increíble complejidad .
El auge de las plataformas monolíticas con cientos de millones (o incluso miles de millones) de usuarios implica que una parte sustancial de nuestro discurso público se desarrolla bajo la sombra de políticas de moderación que no son —ni pueden ser— completas ni estar bien administradas.
Aunque estas políticas tengan tasas de error extremadamente bajas —aunque solo uno de cada mil comentarios o publicaciones eliminadas sea víctima de una aplicación excesivamente rigurosa—, los sistemas con miles de millones de usuarios generan cientos de miles de millones de publicaciones al día, lo que se traduce en muchos millones de actos de censura diarios.
Por supuesto, no todas las políticas de moderación son buenas, y a veces, se ven perjudicadas por marcos legales deficientes. Por ejemplo, SESTA/FOSTA, una ley que en teoría buscaba acabar con la trata sexual de personas, era demasiado amplia e imprecisa desde el principio, y las políticas de moderación que generó prácticamente acabaron con ciertos tipos de debates sobre sexualidad humana en foros públicos, incluyendo algunos que lograron el objetivo nominal de SESTA/FOSTA de mejorar la seguridad de las trabajadoras sexuales (por ejemplo, foros donde las trabajadoras sexuales mantenían listas de clientes potenciales peligrosos). Estos temas siempre estuvieron sujetos a criterios de moderación arbitrarios, pero SESTA/FOSTA hizo que hablar de sexualidad, que ya era difícil, fuera prácticamente imposible.
Asimismo, el requisito de la Ley de Decencia en las Comunicaciones de incluir listas negras de material para adultos en las conexiones a Internet subvencionadas por el gobierno federal (como las de las escuelas públicas y las bibliotecas) ha impedido el acceso a una gran cantidad de material legítimo , incluidos sitios web que ofrecen información sobre salud y bienestar sexual, y sobre cómo afrontar el acoso y la agresión sexual.
Censura accidental
Además de políticas de moderación mal concebidas, las plataformas también son propensas a errores en su aplicación. Por ejemplo, Tumblr instaló un filtro automático para bloquear todo el «contenido para adultos», pero este filtro bloqueó innumerables imágenes inofensivas, desde imágenes de vegetales con connotaciones sexuales hasta ejemplos de Tumblr que contenían desnudez pero que no constituían contenido para adultos y, por lo tanto, serían ignoradas por sus filtros. Tanto los moderadores humanos como los automatizados cometen errores.
A veces, los errores son aleatorios y extraños, pero algunos temas tienen más probabilidades de dar lugar a una censura accidental que otros: la sexualidad humana , las discusiones de supervivientes de abusos y violencia (especialmente violencia sexual), e incluso personas cuyos nombres o domicilios suenan o se parecen a palabras que han sido prohibidas por los filtros ( los vietnamitas llamados Phuc fueron víctimas de los filtros de chat de AOL, al igual que los británicos que vivían en Scunthorpe ).
La naturaleza sistemática de esta censura accidental hace que sea difícil, o incluso imposible, abordar temas enteros en las plataformas digitales. Estos temas son víctimas de una especie de superstición informática, un ordenador descontrolado que los ha prohibido sin la aprobación ni la intención de sus programadores humanos, cuyas negligencias, debilidades y miopía los llevaron a programar una regla errónea, tras lo cual simplemente desaparecieron, dejando que la máquina repitiera su error a gran escala.
Censura de terceros
Desde los inicios de las redes digitales, los gobiernos de todo el mundo han debatido sobre cuándo y si los servicios en línea deben ser responsables de las acciones de sus usuarios. Dependiendo del país al que preste servicio un proveedor en línea, se espera que bloquee o elimine de forma preventiva contenido que infrinja los derechos de autor, la desnudez, el material sexualmente explícito, el material que insulte a la familia real , la difamación, el discurso de odio, el acoso, la incitación al terrorismo o la violencia sectaria, los planes para cometer delitos, la blasfemia, la herejía y un sinfín de otras formas de comunicación difíciles de definir.
Estas políticas son difíciles de aplicar de forma coherente y correcta para los equipos de moderación, pero esa tarea se complica mucho más por los intentos deliberados de terceros de acosar o silenciar a otros mediante acusaciones falsas.
En el caso más sencillo, los aspirantes a censores simplemente envían informes falsos a las plataformas con la esperanza de burlar a un moderador perezoso, cansado o confundido para lograr que alguien sea bloqueado o que se elimine algún contenido.
Sin embargo, a medida que las plataformas establecen reglas cada vez más detalladas sobre qué constituye, y qué no constituye, motivo de eliminación o borrado, los trolls obtienen una nueva arma: un conocimiento enciclopédico de estas reglas.
Quienes desean utilizar plataformas para debates constructivos se encuentran en desventaja frente a los defensores a ultranza de las normas, que buscan perturbar este diálogo. Los primeros tienen intereses y profesiones que desean comunicar. El interés y la profesión de los segundos consisten en perturbar el debate.
Cuanto más complejas se vuelven las reglas, más fácil es para los actores de mala fe encontrar en ellas una razón para denunciar a sus oponentes, y más difícil es para los actores de buena fe evitar cruzar alguno de los innumerables límites del conjunto de reglas.
Conclusión
La idea de que las grandes empresas tecnológicas pueden moldear el discurso eludiendo nuestra capacidad crítica mediante el espionaje y el análisis es a la vez interesada (en la medida en que ayuda a las grandes empresas tecnológicas a vender anuncios e influir en los servicios) e inverosímil, y debe ser vista con extremo escepticismo.
Pero no hace falta aceptar afirmaciones extraordinarias para encontrar maneras en que las grandes tecnológicas distorsionan y degradan nuestro discurso público. La magnitud de estas empresas las vuelve opacas y propensas a errores, al tiempo que imposibilita mantener un espacio civilizado y productivo para la discusión y el debate.
Los monopolios de las grandes tecnológicas, con sus correspondientes mecanismos de retención que mantienen como rehenes los datos y las relaciones sociales de los usuarios, eliminan cualquier responsabilidad que pudiera derivarse del temor a que los usuarios insatisfechos se pasen a la competencia.
El énfasis en frenar las tácticas manipuladoras de las grandes tecnológicas mediante medidas regulatorias tiene el efecto paradójico de encarecer y dificultar la entrada al mercado para un competidor de este sector. Una regulación diseñada para controlar a las grandes tecnológicas conllevará costes que las pequeñas empresas tecnológicas no pueden permitirse y se convierte en una licencia para dominar el mundo digital disfrazada de castigo regulatorio por estándares laxos.
La magnitud —y el dominio— de las empresas tecnológicas genera un discurso público tóxico, evidente e inequívoco. La buena noticia es que contamos con herramientas para afrontarlo: desmantelamientos, escrutinio de fusiones y limitaciones a la integración vertical. Quizás, incluso después de reducir el tamaño de las grandes tecnológicas, sigamos encontrando cierto grado de fascinación por el aprendizaje automático que tendremos que abordar, pero si ese es el caso, nuestra labor será infinitamente más sencilla cuando se les hayan arrebatado las rentas monopólicas que utilizan para defenderse de los intentos de modificar su conducta mediante políticas y leyes.
Este artículo fue publicado originalmente en https://www.eff.org. Lea el original.