Una falacia común al pensar en la moderación del contenido es la mera práctica de aislar e identificar el problema como tal. Es tentador, especialmente para los ingenieros de software y los informáticos, reducir el problema a una pregunta de clasificación de caja negra, donde simplemente tenemos que diseñar un sistema que pueda tomar como entrada cada pieza de contenido y producir como salida la respuesta a la pregunta: «¿Está bien o no?»
Idealmente, el interior de esta caja es una pieza de software, pero cuando la tecnología aún no está disponible, podemos falsificarla metiendo a algunos humanos dentro de la caja negra, es decir, enviar la tarea a trabajadores mal pagados sentados en moderación de contenido. granjas. Pero la pregunta de «¿Está bien o no?» nunca es tan simple. ¿Está bien para quién? ¿Y en qué contexto? Incluso si un clasificador de aprendizaje automático puede dar una probabilidad numérica sobre la probabilidad de que un contenido sea tóxico o acosador, no está claro qué se debe hacer con esa predicción, particularmente dada la inevitabilidad del sesgo o el error. Establecer una barra de «calidad» en toda la plataforma que sea demasiado alta eliminará demasiadas cosas que están realmente bien, y establecerla demasiado baja permitirá que pasen demasiadas cosas problemáticas.
Todo este encuadre del problema de la «moderación del contenido» es defectuoso. La experiencia de alguien en una plataforma es mucho más que la puntuación de probabilidad de abuso de cada contenido que ven. Se ve afectado por todas las características y opciones de diseño. Las decisiones explícitas de productos y los algoritmos de aprendizaje automático determinan qué se distribuye y se destaca en los plazos y los módulos de recomendación. Las indicaciones y los empujones, como los redactores de texto y los botones grandes, están diseñados para fomentar cierto comportamiento, lo que no siempre es bueno, por ejemplo, si terminan motivando réplicas rápidas y respuestas irreflexivas. Los canales de comunicación privada son convenientes para conversaciones personales, pero peligrosos como línea directa con alguien sin observadores que intervengan contra el mal comportamiento. Los abusadores y acosadores tienen el espacio para ser infinitamente creativos en cómo amenazar, amenazar y acosar.
Tengo la desafortunada experiencia personal de más de una década de acoso en línea. En este tiempo, he visto de todo, desde páginas dedicadas al odio y la conspiración, acosadores de whack-a-mole que crean cuenta tras cuenta en la misma plataforma cuando son suspendidos, ataques multiplataforma, cuentas de suplantación que publican abusos bajo mi nombre y imagen, campañas coordinadas de acoso y brigadas de trolls, oleadas de abuso que vienen después de una publicación viral, mensajes privados que me regañan y me dicen cómo podría hacerme más atractivo para los hombres, invitaciones a chats grupales donde gente que no conozco hablar de asesinarme, por no mencionar el sexismo y la misoginia de la variedad de jardín.
Construir soluciones para todo el espacio de problemas de abuso no es una tarea fácil. Se vuelve más difícil cuando cada nueva característica es también un vector potencial de abuso. Las plataformas tienen la responsabilidad de incorporar mecanismos de protección básicos, y esto es necesario, pero no suficiente. Las decisiones a nivel de plataforma siempre serán crudas, se ajustarán a un mínimo común denominador y no estarán contextualizadas ni personalizadas. Para dar a los usuarios más control sobre su experiencia individual, las plataformas primero deben construir modelos de moderación y seguridad, como informes, bloqueo y silenciamiento. Pero también deberían abrir sus API de confianza y seguridad, para que otros puedan inventar una gama completa de soluciones para el consumidor. Esto permitiría a los desarrolladores externos crear servicios creativos, a veces especializados o tal vez de “nicho”, para usuarios que necesitan y priorizan diferentes cosas.
En el mundo físico, las carreteras se parecen un poco a esta infraestructura que sustenta diferentes posibles soluciones para el consumidor para el tránsito y el transporte, aunque las API no necesitan proporcionarse explícitamente. Los principales requisitos son poder moverse por una superficie plana y permanecer dentro de un carril. Algunas personas quieren potencia y ostentación; tienen sus autos deportivos. Otros casos exigen más seguridad, como el transporte blindado. Los conductores de reparto que quieren moverse rápidamente por la ciudad tienen scooters. El uso de las plataformas de redes sociales en este momento es un poco como poder viajar por las carreteras solo en un vehículo al aire libre estándar sin protección contra las personas que arrojan huevos con furia, y con una bocina de aire para pedir ayuda (pero nadie viene) .
La apertura de API permitiría a los consumidores más opciones y control sobre cómo navegan en las redes sociales. Mi empresa, Block Party, aprovecha las API de Twitter existentes para crear uno de esos servicios. Al silenciar automáticamente las cuentas que no pasan los filtros configurables por el usuario, por ejemplo, en un modo llamado «Necesito un descanso», puedes elegir escuchar solo a las personas a las que sigues y las personas seguidas por las personas a las que sigues. Dejamos que las personas se callen el ruido en sus menciones de Twitter. Estas cuentas ocultas se colocan en una carpeta en Block Party para su posterior revisión y acción, si lo desea y cuando lo desee; El acceso a esta carpeta también se puede compartir con amigos de confianza para ayudar a revisar. Es un concepto simple. Pero para las personas que se enfrentan al acoso o simplemente a muchas respuestas y menciones no deseadas, tener esta capa adicional de personalización para poner en cuarentena el desastre puede ser un gran alivio. En algunos casos, hace posible o tolerable que las personas continúen usando Twitter cuando no sería de otra manera.
Para las plataformas, abrir API en torno a la moderación y la seguridad es beneficioso para todos. Es mejor para los usuarios, que tienen más control sobre cómo interactúan. Es mejor para las plataformas, que tienen usuarios más felices. Y permite que todo un ecosistema de desarrolladores colabore en la solución de algunos de los problemas más frustrantes de abuso y acoso en las plataformas actuales.
Tracy Chou es la fundadora de Block Party y cofundadora de Project Include.
Más historias geniales de Mundo Informático
🏎️ Lewis Hamilton se sincera sobre el activismo y la vida más allá de la F1
🌊 Seaspiracy de Netflix explora los impactos de la sobrepesca. Pero, ¿hará que la gente cambie su comportamiento?
🎧 ¿Qué servicio de transmisión de música debería elegir? Probamos Spotify, Apple Music y más
🔊 Escuche The Mundo Informático Podcast, la semana de ciencia, tecnología y cultura, que se entrega todos los viernes
👉 Siga Mundo Informático en Gorjeo, Instagram, Facebook y LinkedIn
