El problema de moderar después de que alguien ya leyó algo
Un sistema de moderación reactivo tiene una falla estructural que rara vez se nombra en voz alta: para funcionar, necesita que primero exista una víctima. Alguien tiene que ver el contenido dañino, sentirse incómodo, ofendido o afectado, y solo entonces reportarlo, para que un equipo humano o automatizado lo revise y, eventualmente, lo retire.
Para ese momento, el daño ya ocurrió. La persona ya leyó el insulto, ya vio el enlace malicioso, ya fue expuesta al contenido que el sistema estaba, en teoría, diseñado para evitar. Retirar el mensaje después es mejor que no retirarlo nunca, pero sigue siendo una respuesta tardía a un problema que ya sucedió.
En un espacio de conversación en vivo, donde varias personas pueden estar leyendo el mismo mensaje casi al mismo instante en que se publica, ese desfase entre publicación y revisión se vuelve todavía más problemático. No hay forma de 'reportar antes' de que la mayoría ya lo haya visto.
Por eso invertimos el orden
En este sitio, cada mensaje pasa por una revisión automática de contenido antes de que llegue a aparecer en la conversación. No es una revisión que ocurre después de que otras personas ya lo leyeron: ocurre en el intervalo, casi imperceptible para quien escribe, entre el momento en que se envía un mensaje y el momento en que se muestra en pantalla.
Cuando ese primer filtro detecta contenido que probablemente viole nuestras normas (spam, contenido sexual explícito, discurso de odio, contenido ilegal, intentos de phishing, entre otras categorías), el mensaje se retiene o se descarta antes de mostrarse. Nadie más lo llega a leer. No hace falta que un tercero se sienta afectado primero para que el sistema actúe.
Cuando el primer filtro no tiene suficiente certeza para decidir por sí solo, el mensaje pasa a una revisión adicional en lugar de publicarse por defecto. Preferimos que un mensaje legítimo tarde un instante más en aparecer, a que un mensaje problemático llegue a mostrarse mientras se decide qué hacer con él.
Ninguna moderación automática es perfecta, y no fingimos que lo sea
Sería deshonesto prometer que un filtro automático nunca se equivoca. A veces un sistema de este tipo puede ser demasiado estricto y bloquear algo inofensivo; otras veces puede dejar pasar algo que no debería haber pasado. Ningún sistema, en ningún sitio de internet, tiene una tasa de acierto del cien por ciento en esta tarea, y quien lo prometa probablemente no esté siendo del todo transparente.
Lo que sí podemos decir con honestidad es que la arquitectura está diseñada para equivocarse hacia el lado más conservador: ante la duda, retener antes de publicar, no publicar y arrepentirse después. Esa asimetría es intencional.
Por qué esto también nos hace responsables a nosotros, no solo al filtro
Un filtro automático, por bueno que sea, no es una excusa para dejar de prestar atención al espacio. Seguimos revisando patrones de uso, ajustando reglas cuando encontramos formas nuevas de intentar evadir la moderación (variaciones de palabras, símbolos que reemplazan letras, combinaciones que buscan colarse por el filtro) y actualizando las categorías bloqueadas cuando hace falta.
Esto no es un proceso que termina una vez y queda resuelto para siempre. Es un trabajo continuo, porque las formas de intentar evadir un filtro también cambian con el tiempo. Tratarlo como algo que 'ya se resolvió' sería, otra vez, una falta de honestidad de nuestra parte.
Lo que esto significa para quien participa
En la práctica, participar en la conversación de este sitio significa escribir en un espacio donde tu mensaje pasa por un filtro antes de que otra persona lo vea, no después. Eso no elimina la posibilidad de que algo se equivoque en cualquiera de las dos direcciones, pero sí cambia el punto en el que se intenta corregir: antes de que el daño ocurra, no después de reportarlo.
Nos parece la única postura coherente para un lugar que pide, al mismo tiempo, que la gente hable con libertad y que ese espacio siga siendo seguro para quien decide entrar a conversar.
