L'intelligenza artificiale ha letto i commenti aggressivi degli utenti di Reddit e ha capito come parlano le persone che odiano gli altri. È più difficile ingannarlo di un normale moderatore di bot.
Internet è abitato da troll grassi e magri e solo persone maleducate che non si mettono in tasca per le parole. Moderare Internet manualmente è un lavoro duro e ingrato. I robot programmati per cercare parole dalla "lista proibita" fanno di meglio, ma non possono sapere quando un commento caustico con parole in codice è uno scherzo innocuo e quando è un attacco verbale malvagio.
I ricercatori in Canada hanno insegnato all'intelligenza artificiale a distinguere le barzellette volgari da quelle offensive e ciò che i sociologi chiamano "incitamento all'odio".
Dana Wormsley, uno dei creatori di AI, osserva che "l'incitamento all'odio" è difficile da formalizzare. In effetti, parole formalmente offensive possono essere usate sia con ironia che nei loro significati più miti; solo alcuni dei testi che contengono tali parole incitano e umiliano seriamente. Non daremo esempi, perché le organizzazioni governative che regolano Internet in Russia non hanno ancora l'intelligenza artificiale).
La rete neurale è stata addestrata sui campioni delle dichiarazioni dei membri della comunità noti per la loro ostilità nei confronti di diversi gruppi della popolazione. La rete neurale ha appreso dai post di Reddit, una piattaforma in cui è possibile trovare un'ampia varietà di gruppi di interesse, dagli attivisti per i diritti civili ai misogini radicali. I testi caricati nel sistema insultavano più spesso gli afroamericani, le persone in sovrappeso e le donne.
Una rete neurale addestrata in questo modo ha fornito meno falsi positivi rispetto ai programmi che determinano "incitamento all'odio" per parole chiave. Il sistema ha catturato il razzismo dove non c'erano affatto parole indicatrici. Ma nonostante le buone prestazioni, i creatori del moderatore AI non sono sicuri che il loro sviluppo sarà ampiamente utilizzato. Finora, ha trovato con successo l'incitamento all'odio su Reddit, ma non è noto se sarà in grado di fare lo stesso su Facebook e altre piattaforme. Inoltre, il sistema è imperfetto: a volte perde molte affermazioni ovviamente razziste che un motore di ricerca per parole chiave non perderebbe. L'unico che riesce a distinguere un insulto da uno scherzo innocente finché la persona resta.
