För att verkligen rikta hatretorik mÄste mÄttfullhet strÀcka sig bortom artighet

Rapport: Endast 18 % av dataledarna fÄr


MĂ„nga amerikaner förnekar nedgĂ„ngen av hövlighet online och plattformar förbjuder vanligtvis profant tal. Teknikkritiker sĂ€ger att betoningen pĂ„ “civility” enbart Ă€r farlig och att sĂ„dant tĂ€nkande hjĂ€lper till att underblĂ„sa den vita supremacistiska rörelsen, sĂ€rskilt pĂ„ sociala medier.

De har rÀtt.

Big Tech gör fel genom att behandla innehĂ„llsmoderering som bara om innehĂ„llsmatchning. Artigt tal avleder uppmĂ€rksamheten frĂ„n innehĂ„llet i vad vita supremacister sĂ€ger och omdirigerar det till tonen. NĂ€r innehĂ„llsmoderering Ă€r alltför beroende av att upptĂ€cka svordomar, ignorerar den hur hatretorik riktar sig mot personer som historiskt har blivit diskriminerade. InnehĂ„llsmoderering förbiser det underliggande syftet med hatretorik – att straffa, förödmjuka och kontrollera marginaliserade grupper.

Att prioritera hövlighet pĂ„ nĂ€tet har inte bara tillĂ„tit civilt utan hatiskt tal att frodas och det normaliserar vit överhöghet. De flesta plattformar analyserar stora anförandekroppar med smĂ„ mĂ€ngder hat snarare Ă€n kĂ€nda exempel pĂ„ extremistiskt tal – en teknisk begrĂ€nsning. Men plattformar kĂ€nner inte igen det vita supremacistiska talet, Ă€ven nĂ€r det inte anvĂ€nds direkt för att trakassera, hatretorik – ett politiskt problem.

Mitt team vid University of Michigan anvÀnde maskininlÀrning för att identifiera mönster i vitt supremacistiskt tal som kan anvÀndas för att förbÀttra plattformarnas upptÀckts- och modereringssystem. Vi bestÀmde oss för att lÀra ut algoritmer för att skilja vitt överhöghetstal frÄn allmÀnt tal pÄ sociala medier.

VÄr studie, publicerad av ADL (Anti-Defamation League), avslöjar att vita supremacister undviker att anvÀnda profant sprÄk för att sprida hat och bevÀpna hövlighet mot marginaliserade grupper (sÀrskilt judar, invandrare och fÀrgade). Automatiserade modereringssystem missar de flesta vita supremacistiska tal nÀr de korrelerar hat med vulgÀrt, giftigt sprÄk. IstÀllet analyserade vi hur extremister sÀrskiljer och exkluderar ras, religiösa och sexuella minoriteter.

Vita supremacister, till exempel, centrerar ofta sin vithet genom att lĂ€gga till “vit” till mĂ„nga termer (vita barn, vita kvinnor, den vita rasen). Sökordssökningar och automatisk identifiering visar inte dessa sprĂ„kliga mönster. Genom att analysera kĂ€nda exempel pĂ„ vitt överhöghetstal specifikt, kunde vi upptĂ€cka sĂ„dant tal – kĂ€nslor som “vi borde skydda vita barn” eller anklaga andra, sĂ€rskilt judar, för att vara “antivita”.

Extremister Ă€r aktiva pĂ„ flera sociala medieplattformar och Ă„terskapar snabbt sina nĂ€tverk efter att ha blivit gripna och förbjudna. Vit överhöghet, sĂ€ger sociologen Jessie Daniels, “förstĂ€rks algoritmiskt, snabbas upp och cirkuleras genom nĂ€tverk till andra vita etnonationalismrörelser runt om i vĂ€rlden, ignoreras hela tiden av en teknisk industri som “inte ser ras” i de verktyg den skapar. ”

VĂ„rt team utvecklade berĂ€kningsverktyg för att upptĂ€cka vitt överhöghetstal pĂ„ tre plattformar frĂ„n 2016-2020. Trots dess stora skada Ă€r hatretorik en liten del av den stora mĂ€ngden tal pĂ„ nĂ€tet. Det Ă€r svĂ„rt för system för maskininlĂ€rning att kĂ€nna igen hatretorik baserat pĂ„ stora sprĂ„kmodeller, system som trĂ€nas pĂ„ stora urval av allmĂ€nt tal online. Vi vĂ€nde oss till en kĂ€nd kĂ€lla till uttryckligt vitt överhöghetstal: den högerextrema, vita nationalistiska webbplatsen Stormfront. Vi samlade in 275 000 inlĂ€gg frĂ„n Stormfront och jĂ€mförde dem med tvĂ„ andra exempel: tweets frĂ„n anvĂ€ndare i en rĂ€kning av “alt-right”-konton och typiska sociala medier-tal frĂ„n Reddits r/all (ett kompendium av diskussioner pĂ„ Reddit). Vi trĂ€nade algoritmer för att studera meningsstrukturen i inlĂ€gg, identifiera specifika fraser och hitta breda, Ă„terkommande teman och Ă€mnen.

Vita supremacister upplever sig förvĂ„nansvĂ€rt artiga över plattformar och sammanhang. Tillsammans med att lĂ€gga till “vit” till mĂ„nga ord, hĂ€nvisade de ofta till ras eller etniska grupper med substantiv i plural (svarta, vita, judar, homosexuella). De rasifierade ocksĂ„ judar genom sina talmönster, och utgjorde dem som rasmĂ€ssigt underlĂ€gsna och lĂ€mpliga mĂ„l för vĂ„ld och radering. Deras samtal om ras och judar överlappade varandra, men deras samtal om kyrka, religion och judar gjorde det inte.

Vita supremacister pratade ofta om vitt förfall, konspirationsteorier om judar och judisk makt och pro-Trump meddelanden. De specifika Àmnen de diskuterade förÀndrades, men dessa bredare klagomÄl gjorde det inte. Automatiserade detekteringssystem bör leta efter dessa teman snarare Àn specifika termer.

Vit supremacistiskt tal involverar inte alltid explicita attacker mot andra. TvÀrtom, vita supremacister i vÄr studie var lika benÀgna att anvÀnda distinkt tal för att signalera sin identitet till andra, för att rekrytera och radikalisera och för att bygga solidaritet inom gruppen. Att markera sitt tal som en vit supremacist kan till exempel vara nödvÀndigt för att inkluderas i dessa onlineutrymmen och extremistiska gemenskaper.

Plattformar hĂ€vdar att innehĂ„llsmoderering i stor skala Ă€r för svĂ„rt och dyrt, men vĂ„rt team upptĂ€ckte vitt överhöghetstal med prisvĂ€rda verktyg tillgĂ€ngliga för de flesta forskare – mycket billigare Ă€n de som Ă€r tillgĂ€ngliga för plattformar. Med “prisvĂ€rt” menar vi de bĂ€rbara datorer och centrala datorresurser som tillhandahĂ„lls av vĂ„rt universitet och öppen kĂ€llkod för Python som Ă€r fritt tillgĂ€nglig.

NĂ€r vita supremacister vĂ€l gĂ„r in i onlineutrymmen – som med offline-rum – hotar de sĂ€kerheten för redan marginaliserade grupper och deras förmĂ„ga att delta i det offentliga livet. Moderering av innehĂ„ll bör fokusera pĂ„ proportionalitet: den inverkan det har pĂ„ mĂ€nniskor som redan Ă€r strukturellt missgynnade, vilket förvĂ€rrar skadan. Att behandla allt krĂ€nkande sprĂ„k som lika ignorerar ojĂ€mlikheterna under det amerikanska samhĂ€llet.

I slutÀndan visar forskning att sociala medieplattformar skulle göra klokt i att fokusera mindre pÄ artighet och mer pÄ rÀttvisa och rÀttvisa. Civilitet var förbannad.

DataDecisionMakers

VĂ€lkommen till VentureBeat-communityt!

DataDecisionMakers Àr dÀr experter, inklusive tekniska personer som arbetar med data, kan dela datarelaterade insikter och innovation.

Om du vill lĂ€sa om banbrytande idĂ©er och aktuell information, bĂ€sta praxis och framtiden för data- och datateknik, gĂ„ med oss ​​pĂ„ DataDecisionMakers.

Du kan till och med övervÀga att bidra med en egen artikel!

LÀs mer frÄn DataDecisionMakers