Kan “utgĂ„ngsdatum” för AI-system hjĂ€lpa till att förhindra partiskhet?

Kan


Dagens AI-teknik, ungefĂ€r som mĂ€nniskor, lĂ€r sig av exempel. AI-system Ă€r utvecklade pĂ„ datauppsĂ€ttningar som innehĂ„ller text, bilder, ljud och annan information som fungerar som en grundsanning. Genom att ta reda pĂ„ sambanden mellan dessa exempel “lĂ€r sig” AI-system gradvis att göra förutsĂ€gelser, som vilket ord som sannolikt kommer nĂ€sta i en mening eller om objekt i en bild Ă€r livlösa.

Tekniken hĂ„ller sig anmĂ€rkningsvĂ€rt vĂ€l inom sprĂ„kdomĂ€nen, till exempel, dĂ€r system som OpenAI:s GPT-3 kan skriva innehĂ„ll frĂ„n uppsatser till annonser pĂ„ mĂ€nskliga sĂ€tt. Men liknar mĂ€nniskors karaktĂ€r, AI som inte levereras fĂ€rsk, ny data blir sĂ„ smĂ„ningom inaktuell i sina förutsĂ€gelser – ett fenomen som kallas modelldrift.

Problemet med drift

Modelldrift Àr i bÀsta fall obekvÀmt. Om du stÀller GPT-3, som trÀnades pÄ data frÄn tvÄ Är sedan, kommer en frÄga om 2022 Oscars inte att ge nÄgot anvÀndbart. Men ofta Àr drift ett företagsansvar. PÄ Zillow ledde en feltÀndande algoritm till att företaget överskattade vÀrdet pÄ husen som det köpte i slutet av 2021 med uppÄt 500 miljoner dollar.

Den humanitĂ€ra effekten av “inaktuella” modeller Ă€r Ă€nnu allvarligare, med studier som visar att modeller konstruerade för att förutsĂ€ga sjukhusdödlighet snabbt kan glida ur kurs pĂ„ grund av förĂ€ndrade patientpopulationer. Ekonomer har under tiden visat att de algoritmer som anvĂ€nds för att faststĂ€lla kreditpoĂ€ng tenderar att vara mindre exakta för underrepresenterade minoriteter och lĂ„ginkomstgrupper, pĂ„ grund av glesare – och mindre frekventa – data i dessa gruppers kredithistorik.

En hypotetisk lösning pĂ„ problemet med drift Ă€r kontinuerligt lĂ€rande, ett tillvĂ€gagĂ„ngssĂ€tt för AI-utveckling dĂ€r system ofta trĂ€nar om pĂ„ ny data. Men kontinuerligt lĂ€rande Ă€r en olöst vetenskap. Utvecklare kan alternativt – och gör det ofta – periodiskt uppdatera modeller. Men Ă€ven detta Ă€r enklare sagt Ă€n gjort eftersom inte alla system Ă€r mottagliga för drift pĂ„ samma sĂ€tt. Till exempel mĂ„ste en AI som rekommenderar innehĂ„ll till anvĂ€ndare (t.ex. videor) eller upptĂ€cker bedrĂ€gerier anpassa sig snabbare Ă€n ett system som har till uppgift att skilja katter frĂ„n hundar.

”FrĂ„gan Ă€r: Hur snabbt kan vi anpassa och omskola modeller för maskininlĂ€rning? Modellerna behöver inte bara byggas om eller designas om baserat pĂ„ ny data, utan de behöver ocksĂ„ rĂ€tt processer för att sĂ€ttas i produktion i en takt som hĂ€nger med, sĂ€ger Dan Simion, VP för AI och analys för Capgemini North America, till VentureBeat i en tidigare intervju.

Ett nytt förslag – inspirerat av livsmedelsetiketter – ger modeller ett “utgĂ„ngsdatum” eller en punkt dĂ„ de kommer att “förfalla” och sluta göra förutsĂ€gelser som pĂ„verkas av drift. AI-modeller med ett utgĂ„ngsdatum kan automatiskt meddela en utvecklare att de behöver omskolas eller utlösa omskolningen automatiskt, vilket sĂ€tter igĂ„ng en process för att faststĂ€lla orsakerna till modellens unkenhet.

UtgÄngsdatum för modeller

“VĂ€sentligen, [an] utgĂ„ngsdatum kan fungera som en extra felsĂ€ker för att sĂ€kerstĂ€lla att modellen och data inte hĂ„lls kvar för anvĂ€ndning efter att de borde raderas, sĂ€ger Abishek Kumar, Ph.D. student vid Helsingfors universitets system- och medialabb, berĂ€ttade för VentureBeat via e-post. “Dataförfall Ă€r ett stort problem, sĂ€rskilt i förstĂ€rkningsinlĂ€rningsbaserade AI-modeller, dĂ€r ny data “sugs in” regelbundet. I modeller som bara trĂ€nats en gĂ„ng Ă€r data och modellutgĂ„ngen samma sak.”

Men Àven om utgÄngsmekanismer Àr vettiga i teorin, Àr det en annan sak att ta reda pÄ hur man implementerar dem. Skaparen av en modell mÄste först besluta om en deadline för att modellen ska löpa ut. Sedan, om de gjorde modellen offentlig, mÄste de bestÀmma hur de skulle förhindra anvÀndare frÄn att inaktivera mekanismen.

“Modellens utgĂ„ngsdatum vĂ€cker en mĂ€ngd andra frĂ„gor, som: Varför bestĂ€mmer skaparen av modellen? Vilka faktorer tar de hĂ€nsyn till? Hur standardiserar de processen för att bestĂ€mma nĂ€r deadline ska faststĂ€llas?,” sa Andre Fu, en forskare i djupinlĂ€rning vid University of Toronto, till VentureBeat i en nyligen intervju. “PĂ„ plattformsnivĂ„ Ă€r implementeringen ganska komplex – nĂ€r en modell laddas Ă€r det i praktiken bara nollor och ettor, sĂ„ hur förhindrar vi att “utgĂ„ngsmekanismen” tas bort? NĂ€r vi skickar modeller mellan vĂ€nner eller för internt bruk paketerar vi traditionellt inte det och lindar in det i ett API för exekvering, sĂ„ om den typen av modeller lĂ€ckte ut, skulle den inte ha de utgĂ„ngsmetoderna vi vill ha.”

Dessa dilemman har redan höjt sina fula huvuden i datasetsfĂ€ren, dĂ€r vissa aktörer fortsĂ€tter att anvĂ€nda förĂ„ldrade, partiska eller pĂ„ annat sĂ€tt problematiska data för att trĂ€na AI Ă€ven efter att data har avvisats. En Princeton-analys visade att tillbakadraganden och ansvarsfriskrivningar inte gjorde mycket för att hindra företag frĂ„n att anvĂ€nda felaktiga datauppsĂ€ttningar för att trĂ€na sina system. Analysen lyfte ocksĂ„ fram hur “derivat” och utlöpare av datauppsĂ€ttningar har anvĂ€nts för att kringgĂ„ anvĂ€ndningsbegrĂ€nsningar.

Fu tror att blockchain-teknologi kan vara ett gĂ„ngbart sĂ€tt att implementera en AI-modells utgĂ„ngsmekanism, om Ă€n inte utan en hel del utvecklingsarbete. Han förestĂ€ller sig att skapa en icke-fungibel token (NFT) av en modell – i huvudsak en modell med en unik kod – och distribuera Ă„tkomst till modellen via ett API för att förhindra omvĂ€nd konstruktion.

“Den transparenta karaktĂ€ren hos blockchain skulle hĂ€mma vissa anvĂ€ndningar, sĂ„ att anvĂ€nda ett transaktionsprivat nĂ€tverk … skulle möjliggöra integritetsbevarande funktioner bĂ€ttre. Dessutom 
 eftersom detta omrĂ„de Ă€r begynnande, har verktygen för att faktiskt skapa den hĂ€r idĂ©n Ă€nnu inte utvecklats, men det Ă€r teoretiskt genomförbart,” sa Fu. “Jag tycker att det Ă€r en intressant idĂ© att ha ett utgĂ„ngsdatum för en modell. [B]ut det skulle krĂ€va en hel del frontladdade kostnader och introducera friktion för utvecklare som skulle översĂ€ttas till dĂ„lig anvĂ€ndning och sĂ„ smĂ„ningom förvisa mekanismen till teknikens bakrum.”

Kumar tror ocksĂ„ att blockchain-teknik kan anvĂ€ndas för att genomdriva utgĂ„ngsdatum pĂ„ plattformsnivĂ„, och att utgĂ„ngsdatum pĂ„ modellnivĂ„ kan implementeras genom att trĂ€na en modell för att mata ut specifika vĂ€rden efter ett antal anvĂ€ndningar. Sannolikt kommer en kombination av tekniker att krĂ€vas, sĂ€ger han – sĂ€rskilt i fall dĂ€r ett system anvĂ€nder flera modeller för att komma fram till sina förutsĂ€gelser.

“[S]lösningar som “AI-forgetting” (ett framvĂ€xande forskningsomrĂ„de) gör det möjligt för en AI-modell att ta bort kunskap frĂ„n viss trĂ€ningsdata samtidigt som den behĂ„ller kunskap frĂ„n den Ă„terstĂ„ende trĂ€ningsdatan, vilket potentiellt tillĂ„ter att viss data löper ut utan fullstĂ€ndig omskolning (vilket Ă€r kostsamt), sa Kumar. “Redan, [laws like the European Union’s] GDPR ger oss rĂ€tt att dra tillbaka vĂ„r data frĂ„n tjĂ€nster. AI-modellens utgĂ„ngsmekanism skulle ta detta ett steg lĂ€ngre för att ge mer kontroll [to] hur vĂ„ra data och datahĂ€rledda modeller anvĂ€nds. “

Sainbayar Sukhbaatar, en forskare vid Meta (tidigare Facebook), utforskade en datafokuserad “expiration”-metod med ett system som “raderar” inaktuella data i en AI-arkitektur som kallas Transformer. Transformeren gĂ„r tillbaka till 2017 och har blivit den valda arkitekturen för sprĂ„kuppgifter, dĂ€r den har visat en förmĂ„ga att sammanfatta dokument, översĂ€tta mellan sprĂ„k och analysera DNA-sekvenser. Sukhbaatars arbete visade att transformatorer kunde skapas för att “glömma” inkommande information genom att förutsĂ€ga hur lĂ€nge de skulle stanna i “minnet”, liknande hur mĂ€nniskor tenderar att bara behĂ„lla de mest framtrĂ€dande minnena.

“[T]hĂ€r Ă€r potentiella roller som löper ut i bĂ„da [the model and dataset] sammanhang, och de har olika motivation”, sa Sukhbaatar till VentureBeat via e-post. “Modeller kan ha utgĂ„ngsdatum sĂ„ att de kan skalas för att bearbeta mer information och bara behĂ„lla kritisk kunskap, medan datauppsĂ€ttningar bör ha utgĂ„ngsdatum för att hĂ„lla sig uppdaterade och relevanta. Naturligtvis, nĂ€r data ersĂ€tts, Ă€r det vanligt att trĂ€na en ny modell frĂ„n början för att Ă„terspegla den förĂ€ndringen, och … modellomskolning kan spela en viktig roll för att se till att modellerna trĂ€nas pĂ„ de mest uppdaterade och kompletta datamĂ€ngderna.”

Bhuwan Dhingra, bitrĂ€dande professor i datavetenskap vid Duke University, har ocksĂ„ undersökt modeller som löper ut ur ett datasetperspektiv. Han och medförfattare fann att sprĂ„kmodeller kan “kalibreras” för att “uppdateras” nĂ€r ny data kommer in utan att behöva omskola frĂ„n början.

”Nuvarande modeller har ingen tidsuppfattning, eftersom de trĂ€nas pĂ„ statiska datamĂ€ngder dĂ€r all data behandlas som homogen. För sĂ„dana modeller kommer “utgĂ„ngsmekanismen” sannolikt att behöva vara pĂ„ API-nivĂ„n, sĂ€ger Dhingra. “Men en mer intressant uppfattning om utgĂ„ngsdatum skulle vara en dĂ€r modellkalibreringen (dvs. dess tillförsikt nĂ€r man gör förutsĂ€gelser) i sig indikerar nĂ€r utgĂ„ngen Ă€r pĂ„ vĂ€g. Om vi ​​kan bygga sĂ„dana kalibrerade modeller, kan utgĂ„ngsdatumet informeras av modellen sjĂ€lv.”

Nackdelar och begrÀnsningar

MĂ„nga grundlĂ€ggande tekniska problem stĂ„r i vĂ€gen för “sjĂ€lvförfallande” AI-modeller. Till exempel kan sjĂ€lvförfallande datamĂ€ngder fĂ„ en AI-modell att “glömma” vissa viktiga delar av information, ett fenomen som kallas katastrofal glömning. Av denna anledning, Ă€ven om utgĂ„ngsmekanismer kommer till stĂ„nd, betonar Kumar att fördomar i data bör erkĂ€nnas och att AI inte bör ersĂ€tta mĂ€nniskor i “uppgifter som krĂ€ver mer grundlig analys.”

“Vi ser att plattformsekonomin blir mer och mer AI-driven med ökad automatisering. DĂ€rför Ă€r det mycket viktigt att vi kan förstĂ„, förklara och validera de processer som relaterar till vĂ„r data, sĂ€ger Kumar. “För att förhindra potentiella skadliga resultat i framtiden, istĂ€llet för att behandla “rĂ€ttvisa” som ett mĂ„tt som ska utvĂ€rderas i en viss fas av AI-modellens livscykel, bör det behandlas som en iterativ process som erkĂ€nner att “rĂ€ttvisa” aldrig löses helt. [The] kostnader och fördelar med AI-modellen för olika undergrupper och avvĂ€gningar bör vara explicit förutbestĂ€mda, och sedan bör ett uttryckligt val göras för att placera lĂ€get i utrymmet för avvĂ€gningar med hĂ€nsyn till kostnader och fördelar. Om modellen driver frĂ„n det planerade avvĂ€gningsutrymmet kan den anses vara “förfallit.”

Dhingra pĂ„pekar att Ă€ven om trĂ€ningsmodeller pĂ„ data frĂ„n det förflutna kan vara problematiska nĂ€r det gĂ€ller bias, leder mer data vanligtvis till bĂ€ttre modeller. IstĂ€llet för att förfalla datauppsĂ€ttningar föreslĂ„r han att man tittar nĂ€rmare pĂ„ att komma med “rĂ€ttvisa Ă„tgĂ€rder” för bĂ„de gamla och nya data.

“Det huvudsakliga övervĂ€gandet, som jag nĂ€mnde ovan, Ă€r att se till att modeller “vet nĂ€r de inte vet.” VĂ„rt arbete tyder pĂ„ att det finns ett löfte om att anvĂ€nda historiska data för att förbĂ€ttra modellkalibreringen i framtiden, sĂ€ger Dhingra. “Om det lyckas, skulle detta pĂ„verka alla domĂ€ner dĂ€r distributionsförskjutning Ă€r ett problem, dvs dĂ€r indata Ă€ndras med tiden.”

Fu hĂ€vdar ocksĂ„ att energi skulle spenderas bĂ€ttre pĂ„ att frĂ€mja större medvetenhet om data, modeller och modellers mervĂ€rde och negativa effekter. “[Engineers are] mycket instĂ€lld pĂ„ toppmoderna modeller och vad nĂ€sta steg i den tekniska utvecklingen kommer att bli”, sa han. “[A]Att lĂ€gga friktion för ett idealistiskt mĂ„l kommer inte att korrelera med verkliga resultat. Jag skulle föreslĂ„ att en gemensam anstrĂ€ngning för att tukta skĂ„despelarna – andra ingenjörer – som anvĂ€nder inaktuella modeller, inaktuella data och mer i ett försök att stĂ€vja dessa potentiellt skadliga handlingar.”

VentureBeats uppdrag ska vara ett digitalt stadstorg för tekniska beslutsfattare att fÄ kunskap om transformativ företagsteknik och handla. LÀs mer om medlemskap.