Meta slÀpper Bean Machine för att hjÀlpa till att mÀta AI-modellosÀkerhet

Celestial AI landar 56 miljoner dollar för att utveckla lÀttbaserade AI-acceleratorchips


LÄt OSS Enterprise nyhetsbrev vÀgleda din resa med öppen kÀllkod! AnmÀl dig hÀr.

Meta (tidigare Facebook) tillkĂ€nnagav denna vecka lanseringen av Bean Machine, ett probabilistiskt programmeringssystem som till synes gör det lĂ€ttare att representera och lĂ€ra sig om osĂ€kerheter i AI-modeller. Bean Machine Ă€r tillgĂ€nglig i tidig beta och kan anvĂ€ndas för att upptĂ€cka oobserverade egenskaper hos en modell via automatiska, “osĂ€kerhetsmedvetna” inlĂ€rningsalgoritmer.

“[Bean Machine is] inspirerad frĂ„n en fysisk enhet för att visualisera sannolikhetsfördelningar, ett pre-computing exempel pĂ„ ett probabilistiskt system”, förklarade Meta-forskarna bakom Bean Machine i ett blogginlĂ€gg. “Vi pĂ„ Bean Machines utvecklingsteam tror att anvĂ€ndbarheten av ett system utgör grunden för dess framgĂ„ng, och vi har varit noga med att centrera Bean Machines design kring en deklarativ filosofi inom PyTorch-ekosystemet.”

ModelleringsosÀkerhet

Det Ă€r allmĂ€nt kĂ€nt att modeller för djupinlĂ€rning Ă€r översĂ€kra – Ă€ven nĂ€r de gör misstag. beskriver vad en modell inte vet eftersom trĂ€ningsdatan inte var lĂ€mplig, medan osĂ€kerheten hĂ€rrör frĂ„n observationers naturliga slumpmĂ€ssighet. Givet tillrĂ€ckligt med trĂ€ningsprov kommer epistemisk osĂ€kerhet att minska, men aleatorisk osĂ€kerhet kan inte minskas Ă€ven nĂ€r mer data tillhandahĂ„lls.

Probabilistisk modellering – AI-tekniken som Bean Machine anvĂ€nder sig av – kan mĂ€ta dessa typer av osĂ€kerhet genom att ta hĂ€nsyn till effekterna av slumpmĂ€ssiga hĂ€ndelser för att förutsĂ€ga förekomsten av framtida utfall. JĂ€mfört med andra metoder för maskininlĂ€rning erbjuder probabilistisk modellering fördelar som osĂ€kerhetsuppskattning, uttrycksförmĂ„ga och tolkningsbarhet. Analytiker som utnyttjar det kan förstĂ„ inte bara ett AI-systems förutsĂ€gelse, utan ocksĂ„ den relativa sannolikheten för andra möjliga förutsĂ€gelser. Probabilistisk modellering gör det ocksĂ„ enklare att matcha en modells struktur med strukturen i ett problem. Och med det kan anvĂ€ndare tolka varför sĂ€rskilda förutsĂ€gelser gjordes – vilket kan hjĂ€lpa till i modellutvecklingsprocessen.

Bean Machine – byggd ovanpĂ„ Metas PyTorch-ramverk för maskininlĂ€rning och Bean Machine Graph (BMG), en anpassad C++-backend – lĂ„ter datavetare skriva ut matematiken för en modell direkt i Python och fĂ„ BMG att göra arbetet med probabilistisk modellering, vilket leder till att de möjliga fördelningarna för förutsĂ€gelser baserade pĂ„ modellens deklaration.

OsÀkerhet mÀtt av Bean Machine kan hjÀlpa till att belysa en modells grÀnser och potentiella felpunkter. Till exempel kan osÀkerhet avslöja felmarginalen för en modell för förutsÀgelse av huspriser eller tillförlitligheten hos en modell utformad för att förutsÀga om en ny appfunktion kommer att fungera bÀttre Àn en gammal funktion.

För att ytterligare illustrera betydelsen av begreppet osĂ€kerhet fann en nyligen genomförd Harvard-studie att att visa osĂ€kerhetsmĂ„tt för bĂ„de personer med bakgrund inom maskininlĂ€rning och icke-experter hade en utjĂ€mnande effekt pĂ„ deras motstĂ„ndskraft mot AI-förutsĂ€gelser. Även om det kanske aldrig Ă€r sĂ„ enkelt att skapa förtroende för AI som att tillhandahĂ„lla mĂ€tvĂ€rden, kan medvetenhet om fallgroparna bidra till att skydda mĂ€nniskor frĂ„n maskininlĂ€rningens begrĂ€nsningar.

Bean Machine kvantifierar förutsĂ€gelser “med tillförlitliga mĂ„tt pĂ„ osĂ€kerhet i form av sannolikhetsfördelningar … Det Ă€r lĂ€tt att koda en rik modell direkt i kĂ€llkoden, [and because] modellen matchar domĂ€nen, man kan frĂ„ga mellan inlĂ€rda egenskaper inom modellen”, fortsatte Meta. “Detta, hoppas vi, gör det enkelt och intuitivt att anvĂ€nda Bean Machine – oavsett om det Ă€r att skapa en modell eller avancerat mixtra med dess inlĂ€rningsstrategier.”

Bean Machine har varit tillgÀnglig pÄ GitHub i början av december.

VentureBeats uppdrag ska vara ett digitalt stadstorg för tekniska beslutsfattare att fÄ kunskap om transformativ företagsteknik och handla. LÀs mer om medlemskap.