Varför det sanna testet för dagens konversations-AI-chatbotar Àr tid

Rapport: 80 % av konsumenterna kommer att prata med en bot om de kan överföra live till en mÀnniska


FrÄn Siri till Alexa till Google, vi Àr omgivna av AI-system som har designats med ett enda mÄl: att förstÄ oss.

Vi har redan sett otroliga framsteg. Genom att utföra hundratals miljarder berÀkningar pÄ ett ögonblick kan de senaste AI-teknikerna förstÄ vissa typer av text med noggrannhet pÄ mÀnsklig nivÄ. Utmaningen blir dock betydligt mer skrÀmmande nÀr text Àr en del av en större konversation, dÀr det krÀvs övervÀgande kontext för att tolka vad anvÀndaren menar och bestÀmma hur man ska svara. Fortfarande verkar chatbots som Facebooks BlenderBot 2.0 förebÄda mycket mindre frustrerande interaktioner med AI.

Men hÀr Àr haken: Ju mer komplexitet vi lÀgger till dessa konversations-AI-bots, desto svÄrare blir det att möta vÄra förvÀntningar pÄ ett svar i realtid. BlenderBot 2.0 Àr ett perfekt exempel. Eftersom det tar itu med de viktigaste begrÀnsningarna hos BlenderBot 1.0, inklusive dess brist pÄ lÄngtidsminne, Àr 2.0 mycket mer komplicerat Àn sin föregÄngare. Och som ett resultat Àr det svÄrare att pÄskynda maskininlÀrningen (ML) som gör att det fungerar bakom kulisserna.

HastighetsgrÀnsen för konversations-AI och chatbots

Det finns ingen hemlighet att föra en naturlig konversation. IstĂ€llet krĂ€vs det ett bedövande massivt nĂ€tverk av ML-modeller, som var och en löser en liten pusselbit för att bestĂ€mma vad de ska sĂ€ga hĂ€rnĂ€st. En modell kan övervĂ€ga var anvĂ€ndaren befinner sig, en annan historiken för interaktionen och en annan den feedback som liknande svar har fĂ„tt tidigare – med varje modell som lĂ€gger till vĂ€rdefulla millisekunder till systemets latens.

GrÀnsen för konversations-AI Àr med andra ord vÄrt tÄlamod.

Djupet av beroendehelvetet

VÄra förvÀntningar pÄ AI Àr fundamentalt annorlunda i ett akademiskt sammanhang, dÀr vi nöjer oss med att vÀnta timmar eller till och med dagar pÄ resultat, jÀmfört med en levande miljö, dÀr vi krÀver ett omedelbart svar. Speciellt för konversations-AI-bots mÄste varje potentiell förbÀttring vÀgas mot önskan om lÀgre latens.

Den latensen Ă€r en produkt av vad som kallas den “kritiska vĂ€gen”: den kortaste sekvensen av lĂ€nkade ML-modeller som krĂ€vs för att gĂ„ frĂ„n en ingĂ„ng, anvĂ€ndarens meddelande, till en utgĂ„ng, botens svar. Detta Ă€r ett gammalt koncept frĂ„n projektledning, men det Ă€r sĂ€rskilt relevant för dagens ML-nĂ€tverk nĂ€r man försöker undvika onödiga steg.

SÄ hur hittar du den kritiska vÀgen? Allt handlar om beroenden, som lÀnge har varit ett avgörande problem för mjukvaruutveckling i allmÀnhet. För alla typer av ansluten mjukvaruarkitektur kan en förbÀttring av en applikation tvinga ingenjörer att uppdatera hela systemet. Ibland Àr dock en uppdatering som Àr nödvÀndig för applikation A inkompatibel med applikationerna B, C och D.

Detta Ă€r kĂ€nt som “beroendehelvetet”. Och utan extraordinĂ€r uppmĂ€rksamhet pĂ„ detaljer, maskininlĂ€rningsberoenden tar den frustrationen till nya djup.

Normala mjukvaruberoenden Ă€r beroende av API:er som kommunicerar det enkla, diskreta tillstĂ„ndet för en given applikation, till exempel en cell i ett kalkylblad som Ă€ndras frĂ„n rött till grönt. API: er tillĂ„ter ingenjörer att utveckla varje applikation nĂ„got oberoende, samtidigt som de sĂ€kerstĂ€ller att de stannar pĂ„ samma sida. Men med ML-beroenden hanterar ingenjörer istĂ€llet abstrakta sannolikhetsfördelningar, vilket betyder att det inte Ă€r uppenbart hur Ă€ndringar av en modell ska pĂ„verka det större ML-nĂ€tverket. Endast genom att bemĂ€stra dessa nyanserade relationer mellan modeller kan vi göra konversations-AI till verklighet – Ă€n mindre en upplevelse i realtid.

Spara tid genom att hoppa över steg

För att bli bra pÄ konversations-AI-beroenden mÄste du kombinera maskininlÀrning med mÀnsklig intuition.

Till exempel Àr vÄr konversations-AI-bot designad för att lösa anstÀlldas önskemÄl, oavsett om de vill ha en PowerPoint-licens eller har en frÄga om PTO-policyn. Det visar sig att Àven ytligt enkla frÄgor leder dig djupt in i beroendehelvetet. Svaret pÄ en PTO-frÄga kan finnas begravt pÄ sidan 53 i personalhandboken, och det kan vara annorlunda för en sÀljare i Kanada Àn för en ingenjör i Spanien. LÀgg till utmaningen att ignorera irrelevanta detaljer, som den anstÀlldes semesterplaner för Hawaii, och du har dussintals specialiserade ML-modeller som alla mÄste fungera som en enhet.

Tricket Ă€r att avgöra vilka modeller – vilka steg i den kritiska vĂ€gen – som Ă€r nödvĂ€ndiga för att lösa varje problem. Det första steget Ă€r naturlig sprĂ„kförstĂ„else, eller NLU, vars mĂ„l Ă€r att omvandla ostrukturerad text till maskinell information. VĂ„r NLU Ă€r en pipeline av mĂ„nga ML-modeller som korrigerar för stavfel, kĂ€nner igen nyckelenheter, separerar signalen frĂ„n bruset, tar reda pĂ„ anvĂ€ndarens avsikt och sĂ„ vidare. Med denna information i handen kan vi börja vinna ut onödiga modeller nedströms.

Det innebĂ€r att göra en förutsĂ€gelse om vad en anvĂ€ndbar lösning pĂ„ problemet kan vara – innan man analyserar de faktiska lösningar som företaget har tillgĂ€ngliga. En anstĂ€lld som ber om tillgĂ„ng till PowerPoint kan ha nytta av en mjukvarulicens eller ett förfrĂ„gningsformulĂ€r, men de vill nĂ€stan sĂ€kert inte ha en karta över det nya kontoret. Genom att utnyttja informationen frĂ„n vĂ„r NLU-process, vi kan förutsĂ€ga vilka modeller som ska aktiveras och vilka modeller som ska kringgĂ„s, genom vad som kallas ett “pre-trigger”-system.

Med tanke pÄ den abstrakta karaktÀren hos de involverade sannolikhetsfördelningarna, förlitar sig vÄrt pre-trigger-system pÄ bÄde maskininlÀrning och intuitionsbaserade regler frÄn mÀnskliga experter. I slutÀndan Àr det bÄde en konst och en vetenskap att spendera tid dÀr det gÀller.

Skapar plats för att göra framsteg med konversationsbaserade AI-bots

Ingen vet hur konversations-AI kommer att se ut om tio Ă„r. Vad vi dĂ€remot vet Ă€r att vi behöver optimera vĂ„ra chatbots nu för att göra plats för framtida framsteg. Om vi ​​vill upprĂ€tthĂ„lla en konversationsupplevelse kan vi inte fortsĂ€tta lĂ€gga till mer och mer komplexitet utan att ta hĂ€nsyn till hela systemets latens.

I motsats till science fiction Ă€r de “genombrott” vi ser inom artificiell intelligens produkten av mĂ„nga smĂ„, stegvisa förbĂ€ttringar av befintliga modeller och tekniker. Arbetet med att optimera konversations-AI Ă€r inte gjort för filmerna, och det hĂ€nder sĂ€llan över en natt. Men det Ă€r dessa Ă„r av outtröttlig energi – inte enstaka gnistor av geni – som gör att chatbots kan förstĂ„ oss och hjĂ€lpa oss, i realtid.

pÄ Moveworks

DataDecisionMakers

VĂ€lkommen till VentureBeat-communityt!

DataDecisionMakers Àr dÀr experter, inklusive tekniska personer som arbetar med data, kan dela datarelaterade insikter och innovation.

Om du vill lĂ€sa om banbrytande idĂ©er och aktuell information, bĂ€sta praxis och framtiden för data- och datateknik, gĂ„ med oss ​​pĂ„ DataDecisionMakers.

Du kan till och med övervÀga att bidra med en egen artikel!

LÀs mer frÄn DataDecisionMakers