OpenAI börjar lÄta kunderna finjustera GPT-3

GPT-3 finjustering


OpenAI, det San Francisco, Kalifornien-baserade labbet som utvecklar AI-teknik inklusive stora sprÄkmodeller, tillkÀnnagav idag möjligheten att skapa anpassade versioner av GPT-3, en modell som kan generera mÀnniskoliknande text och kod. Utvecklare kan anvÀnda finjustering för att skapa GPT-3-modeller skrÀddarsydda för det specifika innehÄllet i deras appar och tjÀnster, vilket leder till skenbart högre kvalitet pÄ uppgifter och arbetsbelastningar, sÀger företaget.

“Enligt Gartner kommer 80 % av teknikprodukterna och tjĂ€nsterna att byggas av dem som inte Ă€r teknikproffs senast 2024. Den hĂ€r trenden drivs av den accelererade AI-anpassningen i nĂ€ringslivet, vilket ibland krĂ€ver specifikt skrĂ€ddarsydda AI-arbetsbelastningar”, en OpenAI skrev talesperson i ett mejl. “Med en enda kodrad tillĂ„ter anpassad GPT-3 utvecklare och affĂ€rsteam att köra och trĂ€na kraftfulla AI-modeller baserade pĂ„ specifika datauppsĂ€ttningar, vilket eliminerar behovet av att skapa och trĂ€na sina egna AI-system frĂ„n grunden, vilket kan vara ganska kostsamt och tidskrĂ€vande. -intensiv.”

Anpassad GPT-3

Byggd av OpenAI, GPT-3 och dess finjusterade derivator, som Codex, kan anpassas för att hantera applikationer som krĂ€ver en djup förstĂ„else av sprĂ„k, frĂ„n att konvertera naturligt sprĂ„k till mjukvarukod till att sammanfatta stora mĂ€ngder text och generera svar pĂ„ frĂ„gor. GPT-3 har varit allmĂ€nt tillgĂ€nglig sedan 2020 genom OpenAI API; i mars sa OpenAI att GPT-3 anvĂ€ndes i mer Ă€n 300 olika appar av “tiotusentals” utvecklare och producerade 4,5 miljarder ord per dag.

Den nya finjusteringskapaciteten för GPT-3 gör det möjligt för kunder att trĂ€na GPT-3 att kĂ€nna igen ett specifikt mönster för arbetsbelastningar som innehĂ„llsgenerering, klassificering och textsammanfattning inom grĂ€nserna för en viss domĂ€n. Till exempel anvĂ€nder en kund, Keeper Tax, finjusterad GPT-3 för att tolka data frĂ„n kontoutdrag för att hjĂ€lpa till att hitta potentiellt avdragsgilla kostnader. Företaget fortsĂ€tter att finjustera GPT-3 med ny data varje vecka baserat pĂ„ hur deras produkt har presterat i den verkliga vĂ€rlden, med fokus pĂ„ exempel dĂ€r modellen föll under en viss prestandatröskel. Keeper Tax hĂ€vdar att finjusteringsprocessen ger ungefĂ€r 1% förbĂ€ttring vecka för vecka – vilket kanske inte lĂ„ter som mycket – men det förvĂ€rras över tiden.

“[A thing that] vi har varit mycket uppmĂ€rksamma pĂ„ och har betonat under vĂ„r utveckling av detta API Ă€r att göra det tillgĂ€ngligt för utvecklare som kanske inte nödvĂ€ndigtvis har en maskininlĂ€rningsbakgrund”, sa Rachel Lim, teknisk personal hos OpenAI, till VentureBeat i en telefonintervju. “Hur detta manifesterar sig Ă€r att du kan anpassa en GPT-3-modell med en kommandoradsanrop. [W]Vi hoppas att vi pĂ„ grund av hur lĂ€ttillgĂ€ngligt det Ă€r kan nĂ„ en mer mĂ„ngsidig uppsĂ€ttning anvĂ€ndare som kan ta deras mer mĂ„ngsidiga problem till teknik.”

Lim hĂ€vdar att finjusteringskapaciteten för GPT-3 ocksĂ„ kan leda till kostnadsbesparingar, eftersom kunderna kan rĂ€kna med en högre frekvens av högkvalitativa utgĂ„ngar frĂ„n finjusterade modeller jĂ€mfört med en vanilj GPT-3-modell. (OpenAI tar betalt för API-Ă„tkomst baserat pĂ„ antalet tokens, eller ord, som modellerna genererar.) Medan OpenAI tar ut en premie pĂ„ finjusterade modeller, sĂ€ger Lim att de flesta finjusterade modeller krĂ€ver kortare uppmaningar som innehĂ„ller fĂ€rre tokens – vilket kan ocksĂ„ resultera i besparingar.

Finjustering kan ocksĂ„ vara fördelaktigt, enligt Lim, eftersom det kan göra det möjligt för företag att hĂ„lla anpassade GPT-3-modeller “frĂ€schare”. Till exempel kunde Koko, en peer-support-plattform som tillhandahĂ„ller crowdsourced kognitiv terapi, finjustera en GPT-3-modell för att Ă„terspegla ett ökande antal Ă€tstörningar under pandemin.

I ett internt experiment finjusterade OpenAI tvĂ„ storlekar av GPT-3 pĂ„ 8 000 exempel frĂ„n Grade School Math-problem, en datauppsĂ€ttning som labbet skapade innehĂ„llande problem pĂ„ grundskolans matematiknivĂ„. OpenAI hĂ€vdar att de finjusterade modellerna mer Ă€n fördubblades i noggrannhet nĂ€r de testades pĂ„ frĂ„gor frĂ„n samma datauppsĂ€ttning, och svarade korrekt pĂ„ frĂ„gor som “Carla mĂ„ste kemtvĂ€tta 80 stycken tvĂ€tt vid middagstid. Om hon börjar jobba klockan 8, hur mĂ„nga tvĂ€ttbitar behöver hon stĂ€da i timmen?”

“[W]Vi letar stĂ€ndigt efter sĂ€tt att förbĂ€ttra anvĂ€ndarupplevelsen för att göra det lĂ€ttare för mĂ€nniskor att fĂ„ bra resultat som Ă€r robusta nog att anvĂ€nda i applikationer av produktionskvalitet, sĂ€ger Lim. “Finjustering Ă€r ett sĂ€tt att anpassa modeller till specifika data mer.”

TillvÀxt i anvÀndning

Lanseringen av GPT-3-finjustering kommer efter att OpenAI tagit bort vĂ€ntelistan för GPT-3 API. Under det senaste Ă„ret hĂ€vdar företaget att det har utvecklat endpoints för “mer sanningsenliga” frĂ„gesvar, tillhandahĂ„llit ett innehĂ„llsfilter för att lindra toxicitet och implementerat modeller – “instruerar” modeller – som till synes bĂ€ttre följer mĂ€nskliga instruktioner.

I somras samarbetade OpenAI med Microsoft för att lansera Azure OpenAI Service, ett erbjudande utformat för att ge företag tillgÄng till GPT-3 och dess derivat tillsammans med sÀkerhet, efterlevnad, styrning och andra affÀrsfokuserade funktioner. Microsoft har en nÀra relation med OpenAI, efter att ha investerat 1 miljard dollar i företaget 2020 och exklusivt licensierat GPT-3 för att utveckla AI-lösningar för Azure-kunder.

VentureBeats uppdrag ska vara ett digitalt stadstorg för tekniska beslutsfattare att fÄ kunskap om transformativ företagsteknik och handla. LÀs mer om medlemskap.