Deepdub avslutar en ny finansieringsrunda för AI som dubbar filmer, program och spel

Deepdub avslutar en ny finansieringsrunda för AI som dubbar filmer, program och spel


Dubbning, dÀr inspelningar pÄ andra sprÄk lÀppsynkas och blandas med en shows originalsoundtrack, Àr en exploderande verksamhet. En lokaliseringsplattform, Zoo Digital, sÄg intÀkterna öka med 73 % till 28,6 miljoner USD i juli 2018 jÀmfört med Äret innan. En annan, BTI Studios, berÀttade för Television Business International att dubbning vÀxte frÄn 3 % av intÀkterna 2010 till 61 % 2019.

Enligt Verified Market Research skulle bara marknaden för filmdubbning kunna nĂ„ 3,6 miljarder dollar till ett vĂ€rde av 2027, och vĂ€xa med en sammansatt Ă„rlig tillvĂ€xttakt pĂ„ 5,6 % frĂ„n 2020. Men hinder stĂ„r i vĂ€gen för expansion. I genomsnitt kan det ta en timmes inspelningsstudiotid för fem minuters berĂ€ttarröst – för att inte tala om en skĂ„despelare som kan leverera det med rytm och timing som matchar originalljudet sĂ„ nĂ€ra som möjligt. Det Ă€r ocksĂ„ kostsamt. En kalkylator faststĂ€ller priset till $75 per minut för Ă€ven en enkel video.

AI-teknik lovar att effektivisera processen genom att automatisera olika aspekter av dubbning. Video- och röstfokuserade företag inklusive Synthesia, Respeecher, Resemble AI och Papercup har utvecklat AI-dubbningsverktyg för program och filmer, liksom Deepdub. För att spegla investerarnas intresse tillkÀnnagav Deepdub idag att de samlade in 20 miljoner dollar i en serie A-runda ledd av Insight Partners med deltagande frÄn Booster Ventures, Stardom Ventures, Swift VC och Àngelinvesterare.

Dubbning med AI

Deepdub, en israelisk startup med huvudkontor i Tel Aviv, grundades 2019 av bröderna Nir Krakowski och Ofir Krakowski. Företaget tillhandahÄller AI-drivna dubbningstjÀnster för film, TV, spel och reklam, drivna av neurala nÀtverk som delar upp och isolerar röster och ersÀtter dem i originalspÄren.

Deepdub försöker lĂ€gga in nya accenter samtidigt som de behĂ„ller ursprungliga skĂ„despelares röster över olika sprĂ„k, genom att anvĂ€nda syntetiska röster baserade pĂ„ samplingar frĂ„n skĂ„despelarna pĂ„ ett sprĂ„k för att bilda frĂ€mmande ord med skĂ„despelarens syntetiserade röst. Företagets algoritmer – som Ă€nnu inte kan dubba röster i realtid, utan kopplas in i postproduktionssystem – försöker matcha lĂ€ppsynkroniseringen eller lĂ€pprörelsen i kĂ€llmediet pĂ„ flera sprĂ„k samtidigt.

“Med den ökade globala efterfrĂ„gan pĂ„ lokala upplevelser frĂ„n publiken, finns det en vĂ€xande efterfrĂ„gan pĂ„ högkvalitativa dubbningslösningar som kan skalas snabbt och som erbjuder en ny nivĂ„ av upplevelse. Publiken har fler och fler alternativ att vĂ€lja mellan, och innehĂ„llsplattformar söker sĂ€tt att differentiera sig pĂ„ de lokala marknaderna, sĂ€ger Nir Krakowski till VentureBeat via e-post. “[Our] AI-modeller möjliggör replikering av röstegenskaper med inte mer Ă€n tre minuters röstdata. Den AI-genererade rösten pĂ„ mĂ„lsprĂ„ket kan sedan prestera pĂ„ alla nivĂ„er av uttrycksfullhet, inklusive grĂ„t, skrik, prata med mat i munnen, [and more] – Ă€ven om den ursprungliga röstdatan inte innehöll den informationen.”

Deepdubs arbete inkluderar “Every Time I Die”, en engelsksprĂ„kig thriller frĂ„n 2019 som startupen dubbade till spanska och portugisiska. Det Ă€r en av de första gĂ„ngen som hela dubbade filmer anvĂ€nder röstkloner baserade pĂ„ rösterna frĂ„n den ursprungliga skĂ„despelaren.

“[We’re] arbetar med flera Hollywood-studior pĂ„ olika projekt som för nĂ€rvarande Ă€r proprietĂ€ra. Sedan den offentliga lanseringen tillbaka i december 2020 har Deepdub redan ingĂ„tt ett partnerskap i flera serier med Topic.com för att föra deras katalog med utlĂ€ndska TV-program till engelska, sĂ€ger bröderna Krakowski. ”Medlen frĂ„n [the latest round] kommer att anvĂ€ndas för att utöka den globala rĂ€ckvidden för företagets sĂ€lj- och leveransteam, stĂ€rka det Tel Aviv-baserade FoU-teamet med ytterligare forskare och utvecklare och ytterligare förbĂ€ttra företagets 
 djupinlĂ€rningsbaserade lokaliseringsplattform.”

Potentiella fallgropar

Enligt Statista sa 59 % av amerikanska vuxna att de föredrar att se filmer pÄ frÀmmande sprÄk dubbade till engelska Àn att se originalfilmen med undertexter. Man behöver inte leta lÀngre Àn dubbade serier som Squid Game (som ursprungligen var pÄ koreanska) och Dark (tyska) för bevis; en undersökning frÄn oktober 2021 visade att 25 % av amerikanerna hade sett Squid Game, som fortfarande Àr Netflix mest sedda originalprogram genom tiderna.

Utöver nystartade företag har Nvidia utvecklat teknik som förÀndrar video pÄ ett sÀtt som tar en skÄdespelares ansiktsuttryck och matchar dem med ett nytt sprÄk. Veritone har Ä sin sida lanserat en plattform som heter Marvel.ai som tillÄter innehÄllsproducenter att generera och licensiera AI-genererade röster.

Men lokalisering Ă€r inte lika enkelt som enkel översĂ€ttning. Som Washington Posts Steven Zeitchik pĂ„pekar kan AI-dubbat innehĂ„ll utan uppmĂ€rksamhet pĂ„ detaljer förlora sin “lokala smak”. Uttryck pĂ„ ett sprĂ„k kanske inte betyder samma sak pĂ„ ett annat. Dessutom stĂ€ller AI-dubbar etiska frĂ„gor, som om man ska Ă„terskapa rösten för en person som har gĂ„tt bort. Och tekniken kan leda till en framtid dĂ€r miljontals tittare kanske aldrig kommer att exponeras för ett sprĂ„k utanför deras eget.

OcksĂ„ grumliga Ă€r följderna av röster som genereras frĂ„n arbetande skĂ„despelares framtrĂ€danden. I en rĂ€ttegĂ„ng förra vĂ„ren pĂ„stod Bev Standing, en röstskĂ„despelare, att TikTok anvĂ€nde – men inte kompenserade henne för – en AI-text-till-tal-funktion. Wall Street Journal rapporterar att mer Ă€n ett företag har försökt replikera Morgan Freemans röst i privata demos. Och studior lĂ€gger alltmer till bestĂ€mmelser i kontrakt som syftar till att anvĂ€nda syntetiska röster i stĂ€llet för artister “nĂ€r det behövs”, till exempel för att justera dialoglinjer under efterproduktion.

Deepdub sĂ€ger att det inte Ă€r engagerat i att skapa “deepfakes” och arbetar med artister för att sĂ€kerstĂ€lla att de förstĂ„r hur deras röster anvĂ€nds. Vi har kontaktat företaget med en detaljerad lista med frĂ„gor och kommer att uppdatera den hĂ€r artikeln nĂ€r vi fĂ„r ett svar.

“Pandemin har för alltid förĂ€ndrat hur mĂ€nniskor över hela vĂ€rlden konsumerar innehĂ„ll, oavsett om det Ă€r underhĂ„llningsinnehĂ„ll med en av de mĂ„nga streamingtjĂ€nsterna och plattformarna eller via e-lĂ€rande plattformar, podcaster och ljudböcker. Detta resulterar i att publiken fĂ„r mer och mer exponering för innehĂ„ll som inte Ă€r pĂ„ deras lokala sprĂ„k”, fortsatte Krakowski. “[Deepdub] startade 2021 med sju anstĂ€llda och vĂ€xte till över 30 anstĂ€llda i början av 2022. Vi rĂ€knar med att fördubbla den storleken i slutet av Ă„ret.”

VentureBeats uppdrag ska vara ett digitalt stadstorg för tekniska beslutsfattare att fÄ kunskap om transformativ företagsteknik och handla. LÀs mer om medlemskap.