Deci förenklar appar för djupinlärning på CPU:er

Deci förenklar appar för djupinlärning på CPU:er


Att utveckla effektiva och pålitliga applikationer som involverar komplicerade komponenter som artificiell intelligens och maskininlärning är svårt även för erfarna mjukvaruingenjörer, så låt oss inse det: Alla tidigare inbyggda modell- eller mallgenvägar som hjälper till att smidiga vägen till en användbar lösning i ett sådant utvecklingsprojekt är en bra genväg.

Deci är en mjukvaruleverantör för djupinlärning som använder AI för att bygga AI-drivna appar. Det Tel Aviv-baserade företaget presenterade denna vecka en ny uppsättning bildklassificeringsmodeller, kallade DeciNets, specifikt för servrar som använder Intel Cascade Lake-centralprocessorer (CPU).

Medan grafikbehandlingsenheter konventionellt har varit den h√•rdvara som valts f√∂r att k√∂ra kraftintensiva faltningsneurala n√§tverk, fungerar CPU:er ‚Äď mycket vanligare f√∂r allm√§n datoranv√§ndning ‚Äď som ett mycket billigare alternativ f√∂r m√•nga f√∂retag som redan har dem till hands. √Ąven om det √§r m√∂jligt att k√∂ra djupinl√§rning p√• CPU:er, √§r de betydligt mindre kraftfulla √§n GPU:er; D√§rf√∂r fungerar djupinl√§rningsmodeller vanligtvis tre till tio g√•nger l√•ngsammare p√• en CPU √§n p√• en GPU.

Minskning av CPU-prestandagapet

Deci, en tre år gammal startup som kände igen det här problemet, har en lösning för att minska hastighetsgapet mellan GPU och CPU-prestanda för konvolutionella neurala nätverk. Dess egenutvecklade Automated Neural Architecture Construction (AutoNAC)-teknik genererar automatiskt nya DeciNets som avsevärt förbättrar alla publicerade modeller och ger mer än två gånger förbättringar i körtid. Detta i kombination med förbättrad noggrannhet, hävdade företaget, jämfört med de mest kraftfulla modellerna som är allmänt tillgängliga från EfficientNets, utvecklade av Google.

Genom att använda dessa DeciNets-modeller är uppgifter som tidigare inte kunde utföras på en CPU eftersom de var för resurskrävande nu möjliga, sa Yonatan Geifman, medgrundare och VD för Deci, i en mediarådgivning.

“Dessutom kommer dessa uppgifter att se en markant prestandaf√∂rb√§ttring genom att utnyttja DeciNets; gapet mellan en modells slutledningsprestanda p√• en GPU kontra en CPU halveras, utan att offra modellens noggrannhet, s√§ger Geifman.

Som utövare av djupinlärning vill Deci inte bara hitta de mest exakta modellerna, utan också upptäcka de mest resurseffektiva modellerna som fungerar sömlöst i produktionen.

“Denna kombination av effektivitet och noggrannhet utg√∂r den “heliga gralen” f√∂r djupinl√§rning, sa Geifman. “AutoNAC skapar de b√§sta datorvisionsmodellerna hittills, och nu kan den nya klassen av DeciNets appliceras och effektivt k√∂ra AI-applikationer p√• processorer.”

I mars 2021 tillk√§nnagav Deci och Intel ett strategiskt samarbete f√∂r att optimera djupl√§rande slutsatser om Intel Architecture-processorer. Dessf√∂rinnan arbetade Deci och Intel tillsammans p√• MLPerf, d√§r Decis AutoNAC-teknik p√• flera popul√§ra Intel-processorer accelererade slutledningshastigheten f√∂r det v√§lk√§nda ResNet50-neurala n√§tverket, vilket minskade de inl√§mnade modellernas latens med en faktor p√• upp till 11,8 g√•nger och √∂kande genomstr√∂mning vid fram till och med 11 tider, , sade firman. Deci har en stor konkurrent inom OctoML, en startup som p√• liknande s√§tt utger sig f√∂r att automatisera maskininl√§rningsoptimering med propriet√§ra verktyg och processer. Andra p√• marknaden inkluderar DeepCube, Neural Magic och DarwinAI, som anv√§nder vad den kallar “generativ syntes” f√∂r att inta modeller och spotta ut mycket optimerade versioner.

VentureBeats uppdrag ska vara ett digitalt stadstorg för tekniska beslutsfattare att få kunskap om transformativ företagsteknologi och handla. Läs mer om medlemskap.