D-Matrix nya chip kommer att optimera matrisberÀkningar

Asperitas och Villa-Tech samarbetar pÄ nÀtverkets digitala tvilling


Idag tillkÀnnagav D-Matrix, ett företag fokuserat pÄ att bygga acceleratorer för komplex matrismatte som stöder maskininlÀrning, en serie A-runda pÄ 44 miljoner dollar. Playground Global ledde rundan med stöd frÄn Microsofts M12 och SK Hynix. De tre ansluter sig till befintliga investerare Nautilus Venture Partners, Marvell Technology och Entrada Ventures.

Pengarna kommer att anvÀndas för att föra Nighthawk, dess chipletbaserade arkitektur för snabbare komplexa matrisberÀkningar, till marknader som datacenter. En stor förvÀntad marknad Àr maskiner som behöver snabbare inferensmotorer för att distribuera maskininlÀrningsmodeller. D-Matrix designar ocksÄ en uppföljare som ska kallas Jayhawk.

Nighthawk-chippet lovar att föra berÀkningsförmÄgan nÀrmare data. I traditionella datorer lagras informationen separat i RAM-chips och den mÄste levereras till CPU:erna dÀr besluten fattas och aritmetiken Àr klar innan den lagras tillbaka i RAM-minnet. Detta tillvÀgagÄngssÀtt, ibland kallat von Neumann-arkitekturen, gÄr tillbaka till de tidigaste digitala datorerna som skapades efter andra vÀrldskriget.

Även om detta tillvĂ€gagĂ„ngssĂ€tt har varit extremt framgĂ„ngsrikt för alla allmĂ€nna arbetsbelastningar under decennierna, har en av utmaningarna för designers alltid varit att hitta ett sĂ€tt att pĂ„skynda rörelsen av data. IdĂ©n att flytta fler av de transistorer som anvĂ€nds för berĂ€kning till minneschips har utforskats i mĂ„nga Ă„r, men det har aldrig varit tillrĂ€ckligt effektivt för att motivera avvĂ€gningarna. CPU-arkitekturer för allmĂ€nna Ă€ndamĂ„l har helt enkelt för mĂ„nga skalfördelar.

“Vi Ă€r pĂ„ den hĂ€r resan för att skapa vad som nu har blivit en digital in-memory computing-motor som har effektiviteten av in-memory computing och har precisionen och förutsĂ€gbarheten som en digital dator”, sĂ€ger Sid Sheth, VD och koncernchef. grundare av D-Matrix. “Du gifter dig typ med dessa tvĂ„ och du har skapat den hĂ€r motorn som Ă€r ultraeffektiv.”

D-Matrix chip kommer att vara en systolisk array som kommer att optimeras för nĂ„gra av de matrisberĂ€kningar som AI-forskare kallar “transformatorer”. Dessa modeller distribuerar ett större antal kopplingar mellan element Ă€n modellerna frĂ„n den tidigare generationen som ibland kallades “konvolutionella neurala nĂ€tverk.”

Även andra chipföretag fokuserar pĂ„ transformatorer. Nvidia, till exempel, meddelade nyligen att dess nĂ€sta generations GPU, kallad Hopper H100, kommer att pĂ„skynda berĂ€kningar för transformatorer. Ett annat chip, Cerebras CS-2, fokuserar ocksĂ„ pĂ„ de mycket stora modellerna som kĂ€nnetecknar tillvĂ€gagĂ„ngssĂ€tt som transformatorer.

PÄ rÀtt marknad, vid rÀtt tidpunkt

“Vi började 2019 och precis vid den tiden började transformatorer verkligen ta fart och folk började inse potentialen och effekten som transformatorerna skulle ha”, förklarade Sheth. “Transformatorer gĂ„r bara in i alla tĂ€nkbara multimodala applikationer, videotal, textdokument, sökning, etc. Allt körs nu med transformatorer och du vet att saker kommer att finnas med oss ​​under de kommande fem till sju, kanske 10 Ă„ren. ”

D-Matrix tror att dess nya chips kommer att vara idealiska för att distribuera nÄgra av dessa transformatorer. Deras in-memory-lösning kan lagra modellens matris full av vikter nÀra datormotorn, sÄ den behöver inte laddas om och laddas om varje gÄng transformatorn appliceras. Samma tillvÀgagÄngssÀtt skulle ocksÄ kunna tillÀmpas pÄ mÄnga andra problem som krÀver stora matrisberÀkningar, frÄn simuleringar till prognoser.

D-Matrix-designen bygger pÄ ett rutnÀt av smÄ berÀkningsenheter byggda av bara nÄgra fÄ transistorer. Flera av dessa kombineras med en traditionell RISC-V CPU för att utgöra standardbyggstenen. En fÀrdig maskin kan ha ett antal av dessa grundenheter pÄ ett kort och datorkraften kommer att skalas med dem.

D-Matrix planerar att leverera dessa kort direkt till datacenter, vilket kan skapa instanser som erbjuder hybridarkitekturer för utvecklare som vill anvÀnda traditionella processorer för allmÀn berÀkning men D-Matrix-chippet för uppgifter som att utvÀrdera transformatormodeller.

“Datacenteroperatörerna kan koppla in detta till sina befintliga servrar sĂ„ att de inte behöver kasta ut sina CPU:er och servrar eller nĂ„got liknande”, förklarade Sheth. “SĂ€g, jag har redan de hĂ€r servrarna. Jag ska koppla in ditt kort och nĂ€r det kommer till det hĂ€r AI-berĂ€kningsmaterialet kommer jag att köra det pĂ„ D-Matrix-hĂ„rdvaran i motsats till att köra det pĂ„ CPU:n eller GPU:n, och gissa vad? jag [get] tio gĂ„nger effektivisering. Nu kan jag anvĂ€nda mitt befintliga datacenter utan att behöva oroa mig för att slĂ€nga ut saker.”

Vad vÀntar för chips och matrisberÀkningar?

Grön AI kommer sannolikt att vara ett stort fokus för företaget nÀr det gÄr framÄt eftersom det Àr en naturlig partner för de allmÀnna framstegen mot att bygga ett mycket snabbt chip. Mindre transistorer och snabbare chips kan anvÀnda mindre ström för att berÀkna samma funktioner. Eftersom AI-modeller anvÀnds mer vanligt kommer chips som D-Matrix att efterfrÄgas för att förhindra att strömförbrukningen exploderar.

“VĂ„r investering i D-Matrix kommer vid en tidpunkt dĂ„ data kring AI-arbetsbelastningskrav, driftskostnader och vĂ€rdeskapande Ă€r i mycket bĂ€ttre fokus Ă€n de har varit de senaste Ă„ren”, sĂ€ger Michael Stewart, partner pĂ„ M12, Microsofts riskfond. “Deras clean slate-strategi Ă€r perfekt anpassad för att möta de operativa behoven av att köra gigantiska transformatorer i den komponerade, skalbara datacenterarkitekturen i den nĂ€rmaste framtiden.”

Bolaget tror att det ocksÄ kommer att finnas mÄnga möjligheter för mer traditionella numeriska modeller som ocksÄ Àr starkt beroende av matrisberÀkningar. Prognos, simulering, testning och designarbete Àr beroende av större och mer detaljerade modeller för att uppnÄ den precision som krÀvs.

“Hyperscale och edge-datacentermarknaderna nĂ€rmar sig prestanda- och effektgrĂ€nser och det Ă€r uppenbart att ett genombrott i AI-berĂ€kningseffektivitet behövs för att matcha den exponentiellt vĂ€xande marknaden”, sĂ€ger Sasha Ostojic, en venture partner pĂ„ Playground Global. “D-Matrix Ă€r en ny, försvarbar teknik som kan övertrĂ€ffa traditionella processorer och GPU: er, lĂ„sa upp och maximera energieffektivitet och utnyttjande genom deras mjukvarustapel. Vi kunde inte vara mer glada över att samarbeta med det hĂ€r teamet av erfarna operatörer för att bygga denna vĂ€lbehövliga teknologi utan avvĂ€gningar.”

VentureBeats uppdrag ska vara ett digitalt stadstorg för tekniska beslutsfattare att fÄ kunskap om transformativ företagsteknologi och handla. LÀs mer om medlemskap.