Aporia tar sikte pÄ ML observerbarhet, ansvarsfull AI och mer

Aporia tar sikte pÄ ML observerbarhet, ansvarsfull AI och mer


Finns det en linje som förbinder maskininlÀrning observerbarhet med förklarabarhet, vilket leder till ansvarsfull AI? Aporia, en observerbarhetsplattform för maskininlÀrning, tycker det.

Efter att ha lanserat sin plattform 2021 och sett bra dragkraft tillkÀnnagav Aporia idag en finansieringsrunda pÄ 25 miljoner dollar i serie A.

Aporias VD och medgrundare Liran Hason trÀffade VentureBeat för att diskutera Aporias vision, dess inre funktioner och dess tillvÀxt.

Observerbarhet för data- och maskininlÀrningsmodeller

Hason, som grundade Aporia 2019, har en bakgrund inom mjukvaruteknik. Efter en femÄrig vistelse i den israeliska underrÀttelsestyrkans elitteknologiska enhet, gick han med i Adallom, en startup för molnsÀkerhet som senare förvÀrvades av Microsoft. DÀrefter tillbringade han tre Är med att investera i företag i tidiga skeden, mestadels inom AI och cybersÀkerhet, samtidigt som han arbetade pÄ Vertex Ventures.

Lyssna pÄ podden: FrÄn maskininlÀrning till observerbarhet till ansvarsfull AI.

Under hela sin karriÀr sÄg Hason den goda och den inte sÄ bra sidan av maskininlÀrning, och upplevde pÄ egen hand den lockande processen att fÄ maskininlÀrning till produktion. Det var detta som inspirerade honom att starta Aporia för att hjÀlpa företag att övervaka sina maskininlÀrningsmodeller.

IstÀllet för att handkoda skrÀddarsydda skript för att övervaka maskininlÀrningsmodeller, vilket snabbt blir en underhÄllsmardröm, gav sig Hason ut pÄ en resa för att förverkliga sin idealiska lösning 2019. 2021 avtÀcktes Aporias plattform, och den fÄngade nÀstan omedelbart.

Aporia har upplevt en tillvÀxt pÄ 600 % av kunder under de senaste sex mÄnaderna. Hundratals ledande företag som New Relic, Lemonade och Armis litar pÄ Aporias lösning för att fÄ synlighet och förklaring av maskininlÀrningsmodeller i produktionen, stÄtar Aporias pressmeddelande. Aporias plattform bestÄr av fyra delar:

Den första delen Àr synlighet: gör det möjligt för datavetare och maskininlÀrningsingenjörer att se vilka beslut som tas av deras modeller i produktionen. Den andra delen Àr förklaringsbarhet: gör det möjligt för Aporia-anvÀndare att förklara förutsÀgelserna som deras modeller gör. Den tredje delen Àr en övervakningsmotor som stÀndigt spÄrar och övervakar data och modellbeteende, och varnar anvÀndarna nÀr det finns prestandaförsÀmring, potentiell fördom eller diskriminering. Den fjÀrde delen Àr den sÄ kallade undersökningsverktygslÄdan, som gör det möjligt för anvÀndare att dela upp data och ta reda pÄ vad som Àr grundorsaken till problem sÄ att de kan ÄtgÀrda det.

En nyckelfunktion för Aporia Àr fokus pÄ att rikta konceptdrift. MaskininlÀrningsmodeller trÀnas och testas baserat pÄ historiska data, formulerade i utbildnings- och testdatauppsÀttningar. Om data, processen och modellen Àr av god kvalitet, kan resultatet bli en modell som presterar bra nÀr den anvÀnds i produktionen och matas med verklig data. Den verkliga vÀrlden Àr dock stÀndigt förÀnderlig.

Det kan vara förĂ€ndringar i datapipelinen, nĂ€r system och konfigurationer förĂ€ndras, eller det kan vara “verkligheten sjĂ€lv”, som Hason uttryckte det: marknadsföringskampanjer, kulturella förĂ€ndringar, sĂ€songsvariationer eller nĂ„got som COVID-19. Alla dessa förĂ€ndringar pĂ„verkar modellens beteende och prestanda. Genom att övervaka sina modeller kan Aporia-anvĂ€ndare gĂ„ in och justera dem om de skulle börja gĂ„ vilse.

Det finns olika problem som kan leda till försÀmring av modellens prestanda. De kan strÀcka sig frÄn det triviala, som en oöverensstÀmmelse i datatyper, till det djupa, som modeller som misslyckas nÀr de presenteras med datavolym och variation utöver vad som anvÀndes för att trÀna dem.

Aporia levereras med vissa fördefinierade mÀtvÀrden ur lÄdan, sÄsom noggrannhet eller precision. AnvÀndare kan dock bÄde mixtra med definitionerna av dessa mÀtvÀrden och definiera egna anpassade mÀtvÀrden.

Aporias plattform övervakar inte bara modellförutsÀgelser, utan Àven data som anvÀndes för att trÀna modellerna och data som matas till modellerna i produktion. Vad detta innebÀr i praktiken Àr att plattformen slutar med att fÄ i sig stora mÀngder data, och fungerar Àven som en de facto datastyrningsplattform.

Plattformen fĂ„r in all data frĂ„n produktionen – allt som en maskininlĂ€rningsmodell matas med. Sedan analyserar den all denna data med hjĂ€lp av statistik, mĂ€tvĂ€rden och aggregering. Det genererar olika distributioner för utbildning och produktion, olika tidssegment och olika befolkningssegment.

Förutom att ha sin egen dataintag och lagring pÄ plats, Àr Aporias plattform konstruerad för att fungera i sjÀlvhostade miljöer, i kunders egna molnmiljöer. Detta innebÀr att kÀnslig information förblir pÄ plats.

Observerbarhet, förklarabarhet och ansvarsfull AI

NÀr det gÀller modellens observerbarhet ligger fokus pÄ data. Det betyder att Aporia kan vara modellagnostiker. Oavsett om anvÀndare anvÀnder neurala nÀtverk eller beslutstrÀd, spelar det ingen roll för systemet sjÀlvt att göra korrekt övervakning. Förklarbarhet Àr dock en annan historia.

För att kunna ge förklaringar till varför en specifik förutsĂ€gelse gjordes behöver modeller undersökas pĂ„ ett white box-sĂ€tt. Den hĂ€r delen var den som vĂ€ckte flest frĂ„gor till oss. Det finns ett brett utbud av maskininlĂ€rningsmodeller, av vilka nĂ„gra Ă€r helt förklarliga (som beslutstrĂ€d), och nĂ„gra av dem Ă€r svarta lĂ„dor (som neurala nĂ€tverk). Hur kan Aporia möjligen tillhandahĂ„lla förklaringsmöjligheter för dem alla? Det korta svaret Ă€r – det kan det inte.

Som Hason erkĂ€nde Ă€r förklaringsbarhet och observerbarhet/övervakning olika möjligheter. Även om, fortsatte han med att tillĂ€gga, finns det en lĂ€nk som förbinder dem. LĂ€nken, sa Hason, Ă€r ansvarig AI: att hjĂ€lpa organisationer och samhĂ€llet i stort att implementera AI pĂ„ ett ansvarsfullt sĂ€tt:

“NĂ€r man övervakar maskininlĂ€rningsmodeller i produktionen, dĂ„ och dĂ„, kan folk se resultat som de inte förvĂ€ntar sig. Det kan vara oavsiktlig fördom eller bara konstiga förutsĂ€gelser. Och sedan nĂ€sta frĂ„ga som kommer att tĂ€nka pĂ„ Ă€r – okej, men varför slutade modellen med denna förutsĂ€gelse? Du vill felsöka modellen och eftersom det Ă€r en svart lĂ„da Ă€r det verkligen besvĂ€rligt och verkligen utmanande”, sa Hason.

NĂ€r man hanterar lĂ„neansökningar i USA, till exempel, föreskriver reglering att sökande mĂ„ste fĂ„ förklaringar till varför deras lĂ„n avvisades och vad de kan göra för att förbĂ€ttra sin poĂ€ng. Detta Ă€r effektivt oavsett hur lĂ„neansökningar behandlas – det kan vara en manuell process, ett regelbaserat system eller ett neuralt nĂ€tverksbaserat system. I praktiken skulle dock ett neuralt nĂ€tverksbaserat system inte vara ett utmĂ€rkt val nĂ€r det gĂ€ller förklarbarhet.

Neurala nÀtverk, sa Hason, Àr alldeles för komplexa för att mÀnniskor verkligen ska kunna förstÄ och förstÄ hur ett beslut fattas. Men, fortsatte han med att tillÀgga, det finns olika aspekter av förklaringsbarhet. Att förklara hur ett neuralt nÀtverk fungerar i allmÀnhet Àr en öppen forskningsfrÄga. Men att förklara hur det fungerar för ett specifikt problem Àr genomförbart, och det Àr vad Aporia gör, hÀvdade Hason.

Aporia-anvÀndare kan anvÀnda plattformens möjligheter via en portal. Verktygen som den föresprÄkar, som MLNotify, kan dock anvÀndas genom att lÀgga till importsatser i Python-kod. MLNotify Àr ett verktyg som meddelar anvÀndare nÀr deras modeller har slutfört sin utbildning.

Hason sa att MLNotify exemplifierar Aporias filosofi, och att det – tillsammans med MLops.toys (en samling av MLops open source-resurser) och Train Invaders (en klon för rymdinkrĂ€ktare) – har hjĂ€lpt Aporias organiska tillvĂ€xt. Men kanske Ă€nnu viktigare Ă€r Aporias plattform inriktad pĂ„ sjĂ€lvbetjĂ€ning.

Aporia erbjuder en gratis att anvÀnda community-utgÄva, som erbjuder plattformens alla funktioner förutom vissa integrationer. Aporia debiterar anvÀndare baserat pÄ antalet modeller de vill övervaka, och erbjuder ett obegrÀnsat antal anvÀndare och en obegrÀnsad mÀngd data, sa Hason.

Företaget kommer att anvÀnda finansieringen för att utöka sitt team, med ett nuvarande antal anstÀllda pÄ 21 personer, alla baserade i Israel. MÄlet Àr att tredubbla teamet, och expandera i USA Produktexpansion Àr ocksÄ i Aporias planer, som syftar till att bli en full-stack observerbarhetsplattform för maskininlÀrning, enligt Hason. Datorvision Àr nÀst pÄ tur, och Hason var optimistisk att Aporias dragkraft och finansiering skulle kunna göra det till marknadsledare i slutet av 2023. TillkÀnnagivandet kommer bara 10 mÄnader efter Aporias seed-runda pÄ 5 miljoner dollar, vilket ger Aporias totala insamlade belopp till 30 miljoner dollar. Finansieringen leddes av riskkapitaljÀtten Tiger Global, med deltagande frÄn Samsung Next samt befintliga investerare TLV Partners och Vertex Ventures.

VentureBeats uppdrag ska vara ett digitalt stadstorg för tekniska beslutsfattare att fÄ kunskap om transformativ företagsteknologi och handla. LÀs mer om medlemskap.