San Francisco-baserade New Relic, ett företag som erbjuder en molnbaserad observerbarhetsplattform för att hjälpa företag att visualisera, analysera och optimera hela sin mjukvarustapel, har annonserat en lösning för att övervaka prestanda och noggrannhet hos maskininlärningsmodeller i realtid.
I dagens datadrivna landskap lutar organisationer starkt åt AI och maskininlärning för att förbättra företagets motståndskraft och få en konkurrensfördel. En nyligen genomförd undersökning gjord av IBM avslöjade att nästan en tredjedel av företagen nu använder artificiell intelligens, och så många som 43 % har påskyndat utbyggnaden av AI som ett resultat av COVID-19.
Men eftersom adoptionen fortsätter att öka ökar klyftan mellan datavetenskapsteam som utvecklar ML-modeller och DevOps-team som använder dessa modeller också. Anledningen? De flesta ingenjörer bygger och tränar modeller i silade miljöer, vilket resulterar i minskat samarbete för att övervaka och styra modellerna i produktionen. Sådana situationer innebär att team inte kan lägga märke till modeller som kan bli irrelevanta med tiden, särskilt modeller baserade på statisk data, och följaktligen förlora på miljoner.
New Relic integrerar modellprestandaövervakning
För att förhindra detta utökar New Relic funktionerna för sin flaggskeppsplattform för observerbarhet – New Relic One. Företaget sa på onsdagen att lösningen nu kan förbättras med modellprestandaövervakningsintegrationer, vilket ger datavetenskap och DevOps-team en enda plats att övervaka och visualisera modellprestandatelemetridata, inklusive kritiska signaler som återkallelse, precision och noggrannhet.
Plattformen, som New Relics General Manager för AIOps Guy Fighel förklarade i ett blogginlägg, får stöd för att integrera populära MLOps-ramverk som AWS SageMaker, DataRobot (Algorithmia), Aporia, Superwise, Comet, Dagshub, Mona och TruEra. Var och en av dessa skulle dyka upp i New Relic Instant Observability (I/O) – ett ekosystem med öppen källkod av snabbstarter, integrationer och resurser i New Relic One – och skulle kunna integreras på några minuter, komplett med anpassade prestandainstrumentpaneler och andra byggstenar för observerbarhet .
Detta kommer i slutändan att göra det möjligt för företag att övervaka sina ML-modeller och ömsesidiga beroenden med resten av applikationskomponenterna och göra nödvändiga ändringar för att säkerställa att algoritmerna förblir relevanta i det långa loppet – för maximal affärseffekt.
New Relic noterar också att datavetenskap och DevOps-team kan använda erbjudandet för att möjliggöra prediktiva varningar för ovanliga modellrelaterade förändringar i förväg. På så sätt kan de, när problemet upptäcks, samarbeta i produktionsmiljön för att kontextualisera situationen och fatta beslut för att lösa problemet.
“Vi är fast beslutna att göra observerbarhet till en daglig bästa praxis för alla ingenjörer, och med lanseringen av New Relic Model Performance Monitoring levererar vi den enda enhetliga dataobservationsplattformen som ger Data Science- och DevOps-team oöverträffad insyn i prestandan för deras maskin- lärande-baserade applikationer”, sa Fighel.
Växande utrymme
Utvecklingen kommer som det senaste steget från New Relic för att stärka sitt fotavtryck i företagets observerbarhetsutrymme och ta sig an spelare som Dynatrace och DataDog. Redan i februari hade företaget lagt till ett visualiseringsverktyg kallat Explorer för att göra det enklare för IT-proffs att upptäcka grundorsaken till problem.
Globalt uppskattas marknaden för IT-övervakning och observerbarhet vara en marknadsmöjlighet på 17 miljarder USD.
VentureBeats uppdrag ska vara ett digitalt stadstorg för tekniska beslutsfattare att få kunskap om transformativ företagsteknik och handla. Läs mer om medlemskap.
