LinkedIn skapar PASS för att skrÀddarsy grafiska neurala nÀtverk för sociala medier

LinkedIn skapar PASS för att skrÀddarsy grafiska neurala nÀtverk för sociala medier


Grafer Ă€r helt enkelt en universell metod för att representera relationer mellan enheter – börja med omedelbara anslutningar, sedan “hoppa” till anslutningar av anslutningar av anslutningar. Ju lĂ€ngre ut de kommer, desto bredare blir trĂ€det.

För att förstÄ detta anvÀnds ofta grafiska neurala nÀtverk (GNN). Dessa djupinlÀrningsmodeller Àr specialiserade för att förstÄ grafer.

ÄndĂ„, nĂ€r det kommer till dagens sociala nĂ€tverk, Ă€r GNN:er mindre Ă€n optimala. NĂ€r de anvĂ€nds för att faststĂ€lla kopplingar mellan vĂ€nner, bekanta och professionella kollegor, kan de ofta inte berĂ€kna nyanserna och komplexa grader av relationer. Detta gör det svĂ„rt för plattformar som LinkedIn, Twitter, Facebook och Instagram att ge korrekta rekommendationer – en uppgift som Ă€r kĂ€rnan i deras uppdrag.

LinkedIn tar ett PASS pÄ GNN

För att övervinna sÄdana inneboende utmaningar med GNN och förbÀttra dess rekommendationsförmÄga har LinkedIn skapat en process som den kallar Performance-Adaptive Sampling Strategy (PASS). Detta anvÀnder AI för att vÀlja de grannar i grafer som Àr mest relevanta, vilket förbÀttrar den prediktiva noggrannheten.

Efter att ha tillÀmpat den nya GNN-modellen pÄ sina egna rekommendationsmotorer har den professionella nÀtverksplattformen just slÀppt PASS till öppen kÀllkodsgemenskapen.

“Vi vill jĂ€mföra vĂ„ra metoder för andra forskares datamĂ€ngder”, sĂ€ger Jaewon Yang, en senior personal mjukvaruingenjör pĂ„ LinkedIn som stod i spetsen för PASS. “Vi hoppas att de kan bygga vidare pĂ„ vĂ„ra nĂ€tverk.”

PĂ„ en hög nivĂ„ anvĂ€nder LinkedIn GNN:er för att förstĂ„ relationer mellan enskilda medlemmar, grupper, fĂ€rdigheter och intressen – pĂ„ primĂ€r, sekundĂ€r, tertiĂ€r nivĂ„ och vidare – för att hjĂ€lpa till med rekommendationer.

PASS:s unika AI-modell för val av grannar tar in pÄ detta, enligt dess skapare, genom att bestÀmma om man ska vÀlja en given granne genom att titta pÄ deras attribut. Det kan ocksÄ hjÀlpa till att upptÀcka om en av dessa grannar faktiskt Àr en bot eller ett falskt konto genom att bestÀmma Àktheten av dess anslutningar. Denna adaptiva modell lÀr sig hur man vÀljer grannar som ökar dess noggrannhet.

“Ibland missar folk nĂ„gra andra titlar som kan vara mycket relevanta för en platsannons eller annan rekommendation,” sa Yang. “Vi vill exakt förstĂ„ vem den hĂ€r anvĂ€ndaren följer, vi vill förstĂ„ vilka andra anvĂ€ndare som följer anvĂ€ndarna.”

Traditionella GNN:er kan vara svÄra att skala till sociala nÀtverk eftersom de presenterar sÄ mÄnga potentiella relationer, som inte alla Àr relevanta för givna uppgifter, sa Yang. Till exempel kan en medlems kontakter vara personliga vÀnner som arbetar inom olika omrÄden, vilket minskar rekommendationsnoggrannheten.

Samtidigt kan en influencer eller en framstĂ„ende offentlig person ha kopplingar i hundratals miljoner – och struntar i den sociologiska teorin om “Dunbars nummer” att en person bara kan ha ett visst antal vĂ€nner, pĂ„pekade Yang – och det Ă€r omöjligt att berĂ€kna dem Allt.

“Dessa presenterar ett explosivt antal datapunkter som mĂ„ste beaktas,” sa han. “Vi kan inte övervĂ€ga alla, vi mĂ„ste prova nĂ„gra.”

Vissa befintliga metoder har försökt övervinna skalningsutmaningar genom att ta prov pĂ„ ett fast antal “grannar”, och dĂ€rigenom minska indata till GNN. Men sĂ„dana provtagare Ă€r inte helt representativa, sa Yang, och övervĂ€ger inte vilka grannar som kan visa sig vara mest relevanta.

IBM och Yale-plattformarna ökar GNN:er

Andra organisationer rullar ut liknande plattformar som försöker öka befintliga GNN. Till exempel föreslog Yale University och IBM nyligen ett koncept som de kallar Kernel Graph Neural Networks (KerGNNs), som integrerar grafkÀrnor i GNN-meddelandeöverföring. Detta Àr den process genom vilken vektormeddelanden utbyts mellan noder i en graf och dÀrefter uppdateras. Att anvÀnda denna KerGNN-metod har resulterat i förbÀttrad modelltolkbarhet jÀmfört med konventionella GNN, enligt Yale-forskare.

PÄ liknande sÀtt har Google slÀppt TensorFlow Graph Neural Networks, ett bibliotek designat för att göra det enklare att arbeta med grafstrukturerad data i sitt ramverk för TensorFlow-maskininlÀrning (ML). Twitter, Pinterest, Airbnb och andra utför ocksÄ forskning och slÀpper verktyg för att hantera GNN-begrÀnsningar.

PASS har visat sig uppnĂ„ högre prediktionsnoggrannhet Ă€ven om det anvĂ€nder fĂ€rre antal grannar Ă€n andra GNN-modeller. I experiment pĂ„ sju offentliga referensdiagram och tvĂ„ LinkedIn-grafer övertrĂ€ffade PASS GNN-metoderna med upp till 10,4 %. Den visade ocksĂ„ upp till 3 gĂ„nger större noggrannhet jĂ€mfört med baslinjemetoder genom att lĂ€gga till sĂ„ kallade “brusiga kanter.”

I open sourcing PASS Àr förhoppningen att andra forskare kommer att upptÀcka nya sÀtt att tillÀmpa plattformen, sade Yang, och dÀrmed göra den mer uttrycksfull, flexibel, lÀttare att modellera och ta itu med dess begrÀnsningar för att kontinuerligt bredda dess anvÀndning för en mÀngd olika applikationer .

“Den hĂ€r tekniken utvecklas vĂ€ldigt snabbt”, sĂ€ger Romer Rosales, senior director för AI pĂ„ LinkedIn. “Vi skrapar bara pĂ„ ytan nĂ€r det gĂ€ller alla anvĂ€ndningsomrĂ„den som detta kan ha. Det finns mycket utrymme för oss att vĂ€xa och för det allmĂ€nna samhĂ€llet att vĂ€xa i detta utrymme.”

LinkedIn-forskare kommer att fortsĂ€tta att förfina PASS för att hantera större och större datamĂ€ngder utan att förlora uttryckskraft, sa han. MĂ„let Ă€r att sĂ„ smĂ„ningom automatisera vissa processer som fortfarande krĂ€ver mĂ€nsklig försörjning – som att specificera parametrar kring hur man provar humle och om systemet ska identifiera tvĂ„ hopp, tre hopp eller lĂ€ngre fram i kedjan.

“Detta Ă€r grogrund för att prova dessa nya idĂ©er,” sa Rosales. “Vi hoppas att andra samhĂ€llen ocksĂ„ kommer att ansluta sig till oss, och vi kommer att gĂ„ med andra gemenskaper för att försöka dela dessa erfarenheter.”

PASS Ă€r en av flera som LinkedIn har öppnat upp i Ă„r, pĂ„pekade han. Ett annat Ă€r FastTreeSHAP, ett paket för programmeringssprĂ„ket Python. Detta hjĂ€lper till att tolka algoritmresultat mer effektivt för att förbĂ€ttra transparensen i AI, inklusive förklarlig AI för att bygga förtroende och öka beslutsfattandet – sĂ„som affĂ€rsförutsĂ€gande, rekryterarsöknings- och jobbsökningsmodeller. Det hjĂ€lper ocksĂ„ modellbyggare att utföra felsökning och göra övergripande förbĂ€ttringar.

Ett annat projekt Àr Feathr, en funktionsbutik som gör ML-funktionshantering enklare i skala och förbÀttrar utvecklarnas produktivitet. Dussintals applikationer anvÀnder funktionslagret för att definiera funktioner, berÀkna dem för utbildning, distribuera dem i produktionen och dela dem mellan team. Feathr-anvÀndare har rapporterat avsevÀrt minskad tid som krÀvs för att lÀgga till nya funktioner till modellutbildningsarbetsflöden och förbÀttrad körtidsprestanda jÀmfört med tidigare appspecifika funktionspipelineverktyg.

“PASS Ă€r ett exempel i en lĂ„ng rad AI-projekt som vi har öppnat för samhĂ€llet,” sa Rosales, “i ett försök att dela vĂ„r erfarenhet och hjĂ€lpa till att bygga mer skalbara, uttrycksfulla och ansvarsfulla AI-algoritmer och verktyg.”

VentureBeats uppdrag ska vara ett digitalt stadstorg för tekniska beslutsfattare att fÄ kunskap om transformativ företagsteknologi och handla. LÀs mer om medlemskap.