Hur neurala nÀtverk simulerar symboliskt resonemang

Hur neurala nÀtverk simulerar symboliskt resonemang


Forskare vid University of Texas har upptÀckt ett nytt sÀtt för neurala nÀtverk att simulera symboliska resonemang. Denna upptÀckt startar en spÀnnande vÀg mot att förena djup inlÀrning och symboliskt resonerande AI.

I det nya tillvĂ€gagĂ„ngssĂ€ttet har varje neuron en specialiserad funktion som relaterar till specifika begrepp. “Den öppnar den svarta lĂ„dan med standardmodeller för djupinlĂ€rning samtidigt som den kan hantera mer komplexa problem Ă€n vad symbolisk AI vanligtvis har hanterat”, berĂ€ttade Paul Blazek, forskare vid University of Texas Southwestern Medical Center och en av författarna till Nature-tidningen. VentureBeat.

Detta arbete kompletterar tidigare forskning om neurosymboliska metoder som MIT:s Clevrer, som har visat nÄgot lovande nÀr det gÀller att förutsÀga och förklara kontrafaktiska möjligheter mer effektivt Àn neurala nÀtverk. Dessutom har DeepMind-forskare tidigare utvecklat en annan neurala nÀtverksmetod som övertrÀffade toppmoderna neurosymboliska tillvÀgagÄngssÀtt.

Essens neurala nÀtverk efterliknar mÀnskligt resonemang

Teamet vid University of Texas myntade termen “essence neural network” (ENN) för att karakterisera dess tillvĂ€gagĂ„ngssĂ€tt, och det representerar ett sĂ€tt att bygga neurala nĂ€tverk snarare Ă€n en specifik arkitektur. Till exempel har teamet implementerat detta tillvĂ€gagĂ„ngssĂ€tt med populĂ€ra arkitekturer som faltningsneurala nĂ€t och Ă„terkommande neurala nĂ€t (RNN) arkitekturer.

Den stora skillnaden Ă€r att de gjorde av med backpropagation, som Ă€r en hörnsten i mĂ„nga AI-processer. “Backpropagation öppnade vĂ€lkĂ€nt djupa neurala nĂ€tverk för effektiv trĂ€ning med metoder för optimering av gradientnedstigning, men det Ă€r i allmĂ€nhet inte hur det mĂ€nskliga sinnet fungerar,” sa Blazek. ENN anvĂ€nder inte backpropagation eller gradient descent. Snarare hĂ€rmar ENN:er den mĂ€nskliga resonemangsprocessen, lĂ€r sig begreppsstrukturen frĂ„n data och konstruerar sedan det neurala nĂ€tverket dĂ€refter.

Blazek sa att den nya tekniken kan ha praktiska kommersiella tillĂ€mpningar under de nĂ€rmaste Ă„ren. Teamet har till exempel demonstrerat nĂ„gra ENN-applikationer för att automatiskt upptĂ€cka algoritmer och generera ny datorkod. “Standard djupinlĂ€rning tog flera decennier av utveckling för att komma dit det Ă€r nu, men ENN:er kommer att kunna ta genvĂ€gar genom att lĂ€ra sig av det som har fungerat med djupinlĂ€rning hittills,” sa han.

Lovande tillÀmpningar av den nya tekniken inkluderar följande:

    Kognitionsvetenskap: Forskarna utformade ENNs som ett bevis pÄ principen för sin nya neurokognitiva teori. Den integrerar idéer frÄn sinnets filosofi, psykologi, neurovetenskap och artificiell intelligens för att utforska hur det mÀnskliga sinnet bearbetar information. Det teoretiska ramverket kan visa sig vara anvÀndbart för att utforska olika teorier och modeller frÄn alla dessa omrÄden.
    Algoritm upptÀckt: Forskarna fann att ENN kan upptÀcka nya algoritmer, pÄ samma sÀtt som mÀnniskor kan.
    Applikationer med hög insats: Forskningen etablerar grundlÀggande byggstenar för förklarliga djupinlÀrningssystem som kan förstÄs bÀttre före implementering och post hoc-analys.
    Robust AI: Det har funnits stor oro för motstÄndskraftiga attacker mot black-box AI-system. ENN:er Àr naturligtvis mer robusta mot kontradiktoriska attacker, sÀrskilt för symboliska resonemang.
    Maskinundervisning med begrÀnsad data: En ENN kan trÀna pÄ begrÀnsad, idealistisk data och sedan generalisera till mycket mer komplexa exempel som den aldrig har sett.

Arbetar baklÀnges frÄn biologin för att förstÄ hjÀrnan

I motsats till den mesta AI-forskningen nĂ€rmade sig forskarna problemet ur ett biologiskt perspektiv. “Det ursprungliga syftet med vĂ„rt arbete var att förstĂ„ hur hjĂ€rnans neuronala struktur bearbetar information,” sa Blazek.

Teamet föreslog slutligen ett generaliserat ramverk för att förstĂ„ hur hjĂ€rnan bearbetar information och kodar kognitiva processer. KĂ€rnidĂ©n Ă€r att varje neuron gör en specialiserad skillnad, antingen betecknar ett specifikt koncept eller skiljer mellan tvĂ„ motsatta begrepp. Med andra ord, en typ av neuron gör skillnaden “som A” mot “inte som A”, och den andra typen av neuron gör skillnaden “mer som A” kontra “mer som B.”.

Dessa neuroner Àr ordnade i en lÀmplig hierarki för att integrera dessa distinktioner och komma fram till mer sofistikerade slutsatser. Det finns mÄnga sÀtt att utforma den specialiserade distinktionen som görs av varje neuron och att ordna neuronerna för att fatta komplexa beslut.

Denna teori om att förstĂ„ neural informationsbehandling stĂ€mmer överens med olika teorier och observationer frĂ„n sinnesfilosofi, psykologi och neurovetenskap. “Det överraskande med detta ramverk Ă€r att neuronerna resonerar om idĂ©er pĂ„ exakt samma sĂ€tt som filosofer alltid har beskrivit vĂ„r resonemangsprocess,” sa Blazek.

VentureBeats uppdrag ska vara ett digitalt stadstorg för tekniska beslutsfattare att fÄ kunskap om transformativ företagsteknik och handla. LÀs mer om medlemskap.