Reservoar databehandling - Reservoir computing

Reservoir computing er et rammeverk for beregning avledet fra tilbakevendende nevrale nettverksteori som kartlegger inngangssignaler til høyere dimensjonale beregningsrom gjennom dynamikken i et fast, ikke-lineært system kalt reservoar. Etter at inngangssignalet mates inn i reservoaret, som blir behandlet som en "svart boks", trenes en enkel avlesningsmekanisme for å lese reservoarets tilstand og kartlegge den til ønsket utgang. Den første viktige fordelen med dette rammeverket er at trening bare utføres på avlesningsstadiet, ettersom reservoardynamikken er fikset. Den andre er at beregningskraften til naturlig tilgjengelige systemer, både klassiske og kvantemekaniske, kan brukes til å redusere den effektive beregningskostnaden.

Historie

Konseptet med reservoarberegning stammer fra bruk av rekursive forbindelser i nevrale nettverk for å skape et komplekst dynamisk system. Det er en generalisering av tidligere nevrale nettverksarkitekturer som tilbakevendende nevrale nettverk, maskiner i flytende tilstand og ekkostatnettverk . Reservoarberegning strekker seg også til fysiske systemer som ikke er nettverk i klassisk forstand, men snarere kontinuerlige systemer i rom og/eller tid: for eksempel kan en bokstavelig "bøtte med vann" tjene som et reservoar som utfører beregninger på innganger gitt som forstyrrelser av flate. Den resulterende kompleksiteten til slike tilbakevendende nevrale nettverk ble funnet å være nyttig for å løse en rekke problemer, inkludert språkbehandling og dynamisk systemmodellering. Imidlertid er trening av tilbakevendende nevrale nettverk utfordrende og beregningsmessig dyrt. Reservoarberegning reduserer de treningsrelaterte utfordringene ved å fikse reservoarets dynamikk og bare trene det lineære utgangslaget.

Et stort utvalg av ikke -lineære dynamiske systemer kan tjene som et reservoar som utfører beregninger. I de siste årene har halvlederlasere tiltrukket seg stor interesse ettersom beregning kan være rask og energieffektiv sammenlignet med elektriske komponenter.

Nylige fremskritt innen både AI og kvanteinformasjonsteori har gitt opphav til begrepet kvante neurale nettverk . Disse holder løfte om kvanteinformasjonsbehandling, som er utfordrende for klassiske nettverk, men kan også finne anvendelse i å løse klassiske problemer. I 2018 ble en fysisk realisering av en kvantereservoarberegningsarkitektur demonstrert i form av atomspinn i et molekylært fast stoff. Imidlertid demonstrerte atomspinnforsøkene ikke kvantereservoarberegning i seg selv, da de ikke innebar behandling av sekvensielle data. Dataene var heller vektorinnganger, noe som gjør dette mer nøyaktig til en demonstrasjon av kvanteimplementering av en tilfeldig kjøkkenvaskealgoritme (også under navnet ekstreme læremaskiner i noen lokalsamfunn). I 2019 ble en annen mulig implementering av kvantreservoarprosessorer foreslått i form av todimensjonale fermioniske gitter. I 2020 ble realisering av reservoarberegning på portbaserte kvantemaskiner foreslått og demonstrert på skybaserte IBM superledende nærtidskvantemaskiner.

Reservoardatamaskiner har blitt brukt til tidsserieanalyseformål . Spesielt innebærer noen av deres bruksområder kaotiske tidsserieforutsigelser , separasjon av kaotiske signaler og kobling av slutning av nettverk fra deres dynamikk.

Klassisk reservoarberegning

Reservoar

'Reservoaret' i reservoarberegning er datamaskinens interne struktur og må ha to egenskaper: det må bestå av individuelle, ikke-lineære enheter, og det må kunne lagre informasjon. Ikke-lineariteten beskriver responsen til hver enhet på input, noe som gjør at reservoardatamaskiner kan løse komplekse problemer. Reservoarer kan lagre informasjon ved å koble enhetene i tilbakevendende sløyfer, der forrige inngang påvirker neste respons. Endringen i reaksjon på grunn av fortiden gjør at datamaskinene kan trenes til å fullføre spesifikke oppgaver.

Reservoarer kan være virtuelle eller fysiske. Virtuelle reservoarer genereres vanligvis tilfeldig og er utformet som nevrale nettverk. Virtuelle reservoarer kan utformes for å ha ikke-linearitet og tilbakevendende sløyfer, men i motsetning til nevrale nettverk er forbindelsene mellom enhetene randomiserte og forblir uendret gjennom beregningen. Fysiske reservoarer er mulige på grunn av den iboende ikke-lineariteten til visse naturlige systemer. Samspillet mellom krusninger på vannoverflaten inneholder den ikke -lineære dynamikken som kreves ved reservoaropprettelse, og en mønstergjenkjenning RC ble utviklet ved først å legge inn krusninger med elektriske motorer og deretter registrere og analysere krusningene i avlesningen.

Avlesning

Avlesningen er et nevralt nettverkslag som utfører en lineær transformasjon på reservoarets utgang. Vektene til avlesingslaget trenes ved å analysere de spatiotemporale mønstrene i reservoaret etter eksitasjon av kjente innganger, og ved å benytte en treningsmetode som en lineær regresjon eller en Ridge -regresjon . Siden implementeringen avhenger av spatiotemporale reservoarmønstre, er detaljene for avlesningsmetoder skreddersydd for hver type reservoar. For eksempel kan avlesningen for en reservoardatamaskin som bruker en beholder med væske som reservoar, innebære å observere romtidsmønstre på overflaten av væsken.

Typer

Kontekst -etterklangsnettverk

Et tidlig eksempel på reservoarberegning var kontekst -etterklangsnettverket. I denne arkitekturen mates et inngangslag inn i et dynamisk høydimensjonalt system som leses opp av et trenbart enkeltlags perceptron . To typer dynamisk system ble beskrevet: et tilbakevendende nevralnettverk med faste tilfeldige vekter, og et kontinuerlig reaksjonsdiffusjonssystem inspirert av Alan Turings modell for morfogenese . På det trenbare laget forbinder perceptronen gjeldende innganger med signalene som gjentar i det dynamiske systemet; sistnevnte ble sagt å gi en dynamisk "kontekst" for inngangene. På språket til senere arbeid tjente reaksjonsdiffusjonssystemet som reservoaret.

Echo state network

Hovedartikkel: Echo state network

Tree Echo State Network (TreeESN) modellen representerer en generalisering av reservoarets databehandlingsramme til trestrukturerte data.

Maskin i flytende tilstand

Hovedartikkel: Liquid-state-maskin

Ikke -lineær forbigående beregning

Denne typen informasjonsbehandling er mest relevant når tidsavhengige inngangssignaler avviker fra mekanismens interne dynamikk. Disse avgangene forårsaker transienter eller midlertidige forandringer som er representert i enhetens utgang.

Dyp reservoarberegning

Utvidelsen av reservoarets databehandlingsramme mot Deep Learning, med introduksjonen av Deep Reservoir Computing og Deep Echo State Network (DeepESN) -modellen, gjør det mulig å utvikle effektivt opplærte modeller for hierarkisk behandling av tidsdata, samtidig som det muliggjør undersøkelser på den iboende rollen som lagdelt sammensetning i tilbakevendende nevrale nettverk .

Quantum reservoir computing

Kvantreservoarberegning kan utnytte den ikke -lineære naturen til kvantemekaniske interaksjoner eller prosesser for å danne de karakteristiske ikke -lineære reservoarene, men kan også gjøres med lineære reservoarer når injeksjonen av inngangen til reservoaret skaper ulineariteten. Ekteskapet mellom maskinlæring og kvanteenheter fører til fremveksten av kvante -neuromorf databehandling som et nytt forskningsområde.

Typer

Gaussiske tilstander for samspill med kvanteharmoniske oscillatorer

Gaussiske stater er en paradigmatisk klasse av tilstander av kontinuerlige variable kvantesystemer . Selv om de i dag kan opprettes og manipuleres på f.eks. Toppmoderne optiske plattformer, naturlig robuste mot avkoherens , er det velkjent at de ikke er tilstrekkelige for f.eks. Universell kvanteberegning fordi transformasjoner som bevarer gaussiansk tilstanden til en stat er lineær. Normalt ville lineær dynamikk heller ikke være tilstrekkelig for ikke -privat reservoarberegning. Det er likevel mulig å utnytte en slik dynamikk for reservoarberegningsformål ved å vurdere et nettverk av interaktive kvanteharmoniske oscillatorer og injisere inngangen ved periodiske tilbakestillinger av en delmengde av oscillatorene. Med et passende valg av hvordan tilstandene til denne undergruppen av oscillatorer avhenger av inngangen, kan observasjonene til resten av oscillatorene bli ikke -lineære funksjoner for inngangen som er egnet for reservoarberegning; takket være egenskapene til disse funksjonene, blir selv universell reservoarberegning mulig ved å kombinere observasjonene med en polynomavlesningsfunksjon. I prinsippet kan slike reservoardatamaskiner implementeres med kontrollerte multimode optiske parametriske prosesser , men effektiv ekstraksjon av utdata fra systemet er utfordrende, spesielt i kvanteregimet der måling av tilbakemelding må tas i betraktning.

2-D quantum dot gitter

I denne arkitekturen gir randomisert kobling mellom gittersteder reservoaret eiendommen "black box" som er iboende for reservoarprosessorer. Reservoaret blir deretter eksitert, som fungerer som input, av et hendende optisk felt . Avlesning skjer i form av yrkesnummer på gittersteder, som naturlig er ikke -lineære funksjoner for inngangen.

Nukleær spinner i et molekylært fast stoff

I denne arkitekturen gir kvantemekanisk kobling mellom spinn av nærliggende atomer i det molekylære faststoffet den ikke-linearitet som kreves for å skape det høyere dimensjonale beregningsrommet. Reservoaret blir deretter begeistret av radiofrekvent elektromagnetisk stråling innstilt på resonansfrekvensene til relevante atomspinn . Avlesning skjer ved å måle atomspinntilstandene.

Reservoarberegning på portbaserte nærledende superledende kvantemaskiner

Den mest utbredte modellen for kvanteberegning er den portbaserte modellen der kvanteberegning utføres av sekvensielle applikasjoner av enhetlige kvanteporter på qubits i en kvantemaskin. En teori for implementering av reservoarberegning på en portbasert kvantecomputer med bevis-på-prinsipp-demonstrasjoner på en rekke IBM-superledende støyende mellomstore kvantemaskiner (NISQ) har blitt rapportert i.

Se også

Referanser

Videre lesning