Termodinamički računar koristi termalni šum za generisanje i rekonstrukciju slika iz nasumičnih podataka. Rad objavljen 20. januara u Physical Review Letters pokazuje kako se principi diffusion modela mogu preneti na probabilistički hardver pomoću podešavanja jačina veza u mreži kola. Tehnologija daje potencijalne uštede energije reda veličine u odnosu na današnje AI sisteme, ali zahteva dalje istraživanje i eksperimentalnu verifikaciju.
„Termodinamički računar“ koji generiše slike iz šuma — uz redove veličine manju potrošnju energije
Neural networks can generate images, but at an energetic cost versus probabalistic computing-based systems. | Credit: Eugene Mymrin via Getty Images
Naučnici su predstavili koncept termodinamičkog računara koji koristi termalni šum—umesto da ga potiskuje—za generisanje slika iz nasumičnih podataka. Rad je objavljen 20. januara u časopisu Physical Review Letters i pokazuje kako principi diffusion modela iz mašinskog učenja mogu da se prenesu na probabilistički hardver.
Šta je termalni šum i zašto je važan
Iznad apsolutne nule materija pokazuje stalne fluktuacije energije: atomi i molekuli vibriraju, magnetne kvantne osobine povremeno menjaju orijentaciju i slično. U današnjim čipovima energija potrebna da se promeni vrednost bita daleko nadmašuje energiju ovih slučajnih fluktuacija, pa se šum obično smatra neželjenim i ignoriše.
Izazov i ideja
Autori studije, predvođeni Stephenom Whitelamom iz Lawrence Berkeley National Laboratory, predlažu suprotan pristup: umesto da se šum eliminiše, iskoristiti ga kao izvor računskog 'pokreta'. Whitelam koristi analogiju s morem: konvencionalno računanje je kao veliki brod koji 'seče' talase i troši mnogo energije, dok bi termodinamički pristup bio kao surfer koji koristi snagu talasa.
Probabilističko računanje umesto determinističkog
Klasični računarski sistemi rade s determinističkim bitovima (0 i 1). Istraživanja u poslednjoj deceniji pokazuju da se za određene klase problema—posebno optimizacione zadatke—može dobiti veći učinak po utrošenom vat-satu ako se radi sa verovatnoćama umesto sa fiksnim bitovima. Termodinamičko računanje spada u ovu grupu: ono koristi prirodne fluktuacije sistema da bi generisalo korisne raspodele i rešenja.
Veza sa diffusion modelima
Whitelam je primetio da diffusion modeli u mašinskom učenju funkcionišu tako što se originalna slika postepeno 'zamagli' dodavanjem šuma, a potom se trenirana mreža koristi za reverzibilno uklanjanje tog šuma i rekonstrukciju slike. Pošto termodinamika i difuzija dele statističke temelje, on je predložio da bi termodinamički hardver mogao prirodno da izvršava sličan proces—uz „šum koji dolazi gratis“.
Kako to funkcioniše u praksi
Tok evolucije sistema pod uticajem šuma može se opisati Langevinovom jednačinom (1908). Manipulacijom te jednačine moguće je izračunati verovatnoće promena (npr. promene boje piksela) tokom procesa šumljenja. Na osnovu tih verovatnoća istraživači mogu odrediti odgovarajuće jačine veza (coupling strengths) u mreži kola tako da sistem, kada se pokrene, reverzno 'odradi' proces šumljenja i postepeno rekonstruiše sliku.
Whitelam je demonstrirao ovu ideju u numeričkoj simulaciji koristeći biblioteku slika sa ciframa "0", "1" i "2". Rezultati su pokazali da se iz početnog slučajnog šuma mogu rekonstruisati slike iz trening skupa, ali i da greške u obuci dopuštaju pojavu varijacija koje nisu striktno iz originalne baze—što je svojstveno i konvencionalnim generativnim modelima.
Postojeća srodna rešenja i komentari stručnjaka
Normal Computing Corporation u Njujorku već je razvila low-energy mreže kola koje operišu pri energijama uporedivim sa termalnim šumom i koje pokazuju kako se takvi sistemi mogu programirati da rešavaju linearne jednačine. Ramy Shelbaya iz kompanije Quantum Dice ocenio je rad kao značajan i istakao potencijal probabilističkog hardvera da smanji energetske zahteve i da ponudi fizički utemeljen uvid u procese učenja koji su kod „crnih kutija“ nevidljivi.
Ograničenja i perspektive
Demonstracija je dosad ograničena na numeričke simulacije i relativno jednostavne primere (rekonstrukcija nekoliko cifara). Prelazak sa koncepta i simulacija na skalabilan, praktičan termodinamički hardver koji bi mogao konkurisati današnjim AI akceleratorima predstavlja značajan inženjerski izazov. Ipak, oblast je mlada i služi kao obećavajuća alternativa za energetski efikasnije, fizički utemeljene pristupe probabilističkom računaru.
Zaključak: Termodinamičko računanje otvara novi put za integraciju prirodnog šuma u računarske procese i može značajno da smanji potrošnju energije za određene generativne i optimizacione zadatke. Potrebna su dalja istraživanja i eksperimentalna potvrđivanja, ali ideja već privlači pažnju industrije i akademije.
Pomozite nam da budemo bolji.
