Një teori e re zbulon sekretin se si funksionojnë rrjetet nervore. Kufizimet e të mësuarit të thellë dhe e ardhmja

Si u bë sensacion një fjalim në konferencë në botën e inteligjencës artificiale? Natalie Wolchower në WIRED raportoi për një zbulim që mund të çojë në të dhëna se si funksionojnë rrjetet e të mësuarit të thellë.

Edhe pse algoritmet e njohura si "rrjetet e thella nervore" kanë mësuar të drejtojnë makina, të mposhtin kampionët e lojërave video dhe Go, të pikturojnë fotografi dhe të bëjnë zbulime shkencore, ata kanë hutuar krijuesit e tyre sepse askush nuk priste që algoritmet e mësimit të thellë të funksiononin aq mirë. Në fund të fundit, këto sisteme bazoheshin në një ide jashtëzakonisht të paqartë të arkitekturës së trurit (punën e së cilës askush nuk e kupton as).

Ashtu si truri, një rrjet nervor i thellë ka shtresa neuronesh, vetëm artificiale, domethënë fragmente memorie kompjuterike. Kur një neuron ndizet, ai dërgon sinjale te neuronet e tij të lidhura në një shtresë tjetër. Gjatë mësimit të thellë, lidhjet në rrjet forcohen ose dobësohen në mënyrë që sistemi të mund të transmetojë më mirë një sinjal nga të dhënat e jashtme (për shembull, një foto e një qeni) në shtresat e neuroneve të lidhura me konceptet e dëshiruara të nivelit të lartë, për shembull, "qen". Pasi një rrjet i thellë nervor ka mësuar nga mijëra foto mostra të qenve, ai do të jetë në gjendje të njohë qentë në foto ashtu si njerëzit. Kapërcimi magjik nga rastet specifike në konceptet e përgjithshme është ajo që u jep rrjeteve nervore fuqinë e tyre, pasi qëndron në themel të të menduarit, kreativitetit dhe aftësive të tjera njerëzore të quajtura kolektivisht "inteligjencë". Ekspertët nuk e dinin se çfarë i lejonte rrjetet e të mësuarit të thellë të përgjithësoheshin dhe në çfarë mase ky perceptim i realitetit ishte i ngjashëm me trurin e njeriut.

Këtë korrik, një regjistrim i një fjalimi në një konferencë në Berlin u shfaq në YouTube që sugjeron një përgjigje të mundshme. Në raportin e tij Naftali Tishbi , një shkencëtar dhe neuroshkencëtar në Universitetin Hebraik të Jerusalemit, paraqiti prova në mbështetje teori e re, duke shpjeguar të mësuarit e thellë. Tishby beson se rrjetet e thella nervore mësojnë përmes një "blloqe informacioni", një procedurë që ai dhe kolegët e tij përshkruar në vitin 1999. Ideja është që rrjeti nervor të heqë qafe të dhënat dhe detajet e panevojshme hyrëse, duke “shtyrë” informacionin përmes bllokut dhe duke lënë vetëm ato më të përshtatshmet për përkufizim i përgjithshëm shenjat.Eksperimentet kompjuterike Tishby dhe studenti i tij Ravid Schwartz-Ziv treguan se si ndodh kjo procedurë gjatë mësimit të thellë.

Këto gjetje kanë emocionuar komunitetin e AI. “Unë besoj se ideja e bllokimit mund të jetë shumë e rëndësishme në kërkimet e ardhshme rrjetet nervore”, tha Alex Alemi nga Google Research, i cili tashmë ka zhvilluar metoda të reja të përafrimit për eksplorimin e teorisë në rrjetet nervore më të mëdha. Gryka e ngushtë mund të veprojë "jo vetëm si një mjet teorik për të kuptuar se si funksionojnë rrjetet nervore, por edhe si një mjet për krijimin e qëllimeve dhe strukturave të reja për rrjetet nervore", tha Alemi.

Disa studiues dyshojnë se kjo teori shpjegon plotësisht suksesin e të mësuarit të thellë, por Kyle Cranmer nga Universiteti i Nju Jorkut, i cili po përdor mësimin e makinerive për të studiuar përplasjet e grimcave në Përplasësin e Madh të Hadronit, thotë "kjo duket të jetë e vërtetë".

Xhefri Hinton, një pionier në mësimin e thellë, i shkroi një letër Tishbit pasi pa fjalimin e tij. “Është shumë interesante. Do të më duhet ta dëgjoj dhjetë mijë herë të tjera për ta kuptuar vërtet, por është e rrallë këto ditë të dëgjosh një performancë me një ide vërtet origjinale që mund të jetë përgjigja për një mister të madh."

Sipas Tishby, i cili e konsideron këtë parim themelor për të gjithë mësimin, kjo përgjigje e shumëpritur do të thotë se “më së shumti Pjesa kryesore të mësuarit është të harrosh.”

Grykë e ngushtë

Tishby filloi të mendonte për bllokimin e informacionit kur studiues të tjerë po fillonin të punonin me rrjete të thella nervore, megjithëse asnjëri nga konceptet nuk kishte ende një emër. Ishte në vitet 1980 kur Tishby po mendonte se sa mirë njerëzit e njohin fjalimin e njëri-tjetrit, gjë që ishte një problem në studimin e inteligjencës artificiale në atë kohë. Tishby e kuptoi se thelbi i problemit ishte një çështje e rëndësisë - cilat janë tiparet më domethënëse të një fjale të folur dhe si t'i ndajmë ato nga ndryshore të tilla si theksi, diksioni dhe intonacioni? Çfarë sinjalesh marrim nga deti i të dhënave të realitetit?

"Kjo ide e rëndësisë së informacionit është përmendur shumë herë, por ajo kurrë nuk është artikuluar siç duhet," tha Tishby në një intervistë. "Për shumë vite njerëzit mendonin se teoria e informacionit ishte e papërshtatshme për të menduar për rëndësinë, dhe këto keqkuptime kthehen tek vetë Shannon."

Claude Shannon, krijuesi i teorisë së informacionit, në njëfarë kuptimi nisi studimin e informacionit në vitet 1940 duke lejuar që informacioni të shihej si një kategori abstrakte, zero dhe njësh me kuptim thjesht matematikor. Siç thotë Tishby, Shannon pranoi pikëpamjen se "informacioni nuk ka të bëjë fare me semantikën". Por Tishby beson se kjo nuk është kështu. Duke përdorur teorinë e informacionit, "ju mund të përcaktoni "relevancën" në një mënyrë rigoroze."

Imagjinoni që X është një grup kompleks të dhënash, si pikselët në një foto të një qeni, dhe Y është një ndryshore e thjeshtë e përfaqësuar nga ato të dhëna, si fjala "qen". Ju mund të kapni të gjithë informacionin "relevant" rreth X në Y duke ngjeshur X sa më shumë që të mundeni pa humbur aftësinë për të parashikuar Y. Në punimin e tyre të vitit 1999, Tishby dhe bashkëautorët Fernando Pereira (tani në Google) dhe William Bialek ( tani në Universitetin Princeton) e formuloi këtë supozim si një problem optimizimi matematikor. Ishte një ide themelore pa zbatim praktik.

"Unë kam menduar për këtë në kontekste të ndryshme për tridhjetë vitet e fundit," thotë Tishby. "Jam me fat që rrjetet e thella nervore janë bërë kaq të rëndësishme."

Sytë në fytyrat e njerëzve

Megjithëse koncepti i rrjeteve nervore të thella ka ekzistuar për dekada, performanca e tyre në detyrat e njohjes së të folurit dhe imazhit u rrit në fillim të viteve 2010 falë skemave të përmirësuara të trajnimit dhe procesorëve më të fuqishëm kompjuterikë. Tishby u bë i vetëdijshëm për lidhjen e mundshme midis këtij përmirësimi dhe parimit të tij të ngushtë në 2014 pasi lexoi artikuj fizikantët David Schwab dhe Pankaj Mehta.

Ata mësuan se një algoritëm i shpikur nga Hinton i quajtur "rrjeti i besimit të thellë" funksionon si rinormalizimi, një teknikë e përdorur në fizikë për të marrë ide e pergjithshme O sistemi fizik sipas detajeve të tij. Kur Schwab dhe Mehta aplikuan rrjetin e besimit të thellë në një model të një magneti në "pikën e tij kritike", ku sistemi është fraktal në çdo shkallë, ata zbuluan se rrjeti përdorte automatikisht një teknikë të ngjashme me rinormalizimin për të llogaritur gjendjen e modelit. . Kjo ishte një shenjë befasuese që "nxjerrja e veçorive përkatëse në kontekstin e fizikës statistikore dhe nxjerrja e veçorive në kontekstin e të mësuarit të thellë nuk quhen thjesht të njëjta, por janë e njëjta gjë", siç tha biofizikani. Ilya Nemenman.

Problemi i vetëm është se bota reale nuk është fraktale. “Bota natyrore nuk është veshë mbi veshë, është sy mbi fytyra te njerëzit,” tha Cranmer. "Kështu që nuk do të thosha se [procedura e rinormalizimit] është arsyeja pse rrjetet nervore funksionojnë mirë me imazhet." Por Tishby, i cili po i nënshtrohej kimioterapisë për kancerin e pankreasit në atë kohë, e kuptoi se pas gjithë kësaj kishte një ide më të gjerë. "Mendimi për shkencën dhe rolin e ideve të mia të vjetra ka qenë një pjesë e rëndësishme e shërimit tim," tha ai.

Në vitin 2015, Tishbi dhe studenti i tij Noga Zaslavsky supozohet se mësimi i thellë është një procedurë e bllokimit të informacionit që heq të dhënat e panevojshme duke ruajtur informacionin për subjektin që përfaqësojnë të dhënat. Eksperimentet e reja me rrjete të thella nervore tregojnë se si ndodh procedura e bllokimit. Në një rast, studiuesit përdorën rrjete të vogla që mund të trajnohen për të etiketuar të dhënat hyrëse me një ose zero ("qen" ose "jo qen") dhe krijuan 282 lidhje nervore. sinjale të rastësishme. Më pas ata gjurmuan se çfarë ndodhi kur rrjetet filluan të stërviteshin mbi 3000 grupe të dhënash.

Algoritmi bazë i përdorur në shumicën e procedurave të të mësuarit të thellë për të rregulluar mënyrën se si lidhjet nervore reagojnë ndaj të dhënave quhet "zbritja e gradientit stokastik". Sa herë që rrjeti merr të dhëna, sinjali kalon nëpër shtresa të neuroneve artificiale. Kur sinjali arrin në shtresën e sipërme, modeli përfundimtar mund të krahasohet me etiketën e saktë për imazhin - 1 ose 0, "qen" ose "jo qen". Çdo ndryshim midis këtij modeli dhe përgjigjes së saktë "përhapet përsëri" përmes shtresave, si një mësues që korrigjon një provim, me algoritmin që forcon ose dobëson secilën lidhje për të përmirësuar rrjetin për të prodhuar sinjalin e saktë të daljes. Ndërsa trajnimi përparon, modelet e zakonshme në të dhënat e trajnimit reflektohen në fuqinë e lidhjeve dhe rrjeti bëhet ekspert në etiketimin e saktë të të dhënave, njohjen e një qeni, një fjale ose një njësie.

Në eksperimentet e tyre, Tishby dhe Schwartz-Ziv gjurmuan se sa informacion ruante secila shtresë e një rrjeti të thellë nervor për të dhënat hyrëse dhe çfarë informacioni ruante secila rreth etiketës së daljes. Shkencëtarët kanë zbuluar se rrjetet gradualisht po konvergojnë në një pengesë teorike të informacionit: kufiri teorik, marrë në punimin origjinal nga Tishby, Pereira dhe Bialek. Kufiri përfaqëson absoluten rezultati më i mirë, të cilin sistemi mund ta marrë kur nxjerr informacionin përkatës. Në këtë kufi, sistemi i ngjesh të dhënat hyrëse sa më fort që të jetë e mundur pa sakrifikuar aftësinë për të parashikuar me saktësi kategorinë e tij.

Tishby dhe Schwartz-Ziv bënë zbulimin interesant se mësimi i thellë ndodh në dy faza: një fazë e shkurtër "akordimi" në të cilën rrjeti mëson të etiketojë të dhënat e trajnimit dhe një fazë e gjatë "kompresimi" në të cilën rrjeti bëhet më i mirë në përgjithësim. e cila matet me performancën.rrjetet në etiketimin e të dhënave të reja të testimit.

Kur një rrjet nervor rregullon lidhjet e tij për zbritjen e gradientit stokastik, në fillim numri i biteve që ruan në lidhje me hyrjen mbetet afërsisht konstant ose rritet pak ndërsa lidhjet akordohen për të koduar modelet në hyrje dhe rrjeti merr rezultate të mira në etiketimin e tij. Disa ekspertë e kanë krahasuar këtë fazë me memorizimin.

Më pas mësimi kalon në fazën e kompresimit. Rrjeti fillon të kompresojë informacionin rreth të dhënave hyrëse, duke ndjekur vetëm veçoritë më të spikatura që lidhen me etiketën e daljes. Kjo ndodh sepse në çdo përsëritje të zbritjes së gradientit, ndodhin korrelacione të rastësishme, duke i thënë rrjetit të bëjë gjëra të ndryshme dhe t'i bëjë lidhjet më të forta ose më të dobëta. Ky rastësi është një kompresim i paraqitjes së sistemit të të dhënave hyrëse. Për shembull, disa foto mund të tregojnë qen në shtëpi, ndërsa të tjerat jo. Kur rrjeti analizon këto foto, mund të "harrojë" korrelacionin midis shtëpive dhe qenve në disa foto, megjithëse foto të tjera i rezistojnë kësaj. Kuptimi i sistemit për konceptet e përgjithshme formohet duke harruar disa veçori. Në fakt, eksperimentet kanë treguar se aftësia e përgjithësimit të një rrjeti nervor bëhet më e mirë gjatë fazës së kompresimit. (Një rrjet i thellë nervor i trajnuar mbi fotot e qenve mund të testohet në foto të tjera, me ose pa qen.)

Mbetet për t'u parë nëse pengesa e informacionit rregullon të gjitha mënyrat e të mësuarit të thellë ose nëse ka metoda të tjera përgjithësimi përveç kompresimit. Disa ekspertë të inteligjencës artificiale i shohin idetë e Tishby si disa nga zbulimet më të rëndësishme teorike të fundit rreth të mësuarit të thellë. Andrew Sachs, një studiues i AI dhe neuroshkencëtar në Universitetin e Harvardit, ka vërejtur se disa rrjete të mëdha nervore nuk kërkojnë një fazë të gjatë kompresimi për t'u përgjithësuar mirë. Në vend të kësaj, studiuesit programojnë diçka të quajtur ndalim i hershëm, i cili shkurton kohën e trajnimit për të parandaluar që rrjeti të kodojë shumë korrelacione.

Tishby thotë se modelet e rrjetit të analizuara nga Sachs dhe kolegët e tij ndryshojnë nga arkitektura standarde e rrjetit nervor, por teoria e bllokimit të informacionit shpjegon performancën e tyre më mirë se metodat e tjera. Pyetjet nëse ka një pengesë në rrjetet më të mëdha nervore janë adresuar pjesërisht në eksperimentet e fundit nga Tishby dhe Schwartz-Ziv, në të cilat ata trajnojnë rrjete nervore shumë më të mëdha me 330,000 lidhje për të njohur shifrat e shkruara me dorë në bazën e të dhënave MNIST me 60,000 imazhe, e cila është një standard i njohur për vlerësimin e performancës së algoritmeve të të mësuarit të thellë. Shkencëtarët panë të njëjtën konvergjencë të rrjeteve; ata vëzhguan gjithashtu dy faza të dallueshme të të mësuarit të thellë, të ndara nga një tranzicion edhe më i mprehtë se në rrjete të vogla. "Tani jam plotësisht i bindur se ky është një fenomen i përgjithshëm," tha Tishby.

Njerëzit dhe makinat

Misteri se si truri analizon sinjalet nga shqisat tona dhe i ngre ato në nivelin e vetëdijes së vetëdijshme krijoi shumë interes tek studiuesit e hershëm të inteligjencës artificiale, të cilët shpresonin të rikrijonin procesin e të mësuarit të trurit. Në pjesën më të madhe, ata tashmë e kanë braktisur këtë rrugë të përparimit teknologjik dhe kanë filluar të rrisin produktivitetin në vend që të ndjekin besueshmërinë biologjike. Megjithatë, ndërsa makinat e të menduarit arrijnë suksese gjithnjë e më të mëdha, madje duke ngritur frikën se AI një ditë mund të bëhet një kërcënim ekzistencial, shumë shpresojnë se këto studime do të zbulojnë ide të përgjithshme rreth të mësuarit dhe inteligjencës.

Brenden Lake, i cili studion ndryshimet dhe ngjashmëritë midis mësimit të njeriut dhe makinerive, tha se gjetjet e Tishby përfaqësojnë " hap i rëndësishëm për të hapur kutinë e zezë të rrjeteve nervore”, por ai theksoi se truri është një kuti e zezë shumë më komplekse. Truri ynë i rritur, i cili ka disa qindra trilion lidhje midis 86 miliardë neuroneve, ka të ngjarë të përdorë një sërë trukesh për të përmirësuar përgjithësimin përtej modelit bazë dhe procedurave të të mësuarit të njohjes së zërit që ndodhin gjatë foshnjërisë dhe që mund t'i ngjajnë të mësuarit të thellë në shumë mënyra.

Për shembull, Lake tha se dy fazat e të mësuarit të thellë nuk janë të ngjashme me mënyrën se si fëmijët mësojnë shkronjat e shkruara me dorë, të cilat ai i studion. Fëmijët nuk kanë nevojë të shohin mijëra shembuj dhe të kompresojnë kuptimin e shkronjave për një periudhë të gjatë kohore, në mënyrë që të mësojnë shembuj të tjerë të atyre shkronjave dhe t'i shkruajnë ato vetë. Ata mund ta mësojnë këtë nga një shembull. Modelet e Lake dhe kolegëve të tij sugjerojnë se truri mund të dekonstruktojë letër e re si një seri “rrahjesh” – konstruksione mendore paraekzistuese – që lejon që koncepti i shkrimit të lidhet me njohuritë e mëparshme. "Në vend që të mendoj për imazhin e një shkronje si një model pikselësh dhe të mësoj konceptin si një paraqitje të atyre veçorive," si në algoritmet standarde të mësimit të makinerive, Lake shpjegoi, "Unë po përpiqem të ndërtoj një model të thjeshtë shkakësor të shkronja", domethënë, krijoni një shkurtore për përgjithësimin .

Ide të tilla rreth trurit mund të jenë të dobishme për komunitetin e AI, duke lehtësuar shkëmbimin e informacionit midis këtyre zonave. Tishby beson se teoria e tij do të jetë e dobishme në të dyja disiplinat, edhe pse ajo merr një formë më të përgjithshme në të mësuarit njerëzor. Teoria tashmë na lejon të kuptojmë se çfarë lloje problemesh mund të zgjidhin rrjetet nervore reale dhe artificiale. "Kjo jep përshkrim i plotë probleme që mund të studiohen”, thotë Tishby. Këto janë “probleme në të cilat unë mund të heq zhurmën nga hyrja pa dëmtuar aftësinë time për të klasifikuar. Këto janë probleme të vizionit natyror dhe njohjes së të folurit. Këto janë pikërisht llojet e problemeve që truri ynë mund të trajtojë.”

Sidoqoftë, si rrjetet nervore reale ashtu edhe ato artificiale nuk mund të përballojnë problemet në të cilat çdo detaj është i rëndësishëm dhe një ndryshim në minuta mund të prishë të gjithë rezultatin. Për shembull, shumë njerëz nuk mund të shumëzojnë shpejt dy numra të mëdhenj në kokën e tyre. “Ne kemi një gamë të madhe probleme të ngjashme, probleme logjike që janë shumë të ndjeshme ndaj ndryshimeve në një variabël. Klasifikimi, problemet diskrete, problemet kriptografike. Nuk mendoj se të mësuarit e thellë do të më ndihmojë ndonjëherë të thyej kodet kriptografike.”

Përgjithësimi - një pengesë informacioni - nënkupton heqjen e disa detajeve. Nuk është i përshtatshëm për llogaritjet komplekse mendore, por ato nuk janë detyra kryesore e trurit. Ne kërkojmë fytyra të njohura në një turmë, rend në kaos, sinjale të dukshme në një botë të zhurmshme.

Inteligjenca artificiale, rrjetet nervore, mësimi i makinerive - çfarë nënkuptojnë në të vërtetë të gjitha këto koncepte të njohura aktualisht? Për shumicën e njerëzve të pa iniciuar, siç jam unë vetë, ata gjithmonë dukeshin si diçka fantastike, por në fakt thelbi i tyre qëndron në sipërfaqe. E kam pasur prej kohësh idenë të shkruaj në gjuhë të thjeshtë në lidhje me rrjetet nervore artificiale. Zbuloni vetë dhe tregoni të tjerëve se çfarë është kjo teknologji, si funksionon, merrni parasysh historinë dhe perspektivat e saj. Në këtë artikull, u përpoqa të mos futem në barërat e këqija, por thjesht dhe në mënyrë popullore të flas për këtë drejtim premtues në botën e teknologjisë së lartë.

Inteligjenca artificiale, rrjetet nervore, mësimi i makinerive - çfarë nënkuptojnë në të vërtetë të gjitha këto koncepte të njohura aktualisht? Për shumicën e njerëzve të pa iniciuar, siç jam unë vetë, ata gjithmonë dukeshin si diçka fantastike, por në fakt thelbi i tyre qëndron në sipërfaqe. Prej kohësh kam pasur idenë të shkruaj në gjuhë të thjeshtë për rrjetet nervore artificiale. Zbuloni vetë dhe tregoni të tjerëve se çfarë është kjo teknologji, si funksionon, merrni parasysh historinë dhe perspektivat e saj. Në këtë artikull, u përpoqa të mos futem në barërat e këqija, por thjesht dhe në mënyrë popullore të flas për këtë drejtim premtues në botën e teknologjisë së lartë.

Pak histori

Për herë të parë, koncepti i rrjeteve nervore artificiale (ANN) u ngrit në një përpjekje për të simuluar proceset e trurit. Zbulimi i parë i madh në këtë fushë mund të konsiderohet krijimi i modelit të rrjetit nervor McCulloch-Pitts në 1943. Shkencëtarët kanë zhvilluar për herë të parë një model të një neuroni artificial. Ata propozuan gjithashtu hartimin e një rrjeti të këtyre elementeve për të kryer operacionet logjike. Por më e rëndësishmja, shkencëtarët e kanë vërtetuar këtë rrjet i ngjashëm të aftë për të mësuar.

Tjetra hap i rëndësishëm ishte zhvillimi nga Donald Hebb i algoritmit të parë për llogaritjen e një ANN në 1949, i cili u bë themelor për disa dekada të mëvonshme. Në vitin 1958, Frank Rosenblatt zhvilloi parceptronin, një sistem që imiton proceset e trurit. Në një kohë, teknologjia nuk kishte analoge dhe është ende thelbësore në rrjetet nervore. Në vitin 1986, pothuajse njëkohësisht, pavarësisht nga njëri-tjetri, shkencëtarët amerikanë dhe sovjetikë përmirësuan ndjeshëm metodën themelore të trajnimit të një perceptroni me shumë shtresa. Në vitin 2007, rrjetet nervore përjetuan një rilindje. Shkencëtari britanik i kompjuterave Geoffrey Hinton zhvilloi së pari një algoritëm të të mësuarit të thellë për rrjetet nervore me shumë shtresa, i cili tani, për shembull, përdoret për të operuar makina vetë-drejtuese.

Shkurtimisht për gjënë kryesore

Në kuptimin e përgjithshëm të fjalës, rrjetet nervore janë modele matematikore, duke punuar në parimin e rrjeteve të qelizave nervore në trupin e një kafshe. ANN-të mund të implementohen si në zgjidhje të programueshme ashtu edhe në ato harduerike. Për t'i bërë gjërat më të lehta për t'u kuptuar, një neuron mund të mendohet si një qelizë që ka shumë vrima hyrëse dhe një vrimë dalëse. Se si formohen sinjale të shumta hyrëse në një sinjal dalës, përcaktohet nga algoritmi i llogaritjes. Vlerat efektive i jepen çdo hyrje neuroni, të cilat më pas shpërndahen përgjatë lidhjeve ndërneurone (sinopse). Sinapset kanë një parametër - peshë, për shkak të së cilës informacioni i hyrjes ndryshon kur lëviz nga një neuron në tjetrin. Mënyra më e lehtë për të imagjinuar parimin e funksionimit të rrjeteve nervore është duke përzier ngjyrat. Neuroni blu, jeshil dhe i kuq kanë pesha të ndryshme. Informacioni i neuronit, pesha e të cilit është më e madhe, do të jetë dominuese në neuronin e ardhshëm.

Vetë rrjeti nervor është një sistem i shumë neuroneve (përpunuesve) të tillë. Individualisht, këta procesorë janë mjaft të thjeshtë (shumë më i thjeshtë se një procesor kompjuteri personal), por kur kombinohen në sistem i madh neuronet janë të afta të kryejnë detyra shumë komplekse.

Në varësi të zonës së aplikimit, një rrjet nervor mund të interpretohet në mënyra të ndryshme. Për shembull, nga pikëpamja e mësimit të makinerive, një ANN është një metodë e njohjes së modelit. Nga pikëpamja matematikore, ky është një problem me shumë parametra. Nga pikëpamja e kibernetikës - një model i kontrollit adaptiv të robotikës. Për inteligjencën artificiale, ANN është një komponent themelor për modelimin e inteligjencës natyrore duke përdorur algoritme llogaritëse.

Avantazhi kryesor i rrjeteve nervore ndaj algoritmeve konvencionale kompjuterike është aftësia e tyre për të mësuar. Në kuptimin e përgjithshëm të fjalës, të mësuarit ka të bëjë me gjetjen e koeficientëve të saktë të bashkimit midis neuroneve, si dhe përmbledhjen e të dhënave dhe identifikimin e varësive komplekse midis sinjaleve hyrëse dhe dalëse. Në fakt, trajnimi i suksesshëm i një rrjeti nervor do të thotë që sistemi do të jetë në gjendje të identifikojë rezultatin e saktë bazuar në të dhënat që nuk janë në grupin e trajnimit.

Gjendja aktuale

Dhe pa marrë parasysh se sa premtuese mund të jetë kjo teknologji, ANN-të janë ende shumë larg aftësive të trurit dhe të të menduarit njerëzor. Megjithatë, rrjetet nervore përdoren tashmë në shumë fusha të veprimtarisë njerëzore. Deri më tani, ata nuk janë në gjendje të marrin vendime shumë inteligjente, por janë në gjendje të zëvendësojnë një person ku ai ishte i nevojshëm më parë. Ndër fushat e shumta të aplikimit të ANN mund të vëmë re: krijimin e sistemeve të vetë-mësimit proceset e prodhimit, automjetet pa pilot, sistemet e njohjes së imazhit, sistemet inteligjente të sigurisë, robotika, sistemet e monitorimit të cilësisë, ndërfaqet e ndërveprimit zanor, sistemet analitike dhe shumë më tepër. Ky përdorim i gjerë i rrjeteve nervore është, ndër të tjera, për shkak të shfaqjes së metodave të ndryshme për përshpejtimin e trajnimit ANN.

Sot, tregu për rrjetet nervore është i madh - miliarda dhe miliarda dollarë. Siç tregon praktika, shumica e teknologjive të rrjeteve nervore në mbarë botën ndryshojnë pak nga njëra-tjetra. Megjithatë, përdorimi i rrjeteve nervore është një aktivitet shumë i kushtueshëm, i cili në shumicën e rasteve mund të përballohet vetëm nga kompanitë e mëdha. Zhvillimi, trajnimi dhe testimi i rrjeteve nervore kërkon fuqi të madhe llogaritëse dhe është e qartë se kjo është e disponueshme me bollëk. lojtarët kryesorë në tregun e IT. Ndër kompanitë kryesore që udhëheqin zhvillimet në këtë fushë janë divizioni i Google DeepMind, divizioni i Microsoft Research, IBM, Facebook dhe Baidu.

Sigurisht, e gjithë kjo është e mirë: rrjetet nervore po zhvillohen, tregu po rritet, por deri më tani detyra kryesore ende i pazgjidhur. Njerëzimi ka dështuar të krijojë një teknologji që i afrohet as aftësive të trurit të njeriut. Le të shohim ndryshimet kryesore midis trurit të njeriut dhe rrjeteve nervore artificiale.

Pse rrjetet nervore janë ende larg trurit të njeriut?

Dallimi më i rëndësishëm, i cili ndryshon rrënjësisht parimin dhe efikasitetin e sistemit, është pajisje të ndryshme sinjalet në rrjetet nervore artificiale dhe në një rrjet biologjik neuronesh. Fakti është se në një ANN neuronet transmetojnë vlera që janë vlerat reale, pra numrat. NË truri i njeriut Transmetohen impulse me amplitudë fikse dhe këto impulse janë pothuajse të menjëhershme. Kjo çon në një numër avantazhesh të rrjetit njerëzor të neuroneve.

Së pari, linjat e komunikimit në tru janë shumë më efikase dhe ekonomike se ato në ANN. Së dyti, qarku i pulsit siguron lehtësinë e zbatimit të teknologjisë: mjafton të përdoren qarqe analoge në vend të mekanizmave komplekse llogaritëse. Në fund të fundit, rrjetet pulsuese janë imune ndaj ndërhyrjeve audio. Numrat realë i nënshtrohen zhurmës, gjë që rrit gjasat e gabimeve.

Fundi

Sigurisht, në dekadën e fundit ka pasur një bum të vërtetë në zhvillimin e rrjeteve nervore. Kjo është kryesisht për shkak të faktit se procesi i trajnimit ANN është bërë shumë më i shpejtë dhe më i lehtë. Të ashtuquajturat rrjete nervore "të para-trajnuara" gjithashtu kanë filluar të zhvillohen në mënyrë aktive, të cilat mund të përshpejtojnë ndjeshëm procesin e prezantimit të teknologjisë. Dhe nëse është shumë herët të thuhet nëse rrjetet nervore një ditë do të jenë në gjendje të riprodhojnë plotësisht aftësitë e trurit të njeriut, gjasat që në dekadën e ardhshme ANN-të të jenë në gjendje të zëvendësojnë njerëzit në një të katërtën e profesioneve ekzistuese po bëhen gjithnjë e më të vërteta. .

Për ata që duan të dinë më shumë

• Lufta e Madhe Neurale: Çfarë po bën vërtet Google
• Si kompjuterët njohës mund të ndryshojnë të ardhmen tonë

Sot, një grafik është një nga mënyrat më të pranueshme për të përshkruar modelet e krijuara në një sistem të mësimit të makinerive. Këta grafikë llogaritës përbëhen nga kulme neuronesh të lidhura nga skajet e sinapsës që përshkruajnë lidhjet midis kulmeve.

Ndryshe nga një GPU skalar qendrore ose vektoriale, një IPU është lloj i ri procesorët e krijuar për mësimin e makinerive ju lejojnë të ndërtoni grafikë të tillë. Një kompjuter që është krijuar për të menaxhuar grafikët - makinë perfekte për modelet e grafikëve llogaritës të krijuara nga mësimi i makinerive.

Një nga mënyrat më të lehta për të përshkruar procesin e inteligjencës së makinës është ta vizualizoni atë. Ekipi i zhvillimit të Graphcore ka krijuar një koleksion imazhesh të tilla që shfaqen në IPU. Ajo bazohej në software Plepi, i cili vizualizon punën e inteligjencës artificiale. Studiuesit nga kjo kompani zbuluan gjithashtu pse rrjetet e thella kërkojnë kaq shumë memorie dhe cilat zgjidhje ekzistojnë për të zgjidhur problemin.

Poplar përfshin një përpilues grafik që u ndërtua nga themeli për të përkthyer operacionet standarde të mësimit të makinerive në kodin e aplikacionit IPU shumë të optimizuar. Kjo ju lejon të mbledhni këto grafikë së bashku duke përdorur të njëjtin parim si mblidhen POPNN-të. Biblioteka përmban një grup lloje të ndryshme kulmet për primitivët e përgjithësuar.

Grafikët janë paradigma mbi të cilën bazohet i gjithë softueri. Në Poplar, grafikët ju lejojnë të përcaktoni një proces llogaritjeje, ku kulmet kryejnë operacione dhe skajet përshkruajnë marrëdhënien midis tyre. Për shembull, nëse doni të shtoni dy numra së bashku, mund të përcaktoni një kulm me dy hyrje (numrat që dëshironi të shtoni), disa llogaritje (një funksion për të shtuar dy numra) dhe një dalje (rezultati).

Në mënyrë tipike, operacionet me kulme janë shumë më komplekse sesa në shembullin e përshkruar më sipër. Ata shpesh janë të vendosur programe të vogla, të quajtur kodleta (emrat e kodit). Abstraksioni grafik është tërheqës sepse nuk bën supozime për strukturën e llogaritjes dhe e zbërthen llogaritjen në komponentë që IPU mund t'i përdorë për të operuar.

Poplar përdor këtë abstraksion të thjeshtë për të ndërtuar grafikë shumë të mëdhenj që përfaqësohen si imazhe. Gjenerimi i softuerit të grafikut do të thotë që ne mund ta përshtatim atë me llogaritjet specifike të nevojshme për të siguruar sa më shumë përdorim efektiv Burimet e IPU-së.

Kompiluesi përkthen operacionet standarde, i përdorur në sistemet e mësimit të makinerive, në kodin e aplikacionit IPU shumë të optimizuar. Përpiluesi i grafikut krijon një imazh të ndërmjetëm të grafikut llogaritës, i cili vendoset në një ose më shumë pajisje IPU. Përpiluesi mund të shfaqë këtë grafik llogaritës, kështu që një aplikacion i shkruar në nivelin e kornizës së rrjetit nervor shfaq një imazh të grafikut llogaritës që funksionon në IPU.

Grafiku i ciklit të plotë të trajnimit AlexNet në drejtimet përpara dhe prapa

Përpiluesi i grafikëve Poplar e ktheu përshkrimin AlexNet në një grafik llogaritës prej 18.7 milion kulmesh dhe 115.8 milion skajesh. Grumbullimi i dukshëm i qartë është rezultat i komunikimit të fortë midis proceseve në secilën shtresë të rrjetit, me komunikim më të lehtë midis shtresave.

Një shembull tjetër është një rrjet i thjeshtë i lidhur plotësisht i trajnuar në MNIST - telefonim i thjeshtë të dhëna për vizionin kompjuterik, një lloj "Përshëndetje, botë" në mësimin e makinerive. Rrjet i thjeshtë eksplorimi i këtij grupi të dhënash ndihmon për të kuptuar grafikët që drejtohen nga aplikacionet Poplar. Duke integruar bibliotekat e grafikëve me korniza të tilla si TensorFlow, kompania ofron një prej tyre mënyra të thjeshta për përdorimin e IPU-ve në aplikacionet e mësimit të makinerive.

Pasi grafiku të jetë ndërtuar duke përdorur përpiluesin, ai duhet të ekzekutohet. Kjo është e mundur duke përdorur Graph Engine. Shembulli i ResNet-50 tregon funksionimin e tij.

Grafiku ResNet-50

Arkitektura ResNet-50 lejon krijimin e rrjeteve të thella nga ndarjet e përsëritura. Procesori duhet t'i përcaktojë këto seksione vetëm një herë dhe t'i thërrasë përsëri. Për shembull, grupi i nivelit conv4 ekzekutohet gjashtë herë, por vihet në hartë vetëm një herë në grafik. Imazhi gjithashtu demonstron shumëllojshmërinë e formave të shtresave konvolucionale, pasi secila prej tyre ka një grafik të ndërtuar sipas një forme natyrore llogaritjeje.

Motori krijon dhe menaxhon ekzekutimin e një modeli të mësimit të makinës duke përdorur një grafik të krijuar nga përpiluesi. Pasi të vendoset, Graph Engine monitoron dhe u përgjigjet IPU-ve, ose pajisjeve, të përdorura nga aplikacionet.

Imazhi ResNet-50 tregon të gjithë modelin. Në këtë nivel është e vështirë të identifikohen lidhjet midis kulmeve individuale, kështu që ia vlen të shikoni imazhe të zmadhuara. Më poshtë janë disa shembuj të seksioneve brenda shtresave të rrjetit nervor.

Pse rrjetet e thella kanë nevojë për kaq shumë memorie?

Gjurmët e mëdha të memories janë një nga sfidat më të mëdha të rrjeteve të thella nervore. Studiuesit po përpiqen të luftojnë gjerësinë e kufizuar të brezit të pajisjeve DRAM që duhet të përdoren sistemet moderne për të ruajtur një numër të madh peshash dhe aktivizimesh në një rrjet nervor të thellë.

Arkitekturat janë projektuar duke përdorur çipe procesori të dizajnuara për përpunim sekuencial dhe optimizim DRAM për memorie me densitet të lartë. Ndërfaqja midis këtyre dy pajisjeve është një pengesë që paraqet kufizime të gjerësisë së brezit dhe shton shpenzime të konsiderueshme në konsumin e energjisë.

Megjithëse nuk kemi ende një kuptim të plotë të trurit të njeriut dhe mënyrës se si funksionon ai, përgjithësisht kuptohet se nuk ka një depo të madhe memorie të veçantë. Funksioni i kujtesës afatgjatë dhe afatshkurtër në trurin e njeriut besohet të jetë i ngulitur në strukturën e neuroneve + sinapset. Edhe organizmat e thjeshtë si krimbat, me një strukturë të trurit nervor prej pak më shumë se 300 neuronesh, kanë disa funksione memorie.

Ndërtimi i memories në procesorët konvencionalë është një mënyrë për të kapërcyer problemin fyte të ngushta memorie, duke zhbllokuar një gjerësi të madhe brezi me konsum shumë më të ulët të energjisë. Megjithatë, memoria në çip është e shtrenjtë dhe nuk është e dizajnuar për sasi vërtet të mëdha të memories që janë bashkangjitur me CPU-të dhe GPU-të që përdoren aktualisht për të trajnuar dhe vendosur rrjete të thella nervore.

Pra, është e dobishme të shikoni se si përdoret memoria sot në CPU-të dhe sistemet e mësimit të thellë të bazuar në GPU dhe të pyesni veten pse u nevojitet një memorie e tillë. pajisje të mëdha ruajtja e kujtesës kur truri i njeriut funksionon mirë pa to?

Rrjetet nervore kanë nevojë për memorie për të ruajtur të dhënat hyrëse, peshat dhe funksionet e aktivizimit ndërsa hyrja përhapet nëpër rrjet. Gjatë mësimit, aktivizimi në hyrje duhet të mbahet derisa të mund të përdoret për të llogaritur gabimet në gradientët e daljes.

Për shembull, një rrjet ResNet me 50 shtresa ka rreth 26 milionë parametra të peshës dhe llogarit 16 milionë aktivizime përpara. Nëse përdorni një notues 32-bit për të ruajtur çdo peshë dhe aktivizim, do të kërkojë rreth 168 MB hapësirë. Duke përdorur më shumë vlerë të ulët saktësinë për të ruajtur këto pesha dhe aktivizime, ne mund ta përgjysmojmë apo edhe katërfishojmë këtë kërkesë për ruajtje.

Një problem i madh i memories lind nga fakti se GPU-të mbështeten në të dhënat e përfaqësuara si vektorë të dendur. Prandaj, ata mund të përdorin një fije udhëzimi të vetëm (SIMD) për të arritur densitet të lartë llogaritës. CPU përdor njësi të ngjashme vektoriale për llogaritje me performancë të lartë.

GPU-të kanë një gjerësi sinapse prej 1024 bit, kështu që ata përdorin të dhëna me pikë lundruese 32-bit, kështu që shpesh i ndajnë ato në mini-grumcë paralele prej 32 mostrash për të krijuar vektorë të të dhënave 1024-bit. Kjo qasje ndaj paralelizmit të vektorit rrit numrin e aktivizimeve me 32 herë dhe nevojën për ruajtje lokale me një kapacitet prej më shumë se 2 GB.

GPU-të dhe makineritë e tjera të krijuara për algjebër matricore janë gjithashtu subjekt i ngarkesës së memories nga pesha ose aktivizimet e rrjetit nervor. GPU-të nuk mund të kryejnë me efikasitet konvolucionet e vogla të përdorura në rrjetet nervore të thella. Prandaj, një transformim i quajtur "reduktim" përdoret për të kthyer këto konvolucione në shumëzime matrice-matrice (GEMM), të cilat GPU-të mund t'i trajtojnë në mënyrë efikase.

Kërkohet gjithashtu memorie shtesë për të ruajtur të dhënat hyrëse, vlerat e përkohshme dhe udhëzimet e programit. Matja e përdorimit të memories gjatë stërvitjes së ResNet-50 në një GPU të nivelit të lartë tregoi se kërkonte më shumë se 7,5 GB DRAM lokale.

Disa mund të mendojnë se saktësia më e ulët llogaritëse mund të zvogëlojë sasinë e memories së kërkuar, por nuk është kështu. Duke kaluar vlerat e të dhënave në gjysmën e saktësisë për peshat dhe aktivizimet, ju do të mbushni vetëm gjysmën e gjerësisë së vektorit SIMD, duke humbur gjysmën e burimeve llogaritëse të disponueshme. Për të kompensuar këtë, kur kaloni nga saktësia e plotë në gjysmën e saktësisë në GPU, atëherë do t'ju duhet të dyfishoni madhësinë e mini-batch-it për të detyruar paralelizmin e mjaftueshëm të të dhënave për të përdorur të gjithë llogaritjen e disponueshme. Kështu, kalimi në pesha dhe aktivizime me saktësi më të ulët në GPU kërkon ende më shumë se 7,5 GB memorie dinamike me qasje të lirë.

Me kaq shumë të dhëna për të ruajtur, është thjesht e pamundur t'i vendosni të gjitha në një GPU. Çdo shtresë e rrjetit nervor konvolucional duhet të ruajë gjendjen e DRAM-it të jashtëm, të ngarkojë shtresën tjetër të rrjetit dhe më pas të ngarkojë të dhënat në sistem. Si rezultat, ndërfaqja tashmë është e kufizuar nga gjerësia e brezit dhe vonesa e kujtesës. memorie e jashtme vuan nga një ngarkesë shtesë rindezje e vazhdueshme peshat, dhe ruajtjen dhe marrjen e funksioneve të aktivizimit. Kjo ngadalëson ndjeshëm kohën e stërvitjes dhe rrit ndjeshëm konsumin e energjisë.

Ka disa mënyra për të zgjidhur këtë problem. Së pari, operacione të tilla si funksionet e aktivizimit mund të kryhen "në vend", duke lejuar që të dhënat hyrëse të rishkruhen direkt në dalje. Kështu, memorie ekzistuese mund të ripërdoret. Së dyti, mundësia për ripërdorim memoria mund të merret duke analizuar varësinë e të dhënave ndërmjet operacioneve në rrjet dhe shpërndarjen e së njëjtës memorie për operacionet që nuk e përdorin atë në atë moment.

Qasja e dytë është veçanërisht efektive kur i gjithë rrjeti nervor mund të analizohet në kohën e kompilimit për të krijuar një memorie të caktuar fikse, pasi shpenzimet e menaxhimit të memories reduktohen pothuajse në zero. Doli se kombinimi i këtyre metodave mund të zvogëlojë përdorimin e kujtesës së një rrjeti nervor me dy deri në tre herë.
Një qasje e tretë e rëndësishme u zbulua kohët e fundit nga ekipi Baidu Deep Speech. Ata aplikuan metoda të ndryshme duke kursyer kujtesën për të marrë një reduktim 16 herë në konsumin e memories së funksioneve të aktivizimit, gjë që i lejoi ata të trajnojnë rrjetet me 100 shtresa. Më parë, me të njëjtën sasi memorie, ata mund të trajnonin rrjetet me nëntë shtresa.

Kombinimi i memories dhe burimeve të përpunimit në një pajisje të vetme ka potencial të konsiderueshëm për të përmirësuar performancën dhe efikasitetin e rrjeteve nervore konvolucionale, si dhe forma të tjera të mësimit të makinerive. Mund të bëhen shkëmbime ndërmjet memories dhe burimeve llogaritëse për të arritur një ekuilibër të veçorive dhe performancës në sistem.

Rrjetet nervore dhe modelet e njohurive në metodat e tjera të mësimit të makinerive mund të mendohen si grafikë matematikorë. Ka një sasi të madhe paralelizmi të përqendruar në këta grafikë. Një procesor paralel i krijuar për të shfrytëzuar paralelizmin në grafikë nuk mbështetet në mini-batch dhe mund të zvogëlojë ndjeshëm sasinë e kërkuar të ruajtjes lokale.

Rezultatet aktuale të hulumtimit kanë treguar se të gjitha këto metoda mund të përmirësojnë ndjeshëm performancën e rrjeteve nervore. GPU-të dhe CPU-të moderne kanë memorie shumë të kufizuar në bord, vetëm disa megabajt në total. Arkitekturat e reja të procesorit të krijuara posaçërisht për të mësuarit e makinerive balancojnë kujtesën dhe llogaritjen në çip, duke ofruar përmirësime të rëndësishme të performancës dhe efikasitetit mbi teknologjitë aktuale. përpunuesit qendrorë dhe përshpejtuesit grafikë.

Nga artikulli do të mësoni se çfarë është të mësuarit e thellë. Artikulli përmban gjithashtu shumë burime që mund t'i përdorni për të zotëruar këtë fushë.

NË bota moderne Nga kujdesi shëndetësor tek prodhimi, mësimi i thellë po përdoret kudo. Kompanitë po i drejtohen kësaj teknologjie për të zgjidhur probleme komplekse si njohja e të folurit dhe objekteve, përkthimi me makinë, etj.

Një nga arritjet më mbresëlënëse këtë vit ishte AlphaGo duke mposhtur lojtarin më të mirë në botë Go. Përveç Go, makinat kanë rrahur njerëz në lojëra të tjera: damë, shah, reversi dhe Jeopardy.

Fitimi i një loje tavoline mund të mos duket i zbatueshëm për zgjidhjen e problemeve të jetës reale, por kjo nuk është aspak e vërtetë. Go u krijua për të qenë e pakrahasueshme nga inteligjenca artificiale. Për ta bërë këtë, ai do të duhet të mësojë një gjë të rëndësishme për këtë lojë - intuitën njerëzore. Tani, me ndihmën e këtij zhvillimi, është e mundur të zgjidhen shumë probleme që ishin të paarritshme për një kompjuter më parë.

Natyrisht, mësimi i thellë është ende larg të qenit i përsosur, por tashmë është afër të qenit i dobishëm komercialisht. Për shembull, këto makina vetë-drejtuese. Kompanitë e njohura si Google, Tesla dhe Uber tashmë po përpiqen të prezantojnë makina autonome në rrugët e qytetit.

Ford parashikon rritje të ndjeshme të përqindjes së vetëdrejtimit Automjeti deri në vitin 2021. Qeveria e SHBA gjithashtu arriti të zhvillojë një sërë rregullash sigurie për ta.

Çfarë është të mësuarit e thellë?

Për t'iu përgjigjur kësaj pyetjeje, duhet të kuptoni se si ndërvepron me mësimin e makinerive, rrjetet nervore dhe inteligjencën artificiale. Për ta bërë këtë, ne përdorim metodën e vizualizimit duke përdorur qarqe koncentrike:

Rrethi i jashtëm është inteligjenca artificiale në përgjithësi (p.sh. kompjuterët). Pak më tej është mësimi i makinerive, dhe pikërisht në qendër janë mësimi i thellë dhe rrjetet nervore artificiale.

Përafërsisht, mësimi i thellë është thjesht një emër më i përshtatshëm për rrjetet nervore artificiale. "Thellë" në këtë frazë i referohet shkallës së kompleksitetit (thellësisë) të rrjetit nervor, i cili shpesh mund të jetë mjaft sipërfaqësor.

Krijuesit e rrjetit të parë nervor u frymëzuan nga struktura e korteksit cerebral. Një nivel bazë të rrjeti, një perceptron, është në thelb një analog matematik i një neuroni biologjik. Dhe, si në tru, perceptronet që kryqëzohen me njëri-tjetrin mund të shfaqen në një rrjet nervor.

Shtresa e parë e rrjetit nervor quhet shtresa hyrëse. Çdo nyje në këtë shtresë merr disa informacione si hyrje dhe e transmeton atë në nyjet pasuese në shtresat e tjera. Më shpesh, nuk ka lidhje midis nyjeve të një shtrese, dhe nyja e fundit e zinxhirit nxjerr rezultatin e rrjetit nervor.

Nyjet në mes quhen nyje të fshehura sepse nuk kanë lidhje me botën e jashtme si nyjet e daljes dhe të hyrjes. Ato thirren vetëm kur aktivizohen shtresat e mëparshme.

Të mësuarit e thellë është në thelb një teknikë e trajnimit të rrjetit nervor që përdor shumë shtresa për të zgjidhur probleme komplekse (si njohja e të folurit) duke përdorur modele. Në vitet tetëdhjetë, shumica e rrjeteve nervore ishin me një shtresë për shkak të kosto e larte dhe kufizimet e të dhënave.

Nëse e konsiderojmë mësimin e makinerive si një degë ose variant të inteligjencës artificiale, atëherë mësimi i thellë është një lloj i specializuar i një dege të tillë.

Mësimi i makinerive përdor inteligjencën kompjuterike që nuk jep menjëherë përgjigjen. Në vend të kësaj, kodi do të ekzekutohet në të dhënat e testimit dhe, bazuar në korrektësinë e rezultateve të tij, do të rregullojë progresin e tij. Për suksesin e këtij procesi, zakonisht përdoren një sërë teknikash, softuer special dhe shkenca kompjuterike, që përshkruajnë metoda statike dhe algjebër lineare.

Metodat e të mësuarit të thellë

Metodat e të mësuarit të thellë ndahen në dy lloje kryesore:

• Trajnim me tutor
• Mësimi i pambikëqyrur

Metoda e parë përdor të dhëna të zgjedhura posaçërisht për të arritur rezultatin e dëshiruar. Kërkon mjaft ndërhyrje njerëzore, sepse të dhënat duhet të zgjidhen me dorë. Megjithatë, është e dobishme për klasifikim dhe regresion.

Imagjinoni që jeni pronar i një kompanie dhe dëshironi të përcaktoni ndikimin e bonuseve në kohëzgjatjen e kontratave të vartësve tuaj. Me të dhënat e mbledhura paraprakisht, një metodë mësimi e mbikëqyrur do të ishte e domosdoshme dhe shumë efektive.

Metoda e dytë nuk nënkupton përgjigje të parapërgatitura dhe algoritme pune. Ai synon të identifikojë modelet e fshehura në të dhëna. Zakonisht përdoret për grupimin dhe detyrat e shoqërimit, të tilla si grupimi i klientëve sipas sjelljes. "Ata gjithashtu zgjedhin me këtë" në Amazon është një variant i detyrës së shoqatës.

Ndërsa mësimi i mbikëqyrur është shpesh mjaft i përshtatshëm, është më shumë opsion i vështirë akoma më mirë. Të mësuarit e thellë ka dëshmuar se është një rrjet nervor që nuk kërkon mbikëqyrje njerëzore.

Rëndësia e të mësuarit të thellë

Kompjuterët kanë përdorur prej kohësh teknologjinë për të njohur veçori të caktuara në një imazh. Megjithatë, rezultatet ishin larg nga suksesi. Vizioni kompjuterik ka pasur një ndikim të jashtëzakonshëm në të mësuarit e thellë. Janë këto dy teknika që ky moment zgjidh të gjitha problemet e njohjes.

Në veçanti, Facebook ka arritur të njohë fytyrat në fotografi duke përdorur mësimin e thellë. Ky nuk është një përmirësim i thjeshtë në teknologji, por një pikë kthese që ndryshon të gjitha besimet e mëparshme: “Një person mund të përcaktojë me probabilitet 97,53% nëse i njëjti person shfaqet në dy fotografi të ndryshme. Programi i zhvilluar nga ekipi i Facebook mund ta bëjë këtë me një probabilitet 97.25%, pavarësisht nga ndriçimi ose nëse personi është duke parë drejtpërdrejt kamerën ose është kthyer anash drejt saj."

Njohja e të folurit gjithashtu ka pësuar ndryshime të rëndësishme. Ekipi në Baidu, një nga motorët kryesorë të kërkimit në Kinë, ka zhvilluar një sistem të njohjes së të folurit që ka arritur t'i kalojë njerëzit në shpejtësinë dhe saktësinë e shkrimit të tekstit në anglisht. pajisje celulare. Në anglisht dhe mandarin.

Ajo që është veçanërisht interesante është se shkrimi i një rrjeti nervor të përbashkët për dy gjuhë krejtësisht të ndryshme nuk kërkonte shumë punë: "Historikisht, njerëzit e shihnin kinezishten dhe anglishten si dy plotësisht. gjuhë të ndryshme, kështu që secili prej tyre kërkonte një qasje të ndryshme,” thotë Andrew Ng, kreu i qendrës kërkimore Baidu. “Algoritmet e të mësuarit tani janë aq të përgjithësuar sa mundeni Vetëm mëso."

Google përdor të mësuarit e thellë për të menaxhuar energjinë në qendrat e të dhënave të kompanisë. Ata ishin në gjendje të reduktonin kostot e burimeve të ftohjes me 40%. Ky është një përmirësim prej 15% në efikasitetin e energjisë dhe miliona dollarë kursime.

Mikroshërbime të mësimit të thellë

Këtu rishikim i shkurtër shërbimet që lidhen me mësimin e thellë.

Ilustrim Tagger. Përmirësuar nga Illustration2Vec, ky shërbim ju lejon të shënoni imazhe me një vlerësim "të mbrojtura", "të diskutueshme", "të rrezikshme", "të drejtën e autorit" ose "të përgjithshme" në mënyrë që të kuptoni përmbajtjen e imazhit paraprakisht.

• Shtesa Theano e Google
• E modifikueshme në Python dhe Numpy
• Shpesh përdoret për të zgjidhur një sërë problemesh specifike

• Jo Qëllimi i përgjithshëm. Përqendrohuni në vizionin e makinës
• Redaktuar në C++
• Ekziston një ndërfaqe në Python

Kurse online për të mësuarit e thellë

Google dhe Udacity janë bashkuar për të krijuar një kurs falas për mësimin e thellë, pjesë e Kursit të Mësimit të Makinerisë Udacity. Ky program udhëhiqet nga zhvillues me përvojë të cilët dëshirojnë të zhvillojnë fushën e mësimit të makinerive dhe, në veçanti, të të mësuarit të thellë.

Një tjetër opsion i njohur është kursi i mësimit të makinerive nga Andrew Ng, i mbështetur nga Coursera dhe Stanford.

1. Mësimi i Makinerisë - Stanford nga Andrew Ng në Coursera (2010-2014)
2. Mësimi i Makinerisë - Caltech nga Yaser Abu-Mostafa (2012-2014)
3. Mësimi i Makinerisë - Carnegie Mellon nga Tom Mitchell (Pranverë 2011)
4. Rrjetet nervore për mësimin e makinerive - Geoffrey Hinton në Coursera (2012)
5. Klasa e rrjeteve nervore– Hugo Larochelle nga Université de Sherbrooke (2013)

Libra për të mësuarit e thellë

Ndërsa burimet në seksionin e mëparshëm mbështeten në një bazë njohurish mjaft të gjerë, Grokking Deep Learning, përkundrazi, u drejtohet fillestarëve. Siç thonë autorët: "Nëse keni përfunduar klasën e 11-të dhe keni një kuptim të përafërt se si të shkruani Python, ne do t'ju mësojmë të mësuarit e thellë."

Një alternativë popullore ndaj këtij libri është një libër me titullin vetë-shpjegues Deep Learning Book. Është veçanërisht i mirë sepse mbulon të gjithë matematikën që ju nevojitet për të hyrë në këtë fushë.

1. "Deep Learning" nga Yoshua Bengio, Ian Goodfellow dhe Aaron Courville (2015)
2. "Rrjetet nervore dhe të mësuarit e thellë" nga Michael Nielsen (2014)
3. "Të mësuarit e thellë" nga Microsoft Research (2013)
4. “Deep Learning Tutorials” nga LISA Laboratory, University of Montreal (2015)
5. “Neuraltalk” nga Andrej Karpathy
6. "Hyrje në algoritmet gjenetike"
7. "Qasja moderne ndaj inteligjencës artificiale"
8. "Përmbledhje e të mësuarit të thellë dhe rrjeteve nervore"

Video dhe leksione

Deep Learning Simplified është një kanal i mrekullueshëm në YouTube. Ja video e tyre e parë:

Dhe pjesërisht, ky udhëzues është menduar për këdo që është i interesuar në mësimin e makinerive, por nuk di nga të fillojë. Përmbajtja e artikujve është menduar për një audiencë të gjerë dhe do të jetë mjaft sipërfaqësore. Por a kujdeset vërtet dikush? Sa më shumë njerëz të interesuar për mësimin e makinerive, aq më mirë.

Njohja e objekteve duke përdorur të mësuarit e thellë

Ju mund ta keni parë tashmë këtë komik të famshëm xkcd. Shakaja është se çdo 3-vjeçar mund të njohë një foto të një zogu, por për ta bërë këtë kompjuterit iu deshën shkencëtarët më të mirë të informatikës mbi 50 vjet. Në vitet e fundit, më në fund kemi gjetur një qasje të mirë për objektin njohjen duke përdorur rrjetet nervore konvolucionale të thella. Kjo tingëllon si një grumbull fjalësh të sajuara nga një roman fantastiko-shkencor i William Gibson, por do të ketë kuptim sapo t'i marrim ato një nga një. Pra, le ta bëjmë atë - shkruaj një program që njeh zogjtë!

Le të fillojmë thjesht

Para se të mësojmë se si të njohim fotografitë e zogjve, le të mësojmë se si të njohim diçka shumë më të thjeshtë - numrin e shkruar me dorë "8".