Metode, pravila i algoritmi koji se koriste u obuci različitih mrežnih topologija.

... Obuka neuronskih mreža.

... Metode treninga neuronske mreže.

Rješavanje problema na neurokompjuteru je fundamentalno drugačije od rješavanja istog problema na konvencionalnom računaru sa Von Neumannovom arhitekturom. Rješenje problema na konvencionalnom računaru je obrada ulaznih podataka u skladu sa programom. Program pravi osoba. Za kompajliranje programa potrebno je osmisliti algoritam, tj. određeni niz matematičkih i logičkih radnji neophodnih za rješavanje ovog problema. Algoritme, kao i programe, razvijaju ljudi, a kompjuter se koristi samo za obavljanje velikog broja elementarnih operacija: sabiranja, množenja, provjere logičkih uslova itd.

Neurokompjuter se koristi kao "crna kutija" koja se može naučiti rješavanju problema iz razreda. Neurokompjuteru se „prezentuju“ početni podaci problema i odgovor koji tim podacima odgovara i koji je dobijen na bilo koji način. Neurokompjuter mora sam izgraditi algoritam za rješavanje ovog problema unutar “crne kutije” kako bi dao odgovor koji se poklapa s tačnim. Čini se prirodnim očekivati ​​da što više različitih parova (početni podaci), (odgovor) bude predstavljeno neurokompjuteru, to će on konstruisati adekvatniji model za problem koji se rešava.

Nakon faze osposobljavanja neurokompjutera, treba se nadati da će, ako mu se predoče početni podaci, koje ranije nije upoznao, ipak dati ispravno rješenje - to je sposobnost neurokompjutera da generalizuje.

Budući da je neurokompjuter baziran na vještačkoj neuronskoj mreži, proces učenja se sastoji u postavljanju parametara te mreže. U ovom slučaju, u pravilu se topologija mreže smatra nepromijenjenom, a podesivi parametri obično uključuju parametre neurona i vrijednosti sinaptičkih težina. Do danas je u literaturi uobičajeno učenje shvatiti kao proces promjene težine veza između neurona.

Razmotrićemo dva pravca klasifikacije metoda mrežnog treninga. Prvi smjer je na načinima korištenja nastavnika.

Sa učiteljicom:

Mreže pokazuju primjere ulaza i izlaza. Mreža transformiše ulazne podatke i upoređuje njihov izlaz sa željenim. Nakon toga, ponderi se koriguju kako bi se dobila bolja konzistentnost rezultata.

Učenje s pojačanjem:

U ovom slučaju, mreži se ne daje željena izlazna vrijednost, već se umjesto toga procjenjuje da li je izlaz dobar ili loš.

Učenje bez nastavnika:

Sama mreža razvija pravila učenja izdvajanjem karakteristika iz skupa ulaznih podataka.

Drugi pravac klasifikacije nastavnih metoda je prema upotrebi elemenata slučajnosti.

Determinističke metode:

U njima se, korak po korak, provodi postupak korekcije mrežnih težina, na temelju korištenja njihovih trenutnih vrijednosti, na primjer, vrijednosti željenih mrežnih izlaza. Algoritam učenja povratnog širenja razmatran u nastavku je primjer determinističkog učenja.

Stohastičke metode učenja:

Zasnivaju se na korišćenju nasumičnih promena težine tokom treninga. Boltzmannov algoritam učenja koji se razmatra u nastavku je primjer stohastičkog učenja.

... Pravila obuke neuronske mreže .

Pravila učenja definiraju zakon po kojem mreža mora promijeniti svoje sinaptičke težine tokom procesa učenja.

Hebbovo pravilo (D.Hebb):

Većina metoda treninga zasnovana je na općim principima obuke neuronskih mreža koje je razvio Donald Hebb. Hebbov princip se može formulirati na sljedeći način: "Ako su dva neurona istovremeno aktivna, povećajte snagu veze između njih", što se može zapisati kao:

dW ij = gf (Y i) f (Y j),

gdje je: dW ij - vrijednost promjene sinapse W ij

Y i - nivo ekscitacije i-tog neurona

Y j - nivo ekscitacije j-tog neurona

f (.) - funkcija transformacije

g je konstanta koja određuje brzinu učenja.

Većina nastavnih pravila zasniva se na ovoj formuli.

Delta pravilo:

Poznato je kao pravilo smanjenja greške na kvadrat i predloženo je. Delta pravilo se koristi u učenju pod nadzorom.

dW ij = g (D j - Y j) Y i

gdje je: D j željeni izlaz j-tog neurona.

Dakle, do promjene jačine veza dolazi u skladu s greškom izlaznog signala (D j - Y j) i nivoom aktivnosti ulaznog elementa Y. Generalizacija delta pravila, nazvana Back-Propagation , koristi se u neuronskim mrežama sa dva ili više slojeva...

UMJETNOST - pravilo:

Teorija adaptivne rezonance (ART) razvijena je u. ART je učenje bez nadzora, kada se samoorganizacija javlja kao rezultat odgovora na izbor ulaznih slika. ART mreža je sposobna da klasifikuje slike. ART koristi koncept dugoročne i kratkoročne memorije za učenje neuronskih mreža. Dugoročna memorija pohranjuje reakcije na slike s kojima je mreža obučena u obliku vektora težine. Kratkoročna memorija sadrži trenutnu ulaznu sliku, očekivanu sliku, klasifikaciju ulazne slike. Očekivani obrazac se dohvaća iz dugoročne memorije kad god se novi obrazac unese na NN ulaz. Ako su slični prema određenom kriteriju, mreža ih svrstava u postojeću klasu. Ako su različiti, formira se nova klasa u kojoj će ulazni vektor biti prvi član klase.

Ovo učenje se naziva kontradiktorno učenje. Najjednostavniji tip suparničkog učenja je određen pravilom „pobjednik uzima sve“. ansambl sa najboljim izlazom se aktivira, ostali su potisnuti.

Element sa najvišim nivoom aktivacije naziva se „pobednik“. Kada je odabrano, NN dodaje karakteristike ulazne slike članovima dugotrajne memorije ponovnim trčanjem naprijed-nazad kroz težine dugoročne memorije. Grossberg je ovaj proces nazvao rezonancijom.

Kohonenovo pravilo:

Theo Kohonen sa Helsinškog instituta za tehnologiju koristio je koncept adversarnog učenja kako bi razvio pravilo „nenadgledanog“ učenja u neuronskoj mreži kao što je Kohonenova mapa (slika 3.3).

Kohonenovo pravilo je sljedeće. Prvo, pobjednik se bira pomoću strategije pobjednik uzima sve. Pošto je izlaz j-tog neurona određen skalarnim proizvodom (U, W j) ulaznog vektora U sa vektorom težina veza između ulaznog sloja i j-tog neurona, on zavisi od ugla između vektori U, W j. Stoga se bira neuron čiji je vektor težina W j najbliži ulaznom vektoru U. (drugim riječima, odabire se najaktivniji neuron). Zatim se konstruiše novi vektor W j tako da bude bliži ulaznom vektoru U, tj. :

W ij novi = W ij stari + g (U - W ij stari) i = 1,2, ..., k.

gdje je: k broj mrežnih ulaza.

g je konstanta učenja.

Boltzmannova obuka:

Boltzmannova obuka se sastoji u pojačavanju treninga u skladu sa ciljnom funkcijom promjene izlaza neuronske mreže. Ovaj trening koristi probabilističku funkciju za promjenu težine. Ova funkcija je obično u obliku Gausove distribucije, iako se mogu koristiti i druge distribucije.

Boltzmannova obuka se izvodi u nekoliko faza.

1. Koeficijent T ima veliku početnu vrijednost.

2. Ulazni vektor se propušta kroz mrežu, a ciljna funkcija se izračunava iz izlaza.

3. Težina se nasumično mijenja u skladu sa Gaussovom raspodjelom: P (x) = exp (-x 2 / T 2), gdje je x promjena težine.

4. Izlaz i ciljna funkcija se ponovo izračunavaju.

5. Ako se vrijednost ciljne funkcije smanjila (poboljšala), zadržite promjenu težine. Ako nije, a vrijednost oštećenja ciljne funkcije je C, tada se vjerovatnoća održavanja promjene težine izračunava na sljedeći način.

Vrijednost P (C) je vjerovatnoća promjene C u funkciji cilja, određena korištenjem Boltzmannove distribucije: P (C) ~ exp (- C / kT)

gdje je: k konstanta slična Boltzmannovoj konstanti, odabrana u zavisnosti od uslova problema.

Zatim odaberite slučajni broj V koristeći uniformnu distribuciju od nule do jedan. Ako je R (S)> V, onda je promjena težine sačuvana, u suprotnom promjena težine je jednaka nuli.

Koraci 3 - 5 se ponavljaju za svaku od pondera mreže, uz postepeno smanjenje T dok se ne postigne prihvatljivo niska vrijednost funkcije cilja. Nakon toga, cijeli proces učenja se ponavlja za drugi ulazni vektor. Mreža se trenira na svim vektorima sve dok funkcija cilja ne postane izvodljiva za sve njih. Štaviše, da bi se osigurala konvergencija, promjena T mora biti proporcionalna logaritmu vremena t:

T (t) = T (0) / log (1 + t)

To znači da je stopa konvergencije ciljne funkcije niska, stoga vrijeme treninga može biti jako dugo.

... Algoritmi za obuku neuronskih mreža.

Trening feedforward mreže.

Da biste trenirali mrežu, morate znati vrijednosti d j (j = 1,2 ...

Greška mrežnog rada na ovim podacima definira se kao

gdje je: y j - izlaz mreže.

Da biste smanjili ovu grešku, mrežne težine treba promijeniti prema sljedećem pravilu:

W k novo = W k staro -  • (E / W k)

gdje je:  konstanta koja karakterizira brzinu učenja.

Posljednja formula opisuje proces gradijentnog spuštanja u prostoru utega. Izraz za derivaciju dE / dW je sljedeći:

E / W k-1 ij = (d j - y j) f j u k-1 i za izlazni sloj, tj. k = K

E / W k-1 ij =  [(d j - y j)  f j w k ij]  f j u k-1 i za skrivene slojeve,

one. k = 1.2. ... ... , K-1.

Ako se sigmoidna funkcija koristi kao nelinearna transformirajuća funkcija, tada je umjesto posljednja dva izraza zgodno koristiti sljedeće rekurentne formule za izlazni sloj:

 k-1 j = (d j - y j) y j  (1- y j), E / W k-1 ij =  k-1 j u k-1 i

za skrivene slojeve:

 k-1 j =  [ k j w k] u j k  (1- u j k), E / W k-1 ij =  k-1 j u k-1 i

Ove relacije se nazivaju formule povratnog širenja. Ako se, tokom direktnog rada, ulazni signal širi kroz mrežu od ulaznog sloja do izlaznog, tada se pri podešavanju pondera greška mreže širi od izlaznog sloja do ulaza.

Obuka Kohonenovih mreža (izgradnja karata karakteristika).

Da bi se konstruisala Kohonenova mapa, potreban je dovoljno reprezentativan uzorak vektora karakteristika treninga (U). Neka svaki vektor U skupa (U) ima dimenziju k: U = (U 1, U 2,..., U k).

Tada prvi (distributivni) sloj Kohonenove mreže mora imati k neurona; n neurona drugog sloja (mape) nalaze se izvan ravni u nekoj regularnoj konfiguraciji, na primjer, iz kvadratne pravokutne mreže (slika 3.3). Nasumične vrijednosti se dodjeljuju podesivim vezama između neurona prvog i drugog sloja W ij.

Ovdje indeks i označava broj neurona prvog sloja, indeks j - broj neurona drugog sloja. Prije početka treninga postavlja se funkcija utjecaja neurona drugog sloja jedan na drugi g (r, t), gdje je r razmak između neurona, t je parametar koji karakterizira vrijeme treninga.

Ova funkcija tradicionalno ima oblik "meksičkog šešira" (slika 3.4.), koji se u procesu učenja čini "užim", kako se parametar t povećava. Međutim, često se koriste jednostavnije funkcije, na primjer:

gdje je: D konstanta koja karakterizira početni polumjer pozitivnog vrha meksičkog šešira.

Svaki ciklus obuke sastoji se od naizmjeničnog predstavljanja mreže vektora skupa za obuku uz naknadnu korekciju težina W ij. Podešavanje se vrši na sledeći način:

1. Kada se na ulazu mreže pojavi sljedeći vektor obuke U, mreža izračunava odgovor neurona drugog sloja:

2. Odabire se pobjednički neuron (tj. neuron sa najvećim odgovorom). Njegov C broj je definisan kao:

C = argmax Y j, j = 1,2,. ... ., n.

3. Korekcija težina veza W vrši se prema sljedećoj formuli:

W ij novi = W ij stari +  • g (r, t) • (U i - W ij stari), i = 1,. ... ... , k; j = 1,. ... ... n.

Ovdje je  konstanta koja karakterizira učenje.

Ako se nakon sljedećeg ciklusa učenja proces promjene težine uspori, povećajte parametar t.

Obuka Hopfield mreže.

Ovdje treba istaknuti dvije mogućnosti povezane s kasnijim korištenjem mreže: da li će se koristiti kao asocijativna memorija ili za rješavanje problema optimizacije.

Mreža se koristi kao asocijativna memorija. Naime: želimo da u njega pohranimo m binarnih vektora V s, s = 1,2,. ... .n: V s = (V 1s, V 2s, ..., V ns).

To znači da prilikom predstavljanja mreže bilo kojeg od ovih vektora ona mora doći u stabilno stanje koje odgovara ovom vektoru, tj. isti vektor treba izabrati na izlazu neurona. Ako je mreža predstavljena sa nepoznatim vektorom U, tada bi se jedan od pohranjenih vektora V i trebao pojaviti na izlazu mreže, koji je najbliži U.

Očigledno, broj neurona u takvoj mreži bi trebao biti jednak dužini pohranjenih vektora n.

Najjednostavniji način formiranja težine takve mreže postiže se sljedećim postupkom:

Međutim, kapacitet takve mreže (tj. broj pohranjenih vektora m) je mali, m  log n. U ovom radu, za formiranje pondera, korišćeno je pravilo učenja Hebbovog tipa, usled čega je postignut kapacitet mreže m  n.

Mreža se koristi za rješavanje problema optimizacije. Ova mogućnost je zbog sljedeće izvanredne osobine Hopfield mreže: tokom rada mreže, vrijednost (koja se u literaturi obično naziva "energija" Hopfield mreže) se ne povećava. Jedna od opcija za "energiju" Hopfield mreže:

gdje su A, B konstante definirane problemom. Zadatak istraživanja je formulirati početni problem optimizacije u terminima neuronske mreže i napisati minimizirani funkcionalni E h. Dobijeni izraz za W ij daje vrijednost težinskih faktora. Kao rezultat funkcioniranja, mreža dolazi u ravnotežno stanje, koje odgovara lokalnom minimumu funkcionalnog E h. U ovom slučaju, vrijednosti pobude neurona odgovaraju vrijednostima argumenata na kojima se postiže minimum.

Algoritmi za učenje neuronskih mreža

U fazi obuke, sinaptički koeficijenti se izračunavaju u procesu rješavanja specifičnih problema neuronskom mrežom. Nadzirano učenje neuronske mreže može se posmatrati kao rješenje problema optimizacije. Njegova svrha je minimizirati funkcije greške (reziduale) na datom skupu primjera odabirom vrijednosti težina W.

Postoje dvije vrste nastave: sa nastavnikom i bez nastavnika. Nadzirano učenje uključuje predstavljanje niza trening parova (X i, D i) mreži, gdje je X i primjer obuke, D i je standard koji se mora dobiti na izlazu mreže. Za svaki X i izračunava se y i i poredi sa D i. Razlika se koristi za korekciju sinaptičke matrice. Učenje bez nadzora podrazumijeva samo nastavne primjere X i. Sinaptička matrica je podešena tako da slični ulazni vektori odgovaraju istim rezultujućim vektorima.

Proces učenja se može posmatrati kao diskretni proces opisan jednadžbama konačnih razlika. Većina nastavnih metoda koristi Hubbovu ideju ponavljanja naučenog primjera. Sinaptička težina se povećava ako se aktiviraju dva neurona - izvor i odredište. Dobitak na težini je određen proizvodom nivoa ekscitacije dva neurona, koji se može napisati na sljedeći način:

gdje su vrijednosti težine veze od i-tog neurona do j-tog na prethodnoj i trenutnoj iteraciji treninga;

- stopa učenja ();

- izlaz neurona i, koji je ulaz za j-ti neuron u 0-oj iteraciji;

- izlaz neurona j na 0. iteraciji.

Proces učenja neuronske mreže razmatra se kao problem minimiziranja neke funkcije F (W) min, gdje je W sinaptička matrica mreže.

Za rješavanje takvog problema mogu se koristiti različite metode nelinearnog programiranja: gradijent, kvazi-njutnovska slučajna pretraga itd.

Zajedničko metodama obuke mreže je sljedeće: za neko početno stanje sinaptičke matrice određuje se smjer opadanja ciljne funkcije F (W) i u tom smjeru se nalazi njen minimum. Za dobivenu tačku ponovo se izračunava smjer opadanja funkcije i provodi se jednodimenzionalna optimizacija. Općenito, algoritam se može predstaviti kao

gdje je veličina koraka u fazi 0;

Smjer pretraživanja u fazi 0.

Najnaprednija metoda obuke je algoritam povratnog širenja. Nema ograničenja u pogledu broja slojeva i topologije mreže. Jedini uslov je da je funkcija pobude svuda diferencibilna. Obično se koristi sigmoidna (logistička) funkcija. Propagiranje unazad je metoda učenja pod nadzorom (slika 6.5).

Rice. 6.5. Šema obuke neuronske mreže sa nastavnikom

Algoritam povratnog širenja je evolucija generaliziranog delta pravila i algoritam gradijentnog spuštanja koji minimizira ukupnu grešku na kvadrat. Glavni cilj je izračunati osjetljivost mrežne greške na promjene težina.

Neka neuronska mreža odgovara dijagramu na sl. 6.2. Tada se algoritam učenja može opisati:

1. Postavite sinaptičke matrice W, W *.

2. Za svaki trening par (X i, D i) izvršite sljedeće radnje:

dostaviti sljedeći skup podataka za obuku na ulaz skrivenog sloja;

izračunajte izlaz skrivenog sloja:

;

izračunaj izlaz izlaznog sloja:

.

između dobijenih izlaznih vrijednosti mreže i referentnih vrijednosti;

za neurone skrivenog sloja.

Ponavljajte korake 2 i 3 dok greške ne budu prihvatljive.

Primjer 6.3. Neka neuronska mreža odgovara dijagramu na sl. 6.2. U ovom slučaju, n = 2, m = 2, k = 1 (slika 6.6). Skup za učenje = (1; 2), D = 3. Potrebno je osposobiti neuronsku mrežu da sabere brojeve 1 i 2. Svi neuroni su pobuđeni sigmoidnom funkcijom. Sinaptičke matrice za skriveni sloj na prvoj iteraciji su specificirane:

i vektor za izlazni sloj

Rice. 6.6. Neuronska mreža sa jednim skrivenim slojem

Izračunajte ponderisani zbir

Ponderisani ulaz za izlazni sloj

Istovremeno, željena vrijednost y (1), pretvorena uz pomoć funkcije pobude

D = F (3) = 0,952.

Dakle, srednja kvadratna greška (RMSE):

Stvarni izlaz i željeni izlaz se ne poklapaju, pa sinaptičke težine treba promijeniti. Da biste to učinili, potrebno je saznati kako će te promjene utjecati na veličinu greške. Analiza se, prema algoritmu povratnog širenja, izvodi počevši od izlaznog sloja mreže i krećući se prema ulaznom:

1) prije svega saznajte kako promjene izlaza utiču na mrežnu grešku. Da biste to učinili, dovoljno je odrediti stopu promjene greške na datoj izlaznoj vrijednosti. Brzina se određuje pomoću izvoda. Diferencijacija se vrši na argumentu y (1).

Primljeni odgovor stope promjene greške na datoj vrijednosti izlaza je negativan, što ukazuje na potrebu povećanja vrijednosti na izlazu;

2) odrediti kako svaki od
ulaze izlaznog sloja. Da bismo to učinili, određujemo stopu promjene mrežne greške prilikom promjene ponderiranog prosječnog ulaza izlaznog sloja V * (1):

Vrijednost EQ pokazuje da je stopa promjene greške u
proces promjene ponderiranog prosječnog ulaza izlaznog neurona je značajno niži u poređenju sa brzinom odgovora mreže na promjenu njenog izlaza.

4. Trening neuronske mreže.

4.1 Opće informacije o neuronskim mrežama

Umjetne neuronske mreže su modeli zasnovani na modernim idejama o strukturi ljudskog mozga i procesima obrade informacija koji se u njemu odvijaju. ANN su već našle široku primjenu u problemima: kompresija informacija, optimizacija, prepoznavanje obrazaca, konstrukcija ekspertnih sistema, obrada signala i slike itd.

Veza između bioloških i umjetnih neurona

Slika 20 - Struktura biološkog neurona

Ljudski nervni sistem se sastoji od ogromnog broja međusobno povezanih neurona, oko 10 11; broj linkova se računa kao 10 15.

Hajde da šematski predstavimo par bioloških neurona (slika 20.) Neuron ima nekoliko ulaznih procesa - dendrita i jedan izlaz - akson. Dendriti primaju informacije od drugih neurona, a akson - prenosi. Područje gdje se akson povezuje sa dendritom (područje kontakta) naziva se sinapsa. Signali koje primaju sinapse dovode se do tijela neurona, gdje se dodaju. U ovom slučaju, jedan dio ulaznih signala je uzbudljiv, a drugi inhibitorni.

Kada ulazno djelovanje prijeđe određeni prag, neuron prelazi u aktivno stanje i šalje signal drugim neuronima duž aksona.

Veštački neuron je matematički model biološkog neurona (slika 21). Označimo ulazni signal kroz x, a skup ulaznih signala kroz vektor X = (x1, x2, ..., xN). Izlazni signal neurona će biti označen sa y.

Nacrtajmo funkcionalni dijagram neurona.

Slika 21 - Veštački neuron

Da bismo označili uzbudljiv ili inhibitorni efekat ulaza, uvodimo koeficijente w 1, w 1, ..., w N - za svaki ulaz, odnosno vektor

W = (w 1, w 1,…, w N), w 0 je granična vrijednost. Ulazni uticaji X ponderisani na vektoru W se množe sa odgovarajućim koeficijentom w, zbrajaju i generiše se signal g:

Izlazni signal je neka funkcija g

,

gdje je F aktivacijska funkcija. Može biti raznih vrsta:

1) stepenasti prag

ili

Uglavnom:

2) linearni, što je ekvivalentno odsustvu elementa praga uopšte

F (g) = g

3) komadno linearno, dobijeno od linearnog ograničavanjem opsega njegovog variranja unutar, tj

4) sigmoidalni

5) višeprag

6) hiperbolička tangenta

F (g) = tanh (g)

Najčešće se ulazne vrijednosti pretvaraju u raspon XÎ. Kada je w i = 1 (i = 1, 2,…, N), neuron je većinski element. U ovom slučaju, prag uzima vrijednost w 0 = N / 2.

Druga verzija uvjetne slike umjetnog neurona prikazana je na slici 22

Slika 22 - Konvencionalna oznaka umjetnog neurona

Sa geometrijske tačke gledišta, neuron sa funkcijom linearne aktivacije opisuje jednadžbu linije, ako je ulaz jedna vrijednost x 1

ili ravan, kada je ulaz vektor vrijednosti X

Struktura (arhitektura, topologija) neuronskih mreža

Postoji mnogo načina za organiziranje ANN-a, ovisno o: broju slojeva, obliku i smjeru veza.

Opišimo primjer organizacije neuronskih mreža (slika 23).

Jednoslojna struktura Dvoslojna struktura sa povratnom spregom sa povratnom spregom

Dvoslojna struktura Troslojna struktura sa direktnim vezama sa direktnim vezama

Slika 23 - Primjeri struktura neuronskih mreža

Slika 24 prikazuje troslojnu direktno spregnutu neuronsku mrežu. Sloj neurona koji direktno prima informacije iz vanjskog okruženja naziva se ulazni sloj, a sloj koji prenosi informacije u vanjsko okruženje naziva se izlazni sloj. Svaki sloj koji leži između njih i nema kontakt s vanjskim okruženjem naziva se srednji (skriveni) sloj. Može biti više slojeva. U višeslojnim mrežama, po pravilu, neuroni jednog sloja imaju funkciju aktivacije istog tipa.

Slika 24 - Troslojna neuronska mreža

Prilikom projektovanja mreže, sledeći su početni podaci:

- dimenzija vektora ulaznog signala, odnosno broj ulaza;

Je dimenzija vektora izlaznog signala. Broj neurona u izlaznom sloju je obično jednak broju klasa;

- formulacija problema koji treba riješiti;

- tačnost rješavanja problema.

Na primjer, kada se rješava problem detekcije korisnog signala, NS može imati jedan ili dva izlaza.

Stvaranje ili sinteza neuronske mreže je problem koji trenutno nije teorijski riješen. Privatno je.

Trening neuronske mreže

Jedno od najznačajnijih svojstava neuronskih mreža je njihova sposobnost učenja. Uprkos činjenici da se proces učenja NN razlikuje od podučavanja osobe u uobičajenom smislu, na kraju takvog učenja postižu se slični rezultati. Svrha podučavanja neuronske mreže je da je podesi za dato ponašanje.

Najčešći pristup obučavanju neuronskih mreža je konekcionizam. Obezbeđuje obuku mreže podešavanjem vrednosti koeficijenata težine wij koji odgovaraju različitim vezama između neurona. Matrica W težina wij mreže naziva se sinaptička mapa. Ovdje je indeks i serijski broj neurona iz kojeg potiče veza, odnosno prethodnog sloja, a j je broj neurona sljedećeg sloja.

Postoje dvije vrste NN učenja: učenje pod nadzorom i učenje bez nadzora.

Nadzirano učenje se sastoji u predstavljanju mreži niza parova učenja (primjera) (Xi, Hi), i = 1, 2,…, m slika, što se naziva sekvenca učenja. U ovom slučaju, za svaku ulaznu sliku Xi, odgovor mreže Y i se izračunava i upoređuje sa odgovarajućom ciljnom slikom H i. Algoritam učenja koristi rezultujuću neusklađenost da ispravi sinaptičku mapu na takav način da smanji grešku neusklađenosti. Takva adaptacija se izvodi cikličnim predstavljanjem uzorka za obuku sve dok greška neusklađenosti ne dostigne dovoljno nizak nivo.

Iako je proces nadgledanog učenja jasan i široko korišten u mnogim primjenama neuronskih mreža, on još uvijek ne odgovara u potpunosti stvarnim procesima koji se odvijaju u ljudskom mozgu tokom procesa učenja. Kada uči, naš mozak ne koristi nikakve slike, već sam vrši generalizaciju informacija koje dolaze izvana.

U slučaju učenja bez nadzora, sekvenca obuke se sastoji samo od ulaznih slika Xi. Algoritam učenja prilagođava težine tako da slični izlazni vektori odgovaraju bliskim ulaznim vektorima, odnosno zapravo dijeli prostor ulaznih slika na klase. U isto vrijeme, prije treninga, nemoguće je predvidjeti koji će izlazni obrasci odgovarati klasama ulaznih obrazaca. Moguće je uspostaviti takvu korespondenciju i dati joj tumačenje tek nakon obuke.

Obuka NN može se posmatrati kao kontinuirani ili kao diskretni proces. U skladu s tim, algoritmi učenja mogu se opisati ili diferencijalnim jednadžbama ili jednadžbama konačnih razlika. U prvom slučaju, neuronska mreža je implementirana na analognim, u drugom - na digitalnim elementima. Govorit ćemo samo o algoritmima konačnih razlika.

U stvari, neuronska mreža je specijalizovani paralelni procesor ili program koji emulira neuronsku mrežu na serijskom računaru.

Većina algoritama učenja (AO) neuronskih mreža izrasla je iz Hubb koncepta. On je predložio jednostavan algoritam bez nadzora, u kojem se vrijednost težine w ij, koja odgovara vezi između i-tog i j-tog neurona, povećava ako su oba neurona u pobuđenom stanju. Drugim riječima, u procesu učenja, veze između neurona se koriguju u skladu sa stepenom korelacije njihovih stanja. Ovo se može izraziti kao sljedeća jednačina konačnih razlika:

gdje su w ij (t + 1) i w ij (t) vrijednosti težine veza između neurona i i neurona j prije podešavanja (u koraku t + 1) i nakon podešavanja (u koraku t), respektivno; v i (t) - izlaz neurona i i izlaz neurona j u koraku t; v j (t) - izlaz neurona j u koraku t; α je parametar brzine učenja.

Strategija učenja neuronske mreže

Uz algoritam učenja, strategija mrežnog učenja je jednako važna.

Jedan od pristupa je sekvencijalna obuka mreže na nizu primjera (X i, H i) i = 1, 2,…, m koji čine uzorak za obuku. U ovom slučaju, mreža je osposobljena da prvo ispravno odgovori na prvu sliku X 1, zatim na drugu X 2, itd. Međutim, u ovoj strategiji postoji opasnost da mreža izgubi prethodno stečene vještine prilikom podučavanja svakog sljedećeg primjera, odnosno mreža može „zaboraviti“ prethodno prikazane primjere. Da se to ne bi dogodilo, potrebno je istovremeno trenirati mrežu sa svim primjerima uzorka za obuku.

X 1 = (X 11, ..., X 1 N) možete trenirati 100 c 1

X 2 = (X 21, ..., X 2 N) 100 q 2 100 q

……………………

X m = (X m 1, ..., X mN) 100 c 3

Budući da je rješenje problema učenja povezano s velikim poteškoćama, alternativa je minimiziranje ciljne funkcije oblika:

,

gdje je l i - parametri koji određuju zahtjeve za kvalitetom obuke neuronske mreže za svaki od primjera, tako da je λ 1 + λ 2 +… + λ m = 1.

Praktični dio.

Formiramo set za obuku:

P_o = mačka (1, Mt, Mf);

Postavimo strukturu neuronske mreže za problem detekcije:

net = newff (minmax (P_o),, ("logsig", "logsig"), "trainlm", "learngdm");

net.trainParam.epochs = 100;% specificirani broj ciklusa obuke

net.trainParam.show = 5;% broj petlji za prikaz međurezultata;

net.trainParam.min_grad = 0;% ciljne vrijednosti gradijenta

net.trainParam.max_fail = 5;% maksimalno dozvoljeni višestrukost prekoračenja greške test uzorka u poređenju sa postignutom minimalnom vrednošću;

net.trainParam.searchFcn = "srchcha";% naziv korišćenog jednodimenzionalnog algoritma optimizacije

net.trainParam.goal = 0;% ciljne greške treninga

Newff funkcija je dizajnirana da stvori "klasičnu" višeslojnu neuronsku mrežu sa obukom koristeći metodu backpropagacije. Ova funkcija sadrži nekoliko argumenata. Prvi argument funkcije je matrica minimalnih i maksimalnih vrijednosti skupa za obuku P_o, koja se određuje pomoću izraza minmax (P_o).

Drugi argumenti funkcije dati su u uglastim zagradama i određuju broj i veličinu slojeva. Izraz znači da neuronska mreža ima 2 sloja. U prvom sloju - npr = 10 neurona, au drugom - 2. Broj neurona u prvom sloju određen je dimenzijom matrice ulaznih karakteristika. U zavisnosti od broja karakteristika u prvom sloju može biti: 5, 7, 12 neurona. Dimenzija drugog sloja (izlaznog sloja) određena je problemom koji se rješava. U zadacima detekcije korisnog signala na pozadini mikroseizma, klasifikacija prema prvoj i drugoj klasi, 2 neurona se postavljaju na izlaz neuronske mreže.

Treći argumenti funkcije definiraju tip aktivacijske funkcije u svakom sloju. Izraz ("logsig", "logsig") znači da se u svakom sloju koristi sigmoidno-logistička aktivacijska funkcija, čiji je raspon (0, 1).

Četvrti argument specificira tip funkcije treninga neuronske mreže. Primjer definira funkciju obuke koja koristi Levenberg-Marquardtov algoritam optimizacije - "trainlm".

Prva polovina vektora matrice T inicijalizirana je vrijednostima (1, 0), a sljedeća polovina - (0, 1).

net = newff (minmax (P_o),, ("logsig", "logsig"), "trainlm", "learngdm");

net.trainParam.epochs = 1000;

net.trainParam.show = 5;

net.trainParam.min_grad = 0;

net.trainParam.max_fail = 5;

net.trainParam.searchFcn = "srchcha";

net.trainParam.goal = 0;

Program za inicijalizaciju željenih izlaza neuronske mreže T:

n1 = dužina (Mt (:, 1));

n2 = dužina (Mf (:, 1));

T1 = nule (2, n1);

T2 = nule (2, n2);

T = kat (2, T1, T2);

Trening neuronske mreže:

net = voz (net, P_o, T);

Slika 25 - Raspored treninga neuronske mreže.

Upravljajmo neuronskom mrežom:

Y_k = sim (neto, P_k);

Sim komanda prenosi podatke iz kontrolnog skupa P_k na ulaz neuronske mreže, dok se rezultati upisuju u matricu izlaza Y_k. Broj redova u matricama P_k i Y_k je isti.

Pb = zbir (okruglo (Y_k (1,1: 100))) / 100

Procjena vjerovatnoće ispravnog otkrivanja gusjeničnih vozila Pb = 1 alfa = zbir (okrugla (Y_k (1,110: 157))) / 110

Procijenjena vjerovatnoća lažnog alarma alfa = 0

Određujemo srednju kvadratnu grešku upravljanja koristeći željene i stvarne izlaze neuronske mreže Ek.

Vrijednost srednje kvadratne greške kontrole je:

sqe_k = 2,5919e-026

Testirajmo rad neuronske mreže. Da bismo to učinili, formirat ćemo matricu karakteristika test signala:

h3 = tr_t50-srednja vrijednost (tr_t50);

Mh1 = MATRPRIZP (h3,500, N1, N2);

Mh1 = Mh1 (1:50, :);

Y_t = sim (neto, P_t);

Pb = zbroj (okruglo (Y_t (1,1: 100))) / 100

Procjena vjerovatnoće ispravnog otkrivanja gusjeničnih vozila Pb = 1

Pronalazimo razliku između željenih i stvarnih izlaza neuronske mreže E i određujemo srednju kvadratnu grešku testiranja.

Vrijednost srednje kvadratne greške testa je:

sqe_t = 3.185e-025

Zaključak: u ovom dijelu smo izgradili model detektora seizmičkog signala na neuronskoj mreži sa obukom metodom povratnog širenja. Problem detekcije se rješava malim greškama, stoga su karakteristike pogodne za detekciju.

Ova dvoslojna neuronska mreža može se koristiti za izgradnju sistema za detekciju objekata.

Zaključak

Svrha ovog kursa bila je proučavanje metoda obrade informacija i njihove primjene u rješavanju problema detekcije objekata.

U toku obavljenog posla, koji se odvijao u četiri faze, dobijeni su sljedeći rezultati:

1) Konstruirani su histogrami gustoće vjerovatnoće uzorka amplituda signala kao slučajnih varijabli.

Procijenjeni su parametri distribucije: matematičko očekivanje, varijansa, standardna devijacija.

Napravili smo pretpostavku o zakonu raspodjele amplitude i testirali hipotezu prema kriterijima Kolmogorov-Smirnov i Pearson na nivou značajnosti od 0,05. Prema kriterijumu Kolmogorov-Smirnov, distribucija je usklađena, tačno. Prema Pearsonovom kriteriju, distribucija je ispravno postavljena samo za pozadinski signal. Za njega je prihvaćena hipoteza o normalnoj distribuciji.

Uzeli smo signale za realizaciju slučajnih funkcija i za njih izgradili korelacione funkcije. Prema korelacionim funkcijama utvrđeno je da signali imaju nasumični oscilatorni karakter.

2) Generisani skupovi podataka za obuku i kontrolu (za obuku i kontrolu neuronske mreže).

3) Za matricu obuke procijenjeni su parametri distribucije karakteristika: matematičko očekivanje, varijansa, standardna devijacija. Za svaku karakteristiku matrice treninga datih časova izračunata je udaljenost i odabrana karakteristika sa maksimalnom razlikom. Izračunat je prag odluke i krive gustine vjerovatnoće su ucrtane na jedan grafikon. Formulisano pravilo odluke.

4) Osposobili dvoslojnu neuronsku mrežu za rješavanje problema klasifikacije. Procijenjene su vjerovatnoće tačne detekcije i lažne uzbune. Isti indikatori su evaluirani pomoću test signala.

Bolesti kao posljedica respiratorne paralize. 4. Zapaljivo oružje Važno mjesto u sistemu konvencionalnog naoružanja pripada zapaljivom oružju, koje predstavlja skup sredstava za uništavanje zasnovanih na upotrebi zapaljivih materija. Prema američkoj klasifikaciji, zapaljivo oružje je oružje za masovno uništenje. Uzima se u obzir i sposobnost zapaljivača...

5. Dobivene su dugoročne kontinuirane serije zapažanja intenziteta fluksa i azimutalnih distribucija VLF atmosfera, što je omogućilo praćenje dinamike aktivnosti grmljavine u svjetskim grmljavinskim centrima. 5.1. Morski monitoring je pokazao da glavni doprinos svjetskoj olujnoj aktivnosti daju kontinentalni i otočni grmljavinski centri. Varijacije u intenzitetu pulsnog toka su dobre...

Signal koherentnosti eliminiše nasumične, lažne rezultate merenja bez gubitka osetljivosti frekventnog merača. Analizatori spektra Ovo je već prilično napredna, ali još uvijek obećavajuća vrsta alata za radio nadzor dizajniranih za skeniranje frekvencijskih spektra moduliranih signala u različitim frekventnim opsezima i prikazivanje ovih spektra na ekranu displeja/osciloskopa. Kada, ...

Neuralna mreža- pokušaj korištenja matematičkih modela za reprodukciju rada ljudskog mozga za stvaranje posjedujućih strojeva.

Umjetna neuronska mreža obično predaje sa nastavnikom. To znači prisustvo skupa za obuku (dataset), koji sadrži primjere sa istinitim vrijednostima: oznake, klase, indikatori.

Neoznačeni skupovi se također koriste za obuku neuronskih mreža, ali to ovdje nećemo pokrivati.

Na primjer, ako želite stvoriti neuronsku mrežu za procjenu osjećaja teksta, skup podataka postojaće lista predloga sa emocionalnim ocenama koje odgovaraju svakom. Određuje se tonalitet teksta znakovi(riječi, fraze, struktura rečenice) koje daju negativnu ili pozitivnu konotaciju. Utezi Osobine u konačnoj ocjeni sentimenta teksta (pozitivno, negativno, neutralno) zavise od matematičke funkcije koja se izračunava tokom treninga neuronske mreže.

Ljudi su svoje osobine generirali ručno. Što je više karakteristika i tačnije odabrane težine, to je tačniji odgovor. Neuronska mreža je automatizovala ovaj proces.

Umjetna neuronska mreža sastoji se od tri komponente:

• Ulazni sloj;
• Skriveni (računarski) slojevi;
• Izlazni sloj.

Odvija se u dvije faze:

• greške.

Tokom širenja greške naprijed, vrši se predviđanje odgovora. Proširivanje unazad minimizira grešku između stvarnog i predviđenog odgovora.

Direktna distribucija

Postavimo početne težine na slučajan način:

Pomnožimo ulazne podatke sa težinama da formiramo skriveni sloj:

• h1 = (x1 * w1) + (x2 * w1)
• h2 = (x1 * w2) + (x2 * w2)
• h3 = (x1 * w3) + (x2 * w3)

Izlaz iz skrivenog sloja prolazi kroz nelinearnu funkciju () da bi se dobio izlaz mreže:

• y_ = fn (h1, h2, h3)

Povratno razmnožavanje

• Ukupna greška (total_error) se izračunava kao razlika između očekivane vrednosti "y" (iz skupa za obuku) i dobijene vrednosti "y_" (izračunate tokom širenja greške unapred), prolazeći kroz funkciju troškova.
• Parcijalni izvod greške se izračunava za svaki ponder (ovi parcijalni diferencijali odražavaju doprinos svake težine total_loss).
• Ove razlike se zatim množe brojem koji se naziva stopa učenja ili stopa učenja (η).

Rezultat se tada oduzima od odgovarajućih težina.

To će rezultirati sljedećim ažuriranim težinama:

• w1 = w1 - (η * ∂ (err) / ∂ (w1))
• w2 = w2 - (η * ∂ (err) / ∂ (w2))
• w3 = w3 - (η * ∂ (err) / ∂ (w3))

Ne zvuči kao dobra ideja nasumično pretpostavljati i inicijalizirati težine i oni će dati tačne odgovore, ali dobro funkcionira.

Popularni mem o tome kako je Carlson postao programer Data Science

Ako ste upoznati s Taylorovim nizom, povratno širenje greške ima isti krajnji rezultat. Samo umjesto beskonačnog niza, pokušavamo optimizirati samo njegov prvi član.

Pomaci su težine koje se dodaju skrivenim slojevima. I oni se nasumično inicijaliziraju i ažuriraju baš kao skriveni sloj. Uloga skrivenog sloja je da definira oblik osnovne funkcije u podacima, dok je uloga offseta da pomakne pronađenu funkciju u stranu tako da se preklapa s originalnom funkcijom.

Parcijalni derivati

Parcijalne derivacije se mogu izračunati, pa se zna koliki je doprinos grešci za svaki ponder. Potreba za derivatima je očigledna. Zamislite neuronsku mrežu koja pokušava pronaći optimalnu brzinu za autonomno vozilo. Ako automobil otkrije da ide brže ili sporije od potrebne brzine, neuronska mreža će promijeniti brzinu, ubrzavajući ili usporavajući automobil. Šta se istovremeno ubrzava/usporava? Izvodi brzine.

Pogledajmo potrebu za parcijalnim derivatima koristeći primjer.

Pretpostavimo da se od djece traži da bace strelicu u metu dok nišane u centar. Evo rezultata:

Sada, ako pronađemo opštu grešku i jednostavno je oduzmemo od svih težina, sumiraćemo greške svake od njih. Dakle, recimo da je dijete pogodilo prenisko, ali molimo svu djecu da nastoje pogoditi metu, to će dovesti do sljedeće slike:

Greška nekoliko djece može se smanjiti, ali ukupna greška se i dalje povećava.

Nakon što smo pronašli parcijalne derivacije, saznajemo greške koje odgovaraju svakoj težini posebno. Ako selektivno korigujete težine, možete dobiti sljedeće:

Hiperparametri

Neuronska mreža se koristi za automatizaciju odabira karakteristika, ali neki parametri se ručno konfigurišu.

Stopa učenja

Stopa učenja je vrlo važan hiperparametar. Ako je stopa učenja preniska, onda će čak i nakon dugog treninga neuronske mreže biti daleko od optimalnih rezultata. Rezultati će izgledati otprilike ovako:

S druge strane, ako je stopa učenja previsoka, tada će mreža reagirati vrlo brzo. Rezultat je sljedeći:

Funkcija aktivacije

Aktivacijska funkcija je jedan od najmoćnijih alata koji utječe na silu koja se pripisuje neuronskim mrežama. Djelomično određuje koji će neuroni biti aktivirani, drugim riječima, i koje informacije će se prenijeti na sljedeće slojeve.

Bez funkcija aktivacije, duboke mreže gube veći dio svoje sposobnosti učenja. Nelinearnost ovih funkcija je odgovorna za povećanje stepena slobode, što omogućava generalizaciju problema visoke dimenzije u nižim dimenzijama. Slijede primjeri uobičajenih funkcija aktivacije:

Funkcija gubitka

Funkcija gubitka je u centru neuronske mreže. Koristi se za izračunavanje greške između stvarnog i primljenog odgovora. Naš globalni cilj je da minimiziramo ovu grešku. Dakle, funkcija gubitka efektivno približava obuku neuronske mreže ovom cilju.

Funkcija gubitka mjeri "koliko je dobra" neuronska mreža za dati skup za obuku i očekivane odgovore. Takođe može zavisiti od varijabli kao što su težine i pristranosti.

Funkcija gubitka je jednodimenzionalna, a ne vektorska, jer procjenjuje koliko dobro funkcionira neuronska mreža kao cjelina.

Neke značajne funkcije gubitka:

• Kvadrat (standardna devijacija);
• Unakrsna entropija;
• Eksponencijalni (AdaBoost);
• Kullback - Leiblerova udaljenost ili dobivanje informacija.

Standardna devijacija je najjednostavnija funkcija gubitka i najčešće korištena. Postavlja se na sljedeći način:

Funkcija gubitka u neuronskoj mreži mora zadovoljiti dva uslova:

• Funkciju gubitka treba napisati kao prosjek;
• Funkcija gubitka ne bi trebala ovisiti o vrijednostima aktivacije neuronske mreže, osim vrijednosti datih na izlazu.

Duboke neuronske mreže

(duboko učenje) je klasa algoritama koji uče da dublje (apstraktnije) razumiju podatke. Popularni algoritmi za neuronske mreže dubokog učenja predstavljeni su u dijagramu ispod.

Popularni algoritmi neuronske mreže (http://www.asimovinstitute.org/neural-network-zoo)

Formalnije u dubokom učenju:

• Kaskada (cevovod, kao sekvencijalno prenošen tok) se koristi iz skupa slojeva obrade (nelinearnih) za izdvajanje i transformaciju karakteristika;
• Zasnovano na proučavanju karakteristika (prezentacija informacija) u podacima bez nadgledanog učenja. Funkcije višeg nivoa (koje su u poslednjim slojevima) se dobijaju iz funkcija nižeg nivoa (koje su u slojevima početnih slojeva);
• Istražuje slojevite poglede koji odgovaraju različitim nivoima apstrakcije; nivoi formiraju hijerarhiju prezentacije.

Primjer

Uzmimo u obzir jednoslojnu neuronsku mrežu:

Ovdje se trenira prvi sloj (zeleni neuroni), jednostavno se prenosi na izlaz.

Dok u slučaju dvoslojne neuronske mreže, bez obzira na to kako je zeleni skriveni sloj treniran, on se zatim prenosi na plavi skriveni sloj gdje nastavlja trenirati:

Stoga, što je veći broj skrivenih slojeva, to su veće mogućnosti učenja za mrežu.

Ne treba ga brkati sa širokom neuronskom mrežom.

U ovom slučaju, veliki broj neurona u jednom sloju ne dovodi do dubokog razumijevanja podataka. Ali to dovodi do proučavanja više karakteristika.

primjer:

Proučavanje engleske gramatike zahtijeva poznavanje velikog broja koncepata. U ovom slučaju, jednoslojna neuronska mreža radi mnogo bolje od duboke neuronske mreže, koja je mnogo manja.

U slučaju proučavanja Fourierove transformacije, student (neuronska mreža) mora biti dubok, jer nema mnogo pojmova koje treba znati, ali svaki od njih je prilično složen i zahtijeva duboko razumijevanje.

Glavna stvar je balans

Vrlo je primamljivo koristiti duboke i široke neuronske mreže za svaki zadatak. Ali to bi mogla biti loša ideja jer:

• I jedno i drugo zahteva znatno više podataka za obuku da bi se postigla minimalna željena tačnost;
• Oba su eksponencijalne složenosti;
• Neuronska mreža koja je previše duboka pokušat će razbiti fundamentalne koncepte, ali će napraviti pogrešne pretpostavke i pokušati pronaći pseudo-ovisnosti koje ne postoje;
• Neuronska mreža koja je preširoka pokušat će pronaći više karakteristika nego što ih ima. Tako će, kao i prethodni, početi da pravi pogrešne pretpostavke o podacima.

Dimenzionalna kletva

Prokletstvo dimenzionalnosti odnosi se na različite pojave koje nastaju prilikom analize i organizovanja podataka u višedimenzionalnim prostorima (često sa stotinama ili hiljadama dimenzija) i ne javljaju se u niskodimenzionalnim situacijama.

Engleska gramatika ima ogroman broj atributa koji na nju utiču. U mašinskom učenju moramo ih predstaviti kao karakteristike u obliku niza/matrice konačne i znatno kraće dužine (od broja postojećih karakteristika). Da bi to uradile, mreže generalizuju ove karakteristike. Ovo predstavlja dva problema:

• Zbog netačnih pretpostavki dolazi do pristrasnosti. Velika pristranost može uzrokovati da algoritam propusti značajnu vezu između karakteristika i ciljnih varijabli. Ovaj fenomen se naziva nedovoljno učenje.
• Varijanca se povećava od malih odstupanja u setu za obuku zbog nedovoljnog učenja karakteristika. Velika varijansa dovodi do preopterećenja, greške se percipiraju kao pouzdane informacije.

Kompromis

U ranim fazama učenja, pristrasnost je velika jer je izlaz iz mreže daleko od željenog. A varijansa je vrlo mala, pošto podaci do sada imaju mali uticaj.

Na kraju obuke, pristrasnost je mala jer je mreža identificirala glavnu funkciju u podacima. Međutim, ako je obuka preduga, mreža će također naučiti buku svojstvenu ovom skupu podataka. Ovo dovodi do velikih varijacija u rezultatima kada se testiraju na različitim skupovima, jer se šum mijenja iz jednog skupa podataka u drugi.

stvarno,

algoritmi sa velikom pristrasnošću obično se baziraju na jednostavnijim modelima koji nisu skloni prenamjenjivanju, ali mogu biti podložni i ne otkrivaju važne obrasce ili svojstva karakteristika. Modeli niske pristrasnosti i visoke varijanse obično su složeniji u smislu njihove strukture, što im omogućava da preciznije predstave skup za obuku. Međutim, oni mogu prikazati mnogo buke iz seta za obuku, čineći njihova predviđanja manje točnima uprkos njihovoj dodatnoj složenosti.

Stoga je općenito nemoguće imati malu pristrasnost i malu varijansu u isto vrijeme.

Sada postoji mnogo alata kojima možete lako kreirati složene modele mašinskog učenja, prekvalifikacija je centralna. Zato što se pristrasnost pojavljuje kada mreža ne prima dovoljno informacija. Ali što je više primjera, to se više varijanti zavisnosti i varijabilnosti pojavljuje u ovim korelacijama.

Ovaj članak sadrži materijale - uglavnom na ruskom govornom području - za osnovno proučavanje umjetnih neuronskih mreža.

Umjetna neuronska mreža ili ANN je matematički model, kao i njegova softverska ili hardverska implementacija, izgrađena na principu organizacije i funkcioniranja bioloških neuronskih mreža - mreža nervnih stanica živog organizma. Nauka o neuronskim mrežama postoji dugo vremena, ali upravo u vezi sa najnovijim dostignućima naučnog i tehnološkog napretka ova oblast počinje da dobija na popularnosti.

Knjige

Započnimo našu kolekciju klasičnim načinom učenja - uz pomoć knjiga. Odabrali smo knjige na ruskom jeziku s velikim brojem primjera:

• F. Wasserman, Neurokompjutersko inženjerstvo: teorija i praksa. 1992 godina
  Knjiga opisuje osnove izgradnje neurokompjutera u javnom obliku. Opisana je struktura neuronskih mreža i različiti algoritmi za njihovo podešavanje. Zasebna poglavlja posvećena su implementaciji neuronskih mreža.
• S. Khaikin, Neuralne mreže: Kompletan kurs. 2006 godina
  Raspravlja o glavnim paradigmama umjetnih neuronskih mreža. Prikazani materijal sadrži rigoroznu matematičku potkrepu svih paradigmi neuronskih mreža, ilustrovanu primjerima, opisima kompjuterskih eksperimenata, sadrži mnoge praktične probleme, kao i obimnu bibliografiju.

D. Forsyth, Computer Vision. Moderan pristup. 2004 r.
Kompjuterski vid je jedna od najtraženijih oblasti u ovoj fazi razvoja globalnih digitalnih kompjuterskih tehnologija. Potreban je u proizvodnji, pri upravljanju robotima, pri automatizaciji procesa, u medicinskim i vojnim aplikacijama, pri posmatranju sa satelita i pri radu sa personalnim računarima, posebno pri traženju digitalnih slika.

Video

Nema ništa pristupačnije i razumljivije od vizuelnog treninga uz pomoć videa:

• Da biste razumjeli šta je strojno učenje, pogledajte ovdje. ova dva predavanja od SHAD Yandex.
• Uvod osnovnim principima dizajna neuronskih mreža - odlično za nastavak vašeg upoznavanja s neuronskim mrežama.
• Kurs predavanja na temu "Kompjuterski vid" sa VMK MSU. Kompjuterski vid je teorija i tehnologija za stvaranje veštačkih sistema koji detektuju i klasifikuju objekte na slikama i video snimcima. Ova predavanja se mogu klasifikovati kao uvod u ovu zanimljivu i kompleksnu nauku.

Obrazovni resursi i korisni linkovi

• Portal umjetne inteligencije.
• Laboratorija "Ja sam intelekt".
• Neuralne mreže u Matlabu.
• Neuralne mreže u Pythonu:
  • Klasifikacija upotrebe teksta;
  • Simple .
• Neuronska mreža uključena.

Naša serija publikacija na ovu temu

Prethodno smo već objavili kurs #[email protected] preko neuronskih mreža. Na ovoj listi publikacije su raspoređene po redoslijedu proučavanja radi vaše udobnosti.