Decimalni ascii kodovi znakova c. Kodiranje tekstualnih informacija

Unicode (Unicode na engleskom) je standard za kodiranje znakova. Jednostavno rečeno, ovo je tabela korespondencije između tekstualnih znakova ( , slova, interpunkcijskih elemenata) binarni kodovi. Računar razumije samo niz nula i jedinica. Da bi znao šta tačno treba da prikaže na ekranu, potrebno je svakom karakteru dodeliti svoj jedinstveni broj. Osamdesetih godina, znakovi su bili kodirani u jednom bajtu, odnosno osam bitova (svaki bit je 0 ili 1). Tako se ispostavilo da jedna tabela (aka kodiranje ili skup) može da primi samo 256 karaktera. Ovo možda neće biti dovoljno ni za jedan jezik. Stoga se pojavilo mnogo različitih kodiranja, zbog kojih je zabuna često dovodila do toga da se na ekranu umjesto čitljivog teksta pojavljuje neka čudna brbljarija. Bio je potreban jedinstven standard, što je i postao Unicode. Najčešće korišteno kodiranje je UTF-8 (Unicode Transformation Format), koji koristi 1 do 4 bajta za predstavljanje znaka.

Simboli

Znakovi u Unicode tabelama su numerisani heksadecimalnim brojevima. Na primjer, ćirilično veliko slovo M označeno je U+041C. To znači da se nalazi na raskrsnici reda 041 i kolone C. Možete ga jednostavno kopirati i zatim negdje zalijepiti. Da ne biste preturali po višekilometarskoj listi, trebali biste koristiti pretragu. Kada odete na stranicu sa simbolima, vidjet ćete njen Unicode broj i kako je napisan različitim fontovima. Sam znak možete unijeti u traku za pretraživanje, čak i ako je umjesto njega nacrtan kvadrat, barem da biste saznali o čemu je riječ. Takođe, na ovom sajtu postoje posebni (i nasumični) setovi ikona iste vrste, sakupljeni iz različitih sekcija, radi lakšeg korišćenja.

Unicode standard je međunarodni. Uključuje likove iz gotovo svih svjetskih spisa. Uključujući i one koji se više ne koriste. Egipatski hijeroglifi, germanske rune, majansko pismo, klinopis i abecede drevnih država. Prikazane su i oznake težina i mjera, notni zapisi i matematički pojmovi.

Sam Unicode konzorcij ne izmišlja nove znakove. One ikone koje nađu svoju upotrebu u društvu dodaju se na tabele. Na primjer, znak rublje se aktivno koristio šest godina prije nego što je dodan u Unicode. Emoji piktogrami (emotikoni) su također prvi put bili široko korišteni u Japanu prije nego što su uključeni u kodiranje. Ali zaštitni znakovi i logotipi kompanije se u principu ne dodaju. Čak i one uobičajene kao što su Apple Apple ili Windows zastava. Do danas je u verziji 8.0 kodirano oko 120 hiljada znakova.

Računar razumije proces pretvaranja u oblik koji omogućava praktičniji prijenos, skladištenje ili automatsku obradu ovih podataka. U tu svrhu koriste se različite tablice. ASCII je bio prvi sistem razvijen u Sjedinjenim Državama za rad s engleskim tekstom, koji je kasnije postao široko rasprostranjen u cijelom svijetu. Donji članak posvećen je njegovom opisu, karakteristikama, svojstvima i daljnjoj upotrebi.

Prikaz i skladištenje informacija u računaru

Simboli na kompjuterskom monitoru ili jednom ili drugom mobilnom digitalnom gadgetu formiraju se na osnovu skupova vektorskih oblika različitih znakova i koda koji vam omogućava da među njima pronađete simbol koji treba umetnuti na pravo mjesto. Predstavlja niz bitova. Dakle, svaki znak mora jedinstveno odgovarati skupu nula i jedinica, koji se pojavljuju određenim, jedinstvenim redoslijedom.

Kako je sve počelo

Istorijski gledano, prvi računari su bili na engleskom jeziku. Za kodiranje simboličkih informacija u njima bilo je dovoljno koristiti samo 7 bitova memorije, dok je za tu svrhu dodijeljen 1 bajt od 8 bitova. Broj znakova koje je kompjuter razumio u ovom slučaju je bio 128. Ovi znakovi su uključivali englesku abecedu sa svojim interpunkcijskim znacima, brojevima i nekim posebnim znakovima. Sedmobitno kodiranje na engleskom jeziku sa odgovarajućom tablicom (kodnom stranicom), razvijeno 1963. godine, nazvano je američkim standardnim kodom za razmjenu informacija. Obično se za označavanje koristila i još uvijek se koristi skraćenica “ASCII encoding”.

Prelazak na višejezičnost

Vremenom su kompjuteri postali široko korišćeni u zemljama gde se ne govori engleski. S tim u vezi, postojala je potreba za kodiranjem koje dozvoljava upotrebu nacionalnih jezika. Odlučeno je da se ne izmišlja ponovo točak i da se za osnovu uzme ASCII. Tabela kodiranja u novom izdanju značajno je proširena. Upotreba 8. bita omogućila je prevođenje 256 znakova u kompjuterski jezik.

Opis

ASCII kodiranje ima tabelu koja je podijeljena na 2 dijela. Samo se njegova prva polovina smatra općeprihvaćenim međunarodnim standardom. To uključuje:

• Znakovi sa serijskim brojevima od 0 do 31, kodirani u sekvencama od 00000000 do 00011111. Rezervisani su za kontrolne znakove koji kontrolišu proces prikazivanja teksta na ekranu ili štampaču, oglašavanja zvučnog signala itd.
• Znakovi sa NN u tabeli od 32 do 127, kodirani sekvencama od 00100000 do 01111111 čine standardni deo tabele. To uključuje razmak (N 32), slova latinice (mala i velika), desetocifreni brojevi od 0 do 9, znakove interpunkcije, zagrade različitih stilova i druge simbole.
• Znakovi sa serijskim brojevima od 128 do 255, kodirani sekvencama od 10000000 do 11111111. Ovo uključuje slova nacionalnog alfabeta osim latinice. Upravo ovaj alternativni dio ASCII tabele se koristi za pretvaranje ruskih znakova u kompjuterski oblik.

Neke nekretnine

Karakteristike ASCII kodiranja uključuju razliku između slova “A” - “Z” malih i velikih slova za samo jedan bit. Ova okolnost uvelike pojednostavljuje konverziju registra, kao i provjeru da li pripada datom rasponu vrijednosti. Pored toga, sva slova u sistemu ASCII kodiranja su predstavljena sopstvenim rednim brojevima u abecedi, koji su napisani sa 5 cifara u binarnom brojevnom sistemu, kojima prethodi 011 2 za mala slova i 010 2 za velika slova.

Jedna od karakteristika ASCII kodiranja je predstavljanje 10 cifara - "0" - "9". U drugom brojevnom sistemu počinju sa 00112 i završavaju sa 2 brojevne vrednosti. Dakle, 0101 2 je ekvivalentno decimalnom broju pet, tako da je znak "5" napisan kao 0011 01012. Na osnovu gore navedenog, možete lako pretvoriti BCD brojeve u ASCII niz dodavanjem sekvence bitova 00112 svakom grickanju na lijevo.

"Unicode"

Kao što znate, hiljade znakova su potrebne za prikazivanje tekstova na jezicima grupe jugoistočne Azije. Toliki broj njih se ni na koji način ne može opisati u jednom bajtu informacija, pa čak ni proširene verzije ASCII-a više ne mogu zadovoljiti povećane potrebe korisnika iz različitih zemalja.

Tako se pojavila potreba za stvaranjem univerzalnog kodiranja teksta, čiji je razvoj, u saradnji sa mnogim liderima globalne IT industrije, preuzeo Unicode konzorcij. Njegovi stručnjaci kreirali su UTF 32 sistem. U njemu su 32 bita dodijeljena za kodiranje 1 znaka, što čini 4 bajta informacija. Glavni nedostatak je bio naglo povećanje količine potrebne memorije za čak 4 puta, što je za sobom povlačilo mnoge probleme.

Istovremeno, za većinu zemalja sa službenim jezicima koji pripadaju indoevropskoj grupi, broj znakova jednak 2 32 je više nego pretjeran.

Kao rezultat daljnjeg rada stručnjaka iz Unicode konzorcija, pojavio se UTF-16 kodiranje. Postala je opcija za pretvaranje simboličkih informacija koja je svima odgovarala iu pogledu količine potrebne memorije i broja kodiranih znakova. Zbog toga je UTF-16 usvojen po defaultu i zahtijeva da se 2 bajta rezerviraju za jedan znak.

Čak je i ova prilično napredna i uspješna verzija Unicode-a imala neke nedostatke, a nakon prelaska sa proširene verzije ASCII-a na UTF-16, težina dokumenta se udvostručila.

S tim u vezi, odlučeno je da se koristi UTF-8 kodiranje promjenjive dužine. U ovom slučaju, svaki znak izvornog teksta je kodiran kao niz dužine od 1 do 6 bajtova.

Kontaktirajte američki standardni kod za razmjenu informacija

Svi latinični znakovi u UTF-8 varijabilne dužine su kodirani u 1 bajt, kao u ASCII sistemu kodiranja.

Posebna karakteristika YTF-8 je da će u slučaju teksta na latinici bez upotrebe drugih znakova, čak i programi koji ne razumiju Unicode moći da ga pročitaju. Drugim riječima, osnovno ASCII kodiranje teksta jednostavno postaje dio novog UTF-a promjenjive dužine. Ćirilični znakovi u YTF-8 zauzimaju 2 bajta, a, na primjer, gruzijski znakovi - 3 bajta. Kreiranjem UTF-16 i 8 riješen je glavni problem stvaranja jedinstvenog kodnog prostora u fontovima. Od tada, proizvođači fontova mogu popuniti tabelu samo vektorskim oblicima tekstualnih znakova na osnovu svojih potreba.

Različiti operativni sistemi preferiraju različita kodiranja. Da biste mogli čitati i uređivati ​​tekstove otkucane u drugom kodiranju, koriste se ruski programi za konverziju teksta. Neki uređivači teksta sadrže ugrađene transkodere i omogućavaju vam čitanje teksta bez obzira na kodiranje.

Sada znate koliko znakova ima ASCII kodiranje i kako i zašto je razvijeno. Naravno, danas je Unicode standard najrašireniji u svijetu. Međutim, ne smijemo zaboraviti da je baziran na ASCII-u, tako da treba cijeniti doprinos njegovih programera IT polju.

Skup znakova kojim se piše tekst naziva se abeceda.

Broj znakova u abecedi je njegov moć.

Formula za određivanje količine informacija: N=2b,

gdje je N snaga abecede (broj znakova),

b – broj bitova (informaciona težina simbola).

Abeceda kapaciteta 256 znakova može primiti gotovo sve potrebne znakove. Ova abeceda se zove dovoljno.

Jer 256 = 2 8, tada je težina 1 karaktera 8 bita.

Jedinica mjerenja 8 bita dobila je ime 1 bajt:

1 bajt = 8 bitova.

Binarni kod svakog znaka u kompjuterskom tekstu zauzima 1 bajt memorije.

Kako su tekstualne informacije predstavljene u memoriji računara?

Pogodnost kodiranja znakova bajt po bajt je očigledna jer je bajt najmanji adresabilni dio memorije i stoga procesor može pristupiti svakom karakteru posebno prilikom obrade teksta. S druge strane, 256 znakova je sasvim dovoljan broj za predstavljanje širokog spektra simboličkih informacija.

Sada se postavlja pitanje koji osmobitni binarni kod dodijeliti svakom znaku.

Jasno je da je ovo uslovna stvar, možete smisliti mnoge metode kodiranja.

Svi znakovi kompjuterske abecede su numerisani od 0 do 255. Svaki broj odgovara osmobitnom binarnom kodu od 00000000 do 11111111. Ovaj kod je jednostavno serijski broj znaka u binarnom brojevnom sistemu.

Tabela u kojoj su svim znakovima kompjuterske abecede dodijeljeni serijski brojevi naziva se tabela kodiranja.

Različiti tipovi računara koriste različite tablice kodiranja.

Tabela je postala međunarodni standard za računare ASCII(pročitajte upitno) (Američki standardni kod za razmjenu informacija).

Tabela ASCII kodova podijeljena je na dva dijela.

Samo prva polovina tabele je međunarodni standard, tj. simboli sa brojevima iz 0 (00000000), do 127 (01111111).

Struktura ASCII tablice kodiranja

Prva polovina tabele ASCII kodova

Imajte na umu da su u tablici kodiranja slova (velika i mala slova) raspoređena abecednim redom, a brojevi rastućim redoslijedom. Ovo poštovanje leksikografskog reda u rasporedu simbola naziva se princip sekvencijalnog kodiranja abecede.

Za slova ruskog alfabeta također se poštuje princip sekvencijalnog kodiranja.

Druga polovina tabele ASCII kodova

Nažalost, trenutno postoji pet različitih ćiriličkih kodiranja (KOI8-R, Windows. MS-DOS, Macintosh i ISO). Zbog toga često nastaju problemi sa prenošenjem ruskog teksta sa jednog računara na drugi, iz jednog softverskog sistema u drugi.

Hronološki, jedan od prvih standarda za kodiranje ruskih slova na računarima bio je KOI8 („Kod za razmenu informacija, 8-bitni“). Ovo kodiranje je korišćeno još 70-ih godina na računarima serije računara ES, a od sredine 80-ih počelo je da se koristi u prvim rusifikovanim verzijama UNIX operativnog sistema.

Od ranih 90-ih, vremena dominacije operativnog sistema MS DOS, ostaje CP866 kodiranje („CP“ znači „Kodna stranica“, „kodna stranica“).

Apple računari koji koriste Mac OS operativni sistem koriste vlastito Mac kodiranje.

Pored toga, Međunarodna organizacija za standarde (ISO) je odobrila još jedno kodiranje pod nazivom ISO 8859-5 kao standard za ruski jezik.

Najčešći kodiranje koje se trenutno koristi je Microsoft Windows, skraćeno CP1251.

Od kasnih 90-ih, problem standardizacije kodiranja znakova riješen je uvođenjem novog međunarodnog standarda tzv. Unicode. Ovo je 16-bitno kodiranje, tj. dodjeljuje 2 bajta memorije za svaki znak. Naravno, ovo povećava količinu zauzete memorije za 2 puta. Ali takva kodna tabela dozvoljava uključivanje do 65536 znakova. Kompletna specifikacija Unicode standarda uključuje sve postojeće, izumrle i umjetno stvorene alfabete svijeta, kao i mnoge matematičke, muzičke, hemijske i druge simbole.

Pokušajmo koristiti ASCII tablicu da zamislimo kako će riječi izgledati u memoriji računara.

Interno predstavljanje riječi u memoriji računara

Ponekad se desi da se tekst koji se sastoji od slova ruske abecede primljen sa drugog računara ne može pročitati - na ekranu monitora je vidljiva neka vrsta "abrakadabre". To se dešava zato što računari koriste različita kodiranja znakova za ruski jezik.

Najbolji članci na ovu temu

Načini za određivanje vašeg Steam ID-a ili ID-a prijatelja

Kako smanjiti ćirilični niz koristeći PHP

PHP _SELF u atributu radnje obrasca