Kodimi Ascii. Sistemet e kodimit të tekstit

[Kodimi 8-bit: ASCII, KOI-8R dhe CP1251] Tabelat e para të grupeve të karaktereve të krijuara në SHBA nuk përdorën bitin e tetë në një bajt. Teksti u paraqit si një sekuencë bajtash, por biti i tetë nuk u mor parasysh (është përdorur për qëllime shërbimi).

Standardi i pranuar përgjithësisht është bërë tabela ASCII (Standardi Amerikan Kodi për shkëmbimin e informacionit). 32 karakteret e para ASCII (00 deri në 1F) u përdorën për karaktere që nuk mund të printohen. Ato ishin krijuar për të kontrolluar një pajisje printimi dhe të ngjashme. Pjesa tjetër - nga 20 në 7 F - janë karaktere normale (të printueshme).

Tabela 1 - Kodimi ASCII

Siç mund ta shihni lehtësisht, ky kodim përmban vetëm shkronja latine dhe ato që përdoren në anglisht. Ekzistojnë gjithashtu simbole aritmetike dhe të tjera shërbimi. Por nuk ka shkronja ruse, madje as shkronja të veçanta latine për gjermanishten apo frëngjishten. Kjo është e lehtë për t'u shpjeguar - kodimi u zhvillua posaçërisht si një standard amerikan. Kur kompjuterët filluan të përdoren në të gjithë botën, u bë i nevojshëm kodimi i simboleve të tjera.

Për këtë, u vendos që të përdoret biti i tetë në çdo bajt. Kështu, 128 vlera të tjera ishin në dispozicion (nga 80 në FF), të cilat mund të përdoren për të koduar karakteret. E para nga tabelat me tetë bit është "ASCII e zgjeruar" ( ASCII i zgjeruar) - përfshinte opsione të ndryshme karaktere latine përdoret në disa gjuhë të Evropës Perëndimore. Ai gjithashtu përmbante simbole të tjera shtesë, duke përfshirë pseudografikë.

Karakteret pseudografike lejojnë, vetëm duke shfaqur personazhet e tekstit, ofrojnë një pamje të grafikës. Me ndihmën e pseudo-grafikës, për shembull, një program për kontroll Skedarët FAR Menaxheri.

Nuk kishte shkronja ruse në tabelën e zgjeruar ASCII. Në Rusi (ish BRSS) dhe në shtetet e tjera, u krijuan kodimet e tyre, të cilat bënë të mundur përfaqësimin e karaktereve specifike "kombëtare" në skedarë teksti 8-bit - shkronja latine të gjuhëve polake dhe çeke, cirilike (përfshirë shkronjat ruse ) dhe alfabete të tjera.

Në të gjitha kodimet që janë bërë të përhapura, 127 karakteret e para (d.m.th., vlerat e bajtit me bitin e tetë të barabartë me 0) përkojnë me ASCII. Kështu, një skedar ASCII funksionon në cilindo nga këto kodime; letra në Anglisht ato përfaqësohen në të njëjtën mënyrë.

Organizimi ISO(Organizata Ndërkombëtare e Standardizimit) miratoi një grup standardesh ISO 8859... Ai përcakton kodimet 8-bit për grupe të ndryshme gjuhët. Pra, ISO 8859-1 është Extended ASCII, një tabelë për Shtetet e Bashkuara dhe Evropën Perëndimore. Dhe ISO 8859-5 është një tabelë për cirilik (përfshirë rusishten).

Megjithatë, për arsye historike, kodimi ISO 8859-5 nuk ka arritur. Në realitet, kodimet e mëposhtme përdoren për gjuhën ruse:

Kodi Faqe 866 ( CP866), i njohur si "DOS", i njohur si "kodimi alternativ GOST". U përdor gjerësisht deri në mesin e viteve '90; tani përdoret në një masë të kufizuar. Praktikisht nuk përdoret për shpërndarjen e teksteve në internet.
- KOI-8. Zhvilluar në vitet '70 dhe '80. Është një standard i pranuar përgjithësisht për transmetimin e mesazheve postare në internetin rus. Gjithashtu përdoret gjerësisht në sistemet operative Familjet Unix, duke përfshirë Linux. Versioni KOI-8, i krijuar për gjuhën ruse, quhet KOI-8R; ka versione për gjuhë të tjera cirilike (për shembull, KOI8-U është një opsion për gjuhën ukrainase).
- Kodi Faqe 1251, CP1251, Windows-1251. Zhvilluar nga nga Microsoft për të mbështetur gjuhën ruse në Windows.

Avantazhi kryesor i CP866 ishte ruajtja e karaktereve pseudografike në të njëjtat vende si në Extended ASCII; prandaj i huaj programe tekstuale për shembull komandanti i famshëm Norton. Në ditët e sotme CP866 përdoret për programet Windows që ekzekutohen në dritare me tekst ose në modalitetin e tekstit në ekran të plotë, duke përfshirë "FAR Manager".

Tekstet e CP866 vitet e fundit janë mjaft të rralla (por përdoret për të koduar emrat e skedarëve rusë në Windows). Prandaj, ne do të ndalemi më në detaje në dy kodime të tjera - KOI-8R dhe CP1251.

Siç mund ta shihni, në tabelën e kodimit CP1251, shkronjat ruse janë renditur sipas rendit alfabetik (me përjashtim të shkronjës E). Falë këtij lokacioni programet kompjuterikeështë shumë e lehtë të renditet sipas alfabetit.

Por në KOI-8R, renditja e shkronjave ruse duket të jetë e rastësishme. Por në fakt nuk është kështu.

Shumë programe të vjetra humbën bitin e 8-të gjatë përpunimit ose transmetimit të tekstit. (Tani programe të tilla praktikisht janë "shuar", por në fund të viteve '80 - fillimi i viteve '90 ato ishin të përhapura). Për të marrë një vlerë 7-bitësh nga një vlerë 8-bitësh, zbritni 8 nga shifra më e rëndësishme; për shembull E1 bëhet 61.

Tani krahasoni KOI-8R me Tabela ASCII(Tabela 1). Do të zbuloni se shkronjat ruse janë të lidhura qartë me ato latine. Nëse biti i tetë zhduket, shkronjat e vogla ruse kthehen në shkronja të mëdha latine dhe shkronjat e mëdha ruse kthehen në shkronja të vogla latine. Pra, E1 në KOI-8 është rusisht "A", ndërsa 61 në ASCII është latinisht "a".

Pra, KOI-8 ju lejon të ruani lexueshmërinë e tekstit rus duke humbur bitin e 8-të. "Përshëndetje të gjithëve" bëhet "pRIWET WSEM".

V Kohët e fundit dhe renditja e alfabetit renditja e karaktereve në tabelën e kodimit dhe lexueshmëria me humbjen e bitit të 8-të kanë humbur rëndësinë e tyre vendimtare. Biti i tetë në kompjuterë modernë nuk humbet gjatë transmetimit ose përpunimit. Renditja sipas rendit alfabetik bazohet në kodim, dhe jo vetëm duke krahasuar kodet. (Nga rruga, kodet CP1251 nuk janë plotësisht alfabetike - shkronja E nuk është në vendin e saj).

Për shkak të faktit se ekzistojnë dy kodime të zakonshme, kur punoni me internetin (mail, shfletimi i faqeve në internet), ndonjëherë mund të shihni një grup të pakuptimtë shkronjash në vend të tekstit rus. Për shembull, "Unë jam SBUFEMHEL". Këto janë vetëm fjalët "me respekt"; por ato ishin të koduara në kodimin CP1251, dhe kompjuteri deshifroi tekstin sipas tabelës KOI-8. Nëse të njëjtat fjalë ishin, përkundrazi, të koduara në KOI-8, dhe kompjuteri deshifroi tekstin sipas tabelës CP1251, rezultati do të jetë "У ХЧБЦЕОЙЕН".

Ndonjëherë ndodh që kompjuteri të deshifrojë fare shkronjat në gjuhën ruse sipas një tabele që nuk është menduar për gjuhën ruse. Pastaj, në vend të shkronjave ruse, shfaqet një grup simbolesh të pakuptimta (për shembull, shkronja latine të gjuhëve të Evropës Lindore); ata shpesh quhen "crocozyabras".

Në shumicën e rasteve programe moderne përballen me përcaktimin e kodimeve të dokumenteve të internetit ( emailet dhe faqet e internetit) vetë. Por ndonjëherë ata "shkojnë keq", dhe më pas mund të shihni sekuenca të çuditshme të shkronjave ruse ose "krokozyabra". Si rregull, për të shfaqur tekstin real në ekran, mjafton të zgjidhni kodimin manualisht në menunë e programit.

Për artikullin, u përdor informacioni nga faqja http://open-office.edusite.ru/TextProcessor/p5aa1.html.

Materiali i marrë nga faqja:

Kodimi i tekstit: ASCII dhe Unicode (UTF-16)

Një person e percepton lehtësisht tekstin. Truri ynë përpunon vëllime të mëdha tekstesh çdo ditë. Ndryshe nga ne, procesori i kompjuterit mund të punojë vetëm me numra. Prandaj, të gjitha të dhënat e tekstit në kujtesën e kompjuterit përfaqësohen me numra. Por më parë diskutim i detajuar Në këtë pikë, le të kujtojmë se si është organizuar memoria e kompjuterit.

Kujtesa e kompjuterit është një sekuencë bitash. Një bit është njësia më e vogël e informacionit që mund të ruajë dy vlera: zero ose një. ato. të gjitha të dhënat që mund të prodhojë një kompjuter (numra, tekst, audio, video) janë një sekuencë zero dhe njësh.

Pjesa është shumë e vogël. Prandaj, bitet bashkohen në bajt. Ka tetë bit në një bajt. Çdo bajt ka adresën e vet. Është bajt që është njësia minimale që procesori mund t'i qaset - procesori nuk mund të aksesojë bit individualë, vetëm përmes bajteve përkatës. Le të hedhim një vështrim në një pjesë të vogël të memories kompjuterike:

01001000 01000101 01001011 01001011 01001111 00100001

Adresat e bajtit shfaqen në krye, dhe vlerat e ruajtura në këto adresa shfaqen në fund. Në realitet, adresa të tilla nuk ekzistojnë, pasi kompjuterët modernë funksionojnë me hapësira të mëdha adresash. Adresat në kompjuterët modernë shkruhen si kjo: 0x01328921. Adresat shkruhen në format heksadecimal.

Një bajt mund të ruajë 256 vlera - 28 = 256. Gama e vlerave: nga zero në 255 (për numrat e panënshkruar), ose nga -128 në 127 (për numrat e nënshkruar). Heksadecimal vlera maksimale byte - 0xff. Kushtojini vëmendje përdorshmërisë sistemi heksadecimal llogaritja: kërkohen dy shifra për të shkruar çdo vlerë me një bajt. Le të shikojmë vargjet e një numri bajt gjithsej tre sisteme duke llogaritur:

00000000 ... 11111111

Procesori i sheh të gjithë numrat në formë binare, por mund t'i konvertojë në sisteme të tjera numrash, në mënyrë që të jetë e përshtatshme për ne t'i lexojmë ato. Rregullat e konvertimit ndërmjet sisteme të ndryshme llogaritje që diskutuam në mësimet e mëparshme. Sekuenca e bajteve të dhëna më sipër mund të përfaqësohet si më poshtë:

0x48 0x45 0x4b 0x4b 0x4f 0x21 // heksadecimal

Është më i përshtatshëm që një kompjuter të përdorë një formë binare, dhe për ne - heksadecimal, ose dhjetor.

Kodimi ASCII

Për të paraqitur tekstin në numra, çdo shkronjë është caktuar vlerë numerike- të kodojë kuptimet e shkronjave. Caktimi për të gjitha shkronjat vlerë unike, marrim kodimin (bashkësi karakteresh, endodim). Por nuk ka kuptim të përdorni kodimin tuaj - mund ta përdorni vetëm në programin tuaj. Në ky moment kodimi më i përdorur është ASCII.

Fillimisht, një karakter ASCII ishte 7 bit. Por kur bajt 8-bit u përhap (po, kishte bajt madhësive të ndryshme), më pas ASCII është zgjeruar në tetë bit. Kodimi 7-bit është gjysma e madhësisë së kodimit tetë-bit: 27 = 128< 28=256.

Pra, fillimisht kishte 128 vlera në kodimin ASCII: nga 0 në 127 (0x00 në 0x7f). Kjo është e mjaftueshme për të koduar të gjitha shkronjat e alfabetit latin, numrat arabë dhe një sërë karakteresh të tjera.

Kodimi 7-bit ASCII është baza për të gjitha kodimet e zakonshme aktualisht dhe është jashtëzakonisht i rëndësishëm në programim. Prandaj, do të njihemi me vlerat specifike:

0 - zero. Nuk është një numër në tekstin e shfaqur. TE këtë kod asnjë simbol nuk është bashkangjitur. ato. nuk do ta shihni kurrë paraqitjen zero në ekran. Megjithatë, zero është shumë e rëndësishme në programimin dhe ruajtjen e tekstit. Për çfarë përdoret ky kod, do ta zbulojmë më vonë.

32 është një hapësirë.

48 - kodi zero. Kur shohim zero në ekranin e monitorit, në kujtesën e kompjuterit ky simbol përfaqësohet me numrin 48.

57 - nëntë.

65 - shkronja kursive A (alfabeti anglez).

90 - shkronja e madhe Z.

97 - shkronje e vogel a.

122 është një shkronjë e vogël z.

Le të kthehemi te sekuenca e bajtëve të diskutuar më parë dhe të përpiqemi të përputhim vlerën e secilit me një kod ASCII:

01001000 01000101 01001011 01001011 01001111 00100001 // forma binare (binare)

72 69 76 76 79 33 // formë dhjetore

PËRSHËNDETJE! // Personazhet ASCII

Oh, mrekulli! Morëm tekstin "HELLO!"

Kompjuteri sheh vetëm një sekuencë bajtësh, të cilave mund t'u referohet me adresat e tyre. Mund të shohim se si numrat e thjeshtë, dhe tekstin, nëse shikoni këta numra në kodimin ASCII.

Kodimi i zgjeruar ASCII

Me ardhjen e kodimit me tetë bit, alfabetet e tjera ishin gjithashtu në gjendje të kodonin në ASCII. Ka shumë kodime të zgjeruara ASCII - ka versione për shumë alfabete kombëtare. Për më tepër, gjysma e parë e kodimit (vlerat nga zero në 127) është e njëjtë kudo.

Alfabeti rus (cirilik) është i koduar me emrin windows-1251. Një tjetër version i njohur ASCII - Windows-1252 - është një kodim për gjuhët e Evropës Perëndimore (ai kodon shkronja specifike për alfabetin francez dhe gjerman). Nga rruga, teksti që po lexoni tani është i koduar në Windows-1251.

Ne nuk na intereson se si shkronjat ruse (dhe ato angleze gjithashtu) janë të koduara në Windows-1251 - nuk kemi nevojë të dimë kuptime specifike. Nëse është e nevojshme, mund të gjeni listën e plotë vlerat e karaktereve për Windows-1251 në motorët e kërkimit.

Kodimi i numrave në tekst

Në praktikë, nuk keni nevojë të dini kuptimet e koduara të shkronjave. Por në të njëjtën kohë, është e domosdoshme të mbani mend vlerat e koduara të numrave. Në ASCII, numrat kanë kode nga 48 në 57.48 është zero, 49 është një ... 57 është nëntë. Më lejoni t'ju kujtoj se 128 vlerat e para janë të njëjta në të gjitha kodimet, kështu që kodet e numrave janë të njëjtë kudo. Dhe kjo, po ju them, është shumë e lezetshme. Pse duhet të dini kodet e numrave dhe si lidhet kjo me krijimin e lojërave?

Le të themi se në lojën tonë duhet të shfaqim vlerat e njësive të përdoruesve. Brenda, ky është një numër i thjeshtë, i përfaqësuar nga një ndryshore. Por që përdoruesi ta shohë këtë numër, duhet të kthehet në tekst, i cili do të shfaqet në ekran. Prandaj, kur krijoni një lojë, është e domosdoshme të shkruani kodin që konverton numrat në tekst.

Për shembull, merrni parasysh dy vlera: në fillim të lojës, përdoruesi nuk ka njësi, dhe pas një kohe ai ndërtoi pesë.

Së pari, përdoruesi duhet të shfaqë karakterin 0. Për ta bërë këtë, duhet të përdorni vlerën e koduar të këtij karakteri - 48. Më pas përdoruesi duhet të shfaqë karakterin 5, kodi i të cilit është 53. Këtu mund të shihni tipar interesant: kodi i karakterit të shifrës ndryshon nga vlera aktuale me 48. Prandaj, për numrat njëshifrorë (dhe vetëm njëshifrorë), mund të përdorim kodin e mëposhtëm:

int var = GetUnitNumber (); // gjeni numrin e njësive

prodhimi char = var + 48;

Tani mund të shfaqni daljen e ndryshueshme në ekran. Mbetet vetëm një problem për t'u zgjidhur: në situata reale, numrat njëshifrorë përdoren shumë rrallë. Për shembull, në kompaninë e heronjve, një lojtar ka më shumë se 15 njësi nën komandën e tij, në Age of Empires - më shumë se 50. Në lojërat e tjera, situata është e ngjashme. Në revole, mund t'ju duhet të shfaqni numrin e fishekëve dhe shëndetin (vlerat e të cilave janë pothuajse gjithmonë më të mëdha se 9). Sigurisht, kur krijojmë lojën tonë, do të na duhet të shfaqim numra shumëshifrorë. Ne do të shqyrtojmë daljen e numrave shumëshifrorë në mësimin tjetër, por tani do të kthehemi te shqyrtimi i kodimeve.

Encoding Unicode - Unicode

Një bajt mund të ketë vetëm 256 vlera. Kjo do të thotë se 256 karaktere mund të kodohen në ASCII: numra, shkronja, ikona, shenja pikësimi dhe simbole të tjera të ndryshme. Në të njëjtën kohë, ka skripta në të cilat ka shumë më tepër karaktere, për shembull, karaktere kineze ose japoneze.

Për të zgjidhur këtë (dhe disa të tjerë) problem, kodimi Unicode u krijua në fillim të viteve nëntëdhjetë. Fillimisht, të gjithë karakteret unicode ishin dy bajt. Prandaj, 216 = 65536 vlerat mund të kodohen në unicode. Hapësira e kodit u zgjerua më pas në mbi një milion karaktere. Kjo rezultoi në disa paraqitje unicode.

Përfaqësimet më të njohura të unicode janë dy: UTF-8 - e përdorur në internet dhe UTF-16 - e përdorur në Windows (Windows XP, Windows Vista, Windows 7).

Në kontekstin e krijimit të lojërave, nuk ka rëndësi se si të gjithë personazhet janë të koduar në paraqitjet e ndryshme të Unicode. Por gjëja e rëndësishme është se në të gjitha paraqitjet, numrat arabë janë të koduar në të njëjtën mënyrë si në ASCII.

Ekzistojnë dy versione të UTF-16: UTF-16LE (pak-endian) - kodimi me rend i kundërt bytes dhe UTF-16BE (big-endian) - kodim i madh endian. Në Windows, natyrisht, përdoret UTF16-LE.

Kodi i karakterit Unicode përcaktohet si më poshtë: U + hhhh (katër shifra heksadecimal, h nga heksadecimal). Për shembull, U + 221A është simboli rrenja katrore - √.

Disa nga karakteret në UTF-16 janë të koduara në dy bajt (63 mijë të parët). Pjesa tjetër e personazheve janë të koduar me çifte zëvendësuese. Meqenëse kjo nuk është shumë e rëndësishme për krijimin e lojërave, nuk do të ndalem në çifte zëvendësuese në detaje.

Në UTF-8, 128 karakteret e para janë të koduara në një bajt. Pjesa tjetër e karaktereve mund të kodohen me disa bajt (nga dy në katër).

Dhe një pikë tjetër (më e rëndësishmja): të gjitha simbolet e të gjithë skripteve moderne dhe shumë të vdekur janë të koduara në unicode, plus shenjat nga zona të ndryshme shkenca dhe kultura (simbolet matematikore dhe ekonomike, shënimi muzikor dhe shumë më tepër). Është për këtë arsye që ju duhet të përdorni unicode.

Edhe një herë, e përsëris që njohja e standardit Unicode dhe veçoritë e përfaqësimeve të ndryshme të tij nuk ndihmojnë shumë në një temë të tillë si krijimi i lojërave, kështu që do të duhet të vazhdoni vetë njohjen tuaj të mëtejshme me Unicode. Si zakonisht, standardi do të ofrojë ndihmë të paçmuar në këtë çështje.

Kodimi i tekstit në Microsoft Windows(Windows XP, Windows Vista, Windows 7)

Në moderne versionet e Windows ka dy mënyra për të përfaqësuar tekstin: UTF-16 dhe faqet e kodit (kryesisht kodime me tetë bit). Mënyra kryesore është unicode. Faqet e kodit janë të nevojshme për pajtueshmërinë me aplikacionet e vjetra (në Windows 95, Windows 98 - ASCII u përdor kryesisht). Gjithashtu, unicode nuk e kupton shumë një program i rëndësishëm- tastierë.

Mos u ngatërroni nga term i ri- faqja e kodit. Në Windows, të gjitha kodimet (bashke karakteresh ose kodime) quhen kështu. ato. koncepti i kodimit është i barabartë me një faqe kodi.

Menjëherë do të bëj një vërejtje që është më mirë të mbahet mend. Windows ka ndarje e qartë: këtu është unicode (UTF-16LE) dhe këtu janë të gjitha kodimet e tjera. Si unicode ashtu edhe kodimet e tjera në Windows quhen faqe kodesh, por unë do ta zbatoj këtë term (kodefaqe) për të gjitha kodimet përveç unicode.

Kur shkruanim programet e konsolës, teksti është nxjerrë duke përdorur faqen e kodit të Windows-1252. Kjo është arsyeja pse na u desh të telefononim setlocale (ai ndryshon faqen e kodit në Windows-1251):

Ky funksion ndryshon lokalitetin.

Lokal - lokalitet

Windows ka një gjë të tillë si Locale. Këtu nuk po e përdor fare saktë letrën gjurmuese të kësaj fjale - lokalitet, por, për mendimin tim, është mjaft e madhe për të akomoduar të gjithë kuptimin e konceptit Locale. Lokal përkthehet në karakteristika lokale. ato. këto janë disa parametra të përdorur në këtë vend të veçantë (rajon, shtet). setlocale ndryshon këto veçori:

setlocale (LC_CTYPE, "rusisht");

Në këtë sfidë, lokaliteti ndryshon në rusisht. Prandaj, Windows mund të përdorë specifikat tona lokale: paraqitjen e datës dhe orës, sistemin e matjes, monedhën dhe sigurisht faqen e kodit.

Parametri i parë i këtij funksioni tregon se cilat kategori karakteristikat lokale mund të ndryshojë. Mund të ndryshoni vetëm faqen e kodit (LC_CTYPE), mund të ndryshoni formatin e datës dhe orës (LC_TIME), ose mund të ndryshoni të gjitha kategoritë (LC_ALL, të gjitha - të gjitha).

Kthehu te kodimet.

Vetëm një faqe kodi mund të përdoret në të njëjtën kohë, ndërsa Unicode mund të përdoret gjithashtu me karakteret e faqes së kodit në program, pasi Unicode qëndron i ndarë nga të gjitha faqet e tjera të kodit. Mundohuni të përdorni gjithmonë unicode në programet tuaja. Ka kuptim vetëm përdorimi i faqeve të kodit në tastierë.

Artikujt kryesorë të lidhur

Informacion rreth teknologjive të navigimit dhe pozicionimit të mbështetur nga pajisja

Alcatel OneTouch Idol X - Specifikimet

Rishikimi i Fly DS100: një shpatë me dy tehe