کدهای کاراکتر آسکی اعشاری ج. رمزگذاری اطلاعات متنی

یونیکد (یونیکد به زبان انگلیسی) یک استاندارد رمزگذاری کاراکتر است. به عبارت ساده، این جدول مطابقت بین کاراکترهای متن (، حروف، عناصر نقطه گذاری) کدهای باینری کامپیوتر فقط دنباله صفر و یک را می فهمد. برای اینکه بداند دقیقاً چه چیزی را باید روی صفحه نمایش دهد، لازم است به هر کاراکتر شماره منحصر به فرد خود را اختصاص دهید. در دهه هشتاد، کاراکترها در یک بایت، یعنی هشت بیت (هر بیت 0 یا 1) رمزگذاری می شدند. بنابراین، معلوم شد که یک جدول (معروف به رمزگذاری یا مجموعه) فقط می تواند 256 کاراکتر را در خود جای دهد. این ممکن است حتی برای یک زبان نیز کافی نباشد. بنابراین، بسیاری از رمزگذاری های مختلف ظاهر شد، که سردرگمی با آنها اغلب منجر به ظاهر شدن برخی ابهامات عجیب و غریب بر روی صفحه به جای متن قابل خواندن می شد. یک استاندارد واحد مورد نیاز بود که یونیکد به آن تبدیل شد. بیشترین استفاده از رمزگذاری UTF-8 (فرمت تبدیل یونیکد) است که از 1 تا 4 بایت برای نمایش یک کاراکتر استفاده می کند.

نمادها

کاراکترها در جداول یونیکد با اعداد هگزادسیمال شماره گذاری می شوند. به عنوان مثال، حرف بزرگ سیریلیک M با U+041C مشخص شده است. این به این معنی است که در تقاطع ردیف 041 و ستون C قرار دارد. شما به سادگی می توانید آن را کپی کنید و سپس آن را در جایی قرار دهید. برای اینکه لیست چند کیلومتری را زیر و رو نکنید، باید از جستجو استفاده کنید. وقتی به صفحه نماد می روید، شماره یونیکد آن و نحوه نگارش آن با فونت های مختلف را می بینید. می‌توانید خود علامت را در نوار جستجو وارد کنید، حتی اگر به جای آن یک مربع کشیده شده باشد، حداقل برای اینکه بفهمید چه چیزی بوده است. همچنین در این سایت مجموعه‌های ویژه (و تصادفی) از همان نوع آیکون‌ها که از بخش‌های مختلف جمع‌آوری شده‌اند، برای سهولت استفاده وجود دارد.

استاندارد یونیکد بین المللی است. این شامل شخصیت هایی از تقریباً تمام فیلمنامه های جهان است. از جمله آنهایی که دیگر استفاده نمی شوند. هیروگلیف های مصری، رون های ژرمنی، نوشته مایاها، خط میخی و الفبای ایالت های باستانی. تعیین وزن ها و اندازه ها، نت موسیقی و مفاهیم ریاضی نیز ارائه شده است.

کنسرسیوم یونیکد خود شخصیت های جدیدی اختراع نمی کند. آیکون هایی که در جامعه کاربرد پیدا می کنند به جداول اضافه می شوند. به عنوان مثال، علامت روبل به مدت شش سال قبل از اضافه شدن به یونیکد به طور فعال مورد استفاده قرار گرفت. پیکتوگرام های ایموجی (شکلک ها) نیز برای اولین بار در ژاپن به طور گسترده ای قبل از گنجاندن در رمزگذاری مورد استفاده قرار گرفتند. اما علائم تجاری و آرم های شرکت در اصل اضافه نمی شوند. حتی موارد معمولی مانند اپل اپل یا پرچم ویندوز. تا به امروز، حدود 120 هزار کاراکتر در نسخه 8.0 کدگذاری شده است.

یک کامپیوتر فرآیند تبدیل آن به فرمی را درک می کند که امکان انتقال راحت تر، ذخیره سازی یا پردازش خودکار این داده ها را فراهم می کند. برای این منظور از جداول مختلفی استفاده می شود. ASCII اولین سیستم توسعه یافته در ایالات متحده برای کار با متن انگلیسی بود که متعاقباً در سراسر جهان گسترش یافت. مقاله زیر به توضیحات، ویژگی ها، خواص و کاربرد بیشتر آن اختصاص دارد.

نمایش و ذخیره اطلاعات در کامپیوتر

نمادها در یک مانیتور رایانه یا یک ابزار دیجیتالی تلفن همراه بر اساس مجموعه ای از اشکال برداری از کاراکترهای مختلف و کدی شکل می گیرند که به شما امکان می دهد نمادی را که باید در جای مناسب درج شود در بین آنها پیدا کنید. نشان دهنده دنباله ای از بیت ها است. بنابراین، هر کاراکتر باید به طور منحصربه‌فرد با مجموعه‌ای از صفرها و یک‌ها مطابقت داشته باشد که به ترتیب خاص و منحصربه‌فردی ظاهر می‌شوند.

چطور شروع شدند

از نظر تاریخی، اولین کامپیوترها انگلیسی زبان بودند. برای رمزگذاری اطلاعات نمادین در آنها، فقط از 7 بیت حافظه استفاده می شد، در حالی که 1 بایت شامل 8 بیت برای این منظور اختصاص داده شد. تعداد کاراکترهایی که کامپیوتر در این مورد درک می کرد 128 کاراکتر بود. این کاراکترها شامل الفبای انگلیسی با علائم نگارشی، اعداد و برخی از کاراکترهای خاص آن بود. کدگذاری هفت بیتی انگلیسی زبان با جدول مربوطه (صفحه کد)، که در سال 1963 توسعه یافت، کد استاندارد آمریکایی برای تبادل اطلاعات نامیده شد. معمولاً برای نشان دادن آن از علامت اختصاری "ASCII encoding" استفاده می شود و هنوز هم استفاده می شود.

گذار به چندزبانگی

با گذشت زمان، کامپیوترها به طور گسترده در کشورهای غیر انگلیسی زبان مورد استفاده قرار گرفتند. در این راستا نیاز به رمزگذاری هایی وجود داشت که امکان استفاده از زبان های ملی را فراهم کند. تصمیم گرفته شد که چرخ را دوباره اختراع نکنیم و ASCII را به عنوان پایه در نظر بگیریم. جدول رمزگذاری در نسخه جدید به طور قابل توجهی گسترش یافته است. استفاده از بیت هشتم امکان ترجمه 256 کاراکتر را به زبان کامپیوتری فراهم کرد.

شرح

کدگذاری اسکی دارای جدولی است که به 2 قسمت تقسیم شده است. تنها نیمه اول آن به عنوان یک استاندارد بین المللی پذیرفته شده عمومی در نظر گرفته می شود. آن شامل:

• کاراکترهایی با شماره سریال از 0 تا 31، کدگذاری شده به ترتیب از 00000000 تا 00011111. آنها برای کاراکترهای کنترلی رزرو شده اند که فرآیند نمایش متن روی صفحه یا چاپگر، به صدا درآوردن سیگنال صوتی و غیره را کنترل می کنند.
• نویسه‌های دارای NN در جدول از 32 تا 127 که توسط دنباله‌هایی از 00100000 تا 01111111 کدگذاری شده‌اند، بخش استاندارد جدول را تشکیل می‌دهند. اینها عبارتند از فاصله (N 32)، حروف الفبای لاتین (کوچک و بزرگ)، اعداد ده رقمی از 0 تا 9، علائم نگارشی، براکت های سبک های مختلف و سایر نمادها.
• نویسه هایی با شماره سریال از 128 تا 255، کدگذاری شده توسط دنباله هایی از 10000000 تا 11111111. این حروف شامل حروف الفبای ملی به غیر از لاتین است. این قسمت جایگزین جدول ASCII است که برای تبدیل حروف روسی به فرم کامپیوتری استفاده می شود.

برخی از خواص

از ویژگی های رمزگذاری ASCII می توان به تفاوت بین حروف "A" - "Z" حروف کوچک و بزرگ تنها با یک بیت اشاره کرد. این شرایط تبدیل رجیستر را تا حد زیادی ساده می کند و همچنین بررسی می کند که آیا به محدوده ای از مقادیر تعلق دارد یا خیر. علاوه بر این، تمام حروف در سیستم رمزگذاری ASCII با اعداد دنباله خود در الفبا نشان داده می شوند که با 5 رقم در سیستم اعداد باینری نوشته می شوند و قبل از آن 011 2 برای حروف کوچک و 010 2 برای حروف بزرگ نوشته می شود.

یکی از ویژگی های رمزگذاری ASCII نمایش 10 رقم - "0" - "9" است. در سیستم اعداد دوم با 00112 شروع و با 2 مقدار عدد ختم می‌شوند. بنابراین، 0101 2 معادل عدد اعشاری پنج است، بنابراین کاراکتر "5" به صورت 0011 01012 نوشته می شود. با توجه به موارد فوق، می توانید به راحتی اعداد BCD را با اضافه کردن دنباله بیت 00112 به هر نوک بر روی یک رشته ASCII به یک رشته ASCII تبدیل کنید. ترک کرد.

"یونیکد"

همانطور که می دانید برای نمایش متون به زبان های گروه آسیای جنوب شرقی به هزاران کاراکتر نیاز است. چنین تعدادی از آنها را نمی توان به هیچ وجه در یک بایت اطلاعات توصیف کرد، بنابراین حتی نسخه های توسعه یافته ASCII دیگر نمی توانند نیازهای افزایش یافته کاربران از کشورهای مختلف را برآورده کنند.

بنابراین، نیاز به ایجاد یک رمزگذاری متن جهانی ایجاد شد که توسعه آن با همکاری بسیاری از رهبران صنعت جهانی فناوری اطلاعات توسط کنسرسیوم یونیکد انجام شد. متخصصان آن سیستم UTF 32 را ایجاد کردند که در آن 32 بیت برای رمزگذاری 1 کاراکتر اختصاص داده شد که 4 بایت اطلاعات را تشکیل می داد. نقطه ضعف اصلی افزایش شدید مقدار حافظه مورد نیاز تا 4 برابر بود که مشکلات زیادی را به همراه داشت.

در عین حال، برای اکثر کشورهای دارای زبان رسمی متعلق به گروه هند و اروپایی، تعداد کاراکترها برابر با 232 بیش از حد است.

در نتیجه کار بیشتر متخصصان کنسرسیوم یونیکد، رمزگذاری UTF-16 ظاهر شد. این به گزینه ای برای تبدیل اطلاعات نمادین تبدیل شد که هم از نظر مقدار حافظه مورد نیاز و هم از نظر تعداد کاراکترهای رمزگذاری شده برای همه مناسب است. به همین دلیل است که UTF-16 به طور پیش فرض پذیرفته شده است و نیاز به ذخیره 2 بایت برای یک کاراکتر دارد.

حتی این نسخه نسبتا پیشرفته و موفق یونیکد دارای اشکالاتی بود و پس از انتقال از نسخه توسعه یافته ASCII به UTF-16، وزن سند دو برابر شد.

در این راستا تصمیم گرفته شد از رمزگذاری طول متغیر UTF-8 استفاده شود. در این حالت، هر کاراکتر متن مبدأ به صورت دنباله ای از طول 1 تا 6 بایت کدگذاری می شود.

برای تبادل اطلاعات با کد استاندارد آمریکایی تماس بگیرید

تمام کاراکترهای لاتین در طول متغیر UTF-8 مانند سیستم رمزگذاری ASCII در 1 بایت کدگذاری می شوند.

ویژگی خاص YTF-8 این است که در مورد متن به زبان لاتین بدون استفاده از کاراکترهای دیگر، حتی برنامه هایی که یونیکد را درک نمی کنند همچنان می توانند آن را بخوانند. به عبارت دیگر، کدگذاری متن پایه ASCII به سادگی بخشی از UTF با طول متغیر جدید می شود. کاراکترهای سیریلیک در YTF-8 2 بایت را اشغال می کنند، و به عنوان مثال، نویسه های گرجی - 3 بایت. با ایجاد UTF-16 و 8 مشکل اصلی ایجاد یک فضای کد واحد در فونت ها حل شد. از آن زمان، تولیدکنندگان فونت فقط می توانند جدول را با فرم های برداری از کاراکترهای متنی بر اساس نیاز خود پر کنند.

سیستم عامل های مختلف کدگذاری های متفاوتی را ترجیح می دهند. برای خواندن و ویرایش متون تایپ شده با کدگذاری متفاوت، از برنامه های تبدیل متن روسی استفاده می شود. برخی از ویرایشگرهای متن حاوی رمزگذارهای داخلی هستند و به شما امکان می دهند بدون توجه به رمزگذاری متن را بخوانید.

اکنون می دانید که چند کاراکتر در رمزگذاری ASCII وجود دارد و چگونه و چرا آن را توسعه داده است. البته امروزه استاندارد یونیکد در جهان بسیار فراگیر شده است. با این حال، نباید فراموش کنیم که مبتنی بر ASCII است، بنابراین باید از مشارکت توسعه دهندگان آن در زمینه فناوری اطلاعات قدردانی کرد.

مجموعه کاراکترهایی که متن با آن نوشته می شود نامیده می شود الفبا.

تعداد کاراکترهای الفبای آن است قدرت.

فرمول تعیین مقدار اطلاعات: N=2b,

که در آن N قدرت الفبا (تعداد کاراکترها) است.

b – تعداد بیت ها (وزن اطلاعات نماد).

الفبای با ظرفیت 256 کاراکتر می تواند تقریباً تمام کاراکترهای لازم را در خود جای دهد. این الفبا نامیده می شود کافی

زیرا 256 = 2 8، سپس وزن 1 کاراکتر 8 بیت است.

واحد اندازه گیری 8 بیت نامگذاری شد 1 بایت:

1 بایت = 8 بیت.

کد دودویی هر کاراکتر در متن کامپیوتر 1 بایت حافظه اشغال می کند.

اطلاعات متنی چگونه در حافظه کامپیوتر نمایش داده می شود؟

راحتی رمزگذاری کاراکتر بایت به بایت واضح است زیرا یک بایت کوچکترین بخش آدرس پذیر حافظه است و بنابراین، پردازنده می تواند هنگام پردازش متن به هر کاراکتر جداگانه دسترسی داشته باشد. از سوی دیگر، 256 کاراکتر برای نشان دادن طیف گسترده ای از اطلاعات نمادین، عدد کافی است.

حال این سوال پیش می آید که کدام کد باینری هشت بیتی را به هر کاراکتر اختصاص دهیم.

واضح است که این یک موضوع مشروط است.

همه کاراکترهای الفبای کامپیوتر از 0 تا 255 شماره گذاری می شوند. هر عدد مربوط به یک کد باینری هشت بیتی از 00000000 تا 11111111 است. این کد به سادگی شماره سریال کاراکتر در سیستم اعداد باینری است.

جدولی که در آن به تمام کاراکترهای الفبای کامپیوتر شماره سریال اختصاص داده می شود، جدول رمزگذاری نامیده می شود.

انواع مختلف کامپیوترها از جداول رمزگذاری متفاوتی استفاده می کنند.

جدول به استاندارد بین المللی رایانه های شخصی تبدیل شده است ASCII(آسکی بخوانید) (کد استاندارد آمریکایی برای تبادل اطلاعات).

جدول کد اسکی به دو بخش تقسیم می شود.

فقط نیمه اول جدول استاندارد بین المللی است، یعنی. نمادها با اعداد از 0 (00000000)، تا 127 (01111111).

ساختار جدول کدگذاری اسکی

نیمه اول جدول کد اسکی

لطفا توجه داشته باشید که در جدول رمزگذاری حروف (بزرگ و کوچک) به ترتیب حروف الفبا و اعداد به ترتیب صعودی مرتب شده اند. این رعایت نظم واژگانی در چینش نمادها را اصل رمزگذاری ترتیبی الفبا می گویند.

برای حروف الفبای روسی، اصل کدگذاری متوالی نیز رعایت می شود.

نیمه دوم جدول کد اسکی

متأسفانه، در حال حاضر پنج رمزگذاری سیریلیک مختلف (KOI8-R، Windows. MS-DOS، Macintosh و ISO) وجود دارد. به همین دلیل، اغلب با انتقال متن روسی از یک رایانه به رایانه دیگر، از یک سیستم نرم افزاری به سیستم دیگر، مشکلاتی ایجاد می شود.

از نظر زمانی، یکی از اولین استانداردها برای رمزگذاری حروف روسی در رایانه، KOI8 ("کد تبادل اطلاعات، 8 بیت") بود. این رمزگذاری در دهه 70 در رایانه های سری رایانه های ES مورد استفاده قرار گرفت و از اواسط دهه 80 در اولین نسخه های روسی شده سیستم عامل یونیکس استفاده شد.

از اوایل دهه 90، زمان تسلط سیستم عامل MS DOS، رمزگذاری CP866 باقی می ماند ("CP" به معنای "صفحه کد"، "صفحه کد" است).

کامپیوترهای اپل که سیستم عامل مک را اجرا می کنند از کدگذاری مک خود استفاده می کنند.

علاوه بر این، سازمان بین المللی استاندارد (ISO) کدگذاری دیگری به نام ISO 8859-5 را به عنوان استاندارد زبان روسی تایید کرده است.

رایج ترین رمزگذاری مورد استفاده در حال حاضر مایکروسافت ویندوز است که به اختصار CP1251 نامیده می شود.

از اواخر دهه 90، مشکل استانداردسازی رمزگذاری کاراکترها با معرفی یک استاندارد بین المللی جدید به نام حل شد. یونیکد. این یک رمزگذاری 16 بیتی است، یعنی. برای هر کاراکتر 2 بایت حافظه اختصاص می دهد. البته این مقدار حافظه اشغال شده را 2 برابر افزایش می دهد. اما چنین جدول کدی امکان گنجاندن حداکثر 65536 کاراکتر را فراهم می کند. مشخصات کامل استاندارد یونیکد شامل تمام الفبای موجود، منقرض شده و مصنوعی جهان و همچنین بسیاری از نمادهای ریاضی، موسیقی، شیمیایی و غیره است.

بیایید سعی کنیم با استفاده از جدول ASCII تصور کنیم که کلمات در حافظه کامپیوتر چگونه به نظر می رسند.

نمایش داخلی کلمات در حافظه کامپیوتر

گاهی اوقات اتفاق می افتد که متنی متشکل از حروف الفبای روسی دریافت شده از رایانه دیگری قابل خواندن نیست - نوعی "آبراکادابرا" روی صفحه نمایشگر قابل مشاهده است. این به این دلیل اتفاق می افتد که رایانه ها از رمزگذاری کاراکترهای مختلف برای زبان روسی استفاده می کنند.

بهترین مقالات در این زمینه

راه هایی برای تعیین شناسه Steam یا شناسه دوستان

چگونه یک رشته سیریلیک را با استفاده از PHP برش دهیم

PHP _SELF در ویژگی action فرم