Как каждый символ кодируется в одной из кодировок UTF-16? Какой размер используется для кодирования каждого символа

Максим

32

В кодировке UTF-16 каждый символ представлен 16-битным числом (два байта). Общий принцип кодирования состоит в том, что стандартные символы из базовой множества Unicode (называемые BMP - Basic Multilingual Plane) хранятся в одном 16-битном блоке, называемом кодовой единицей или кодовой точкой.

Для символов, которые не могут быть представлены в рамках BMP, используется пара блоков, состоящая из высшего суррогата (high surrogate) и низшего суррогата (low surrogate). Таким образом, каждый символ, включая символы BMP и символы за его пределами, кодируется с использованием либо одной кодовой точки, либо комбинации высшего и низшего суррогата.

Например, символ "A" имеет кодовую точку U+0041 и в кодировке UTF-16 его можно представить как \u0041, где "\u" указывает, что это кодовая точка в шестнадцатеричной системе. Это значение состоит только из одного блока, поскольку находится внутри базовой множества Unicode.

Однако, если мы рассмотрим символ "🌍" (земный шар), который имеет кодовую точку U+1F30D, его кодирование в кодировке UTF-16 потребует двух блоков. В этом случае высший суррогат будет равен 0xD83C, а низший суррогат будет равен 0xDF0D. Пара блоков представляет символ "🌍" в кодировке UTF-16, и можно записать его как \uD83C\uDF0D.

Чтобы найти ответ на вторую часть вашего вопроса о Грише и его тексте, мне нужна дополнительная информация о содержании текста. Пожалуйста, предоставьте мне более подробную информацию.