문자 코드 — ASCII 및 유니코드

무작위 문자로 도착한 이메일

• 1990년대에는华沙에서 입력하고 도쿄에서 읽은 메시지가 종종 의미 없는 글자 덩어리로 도착했습니다. 두 컴퓨터 모두 문자당 8비트를 저장했습니다. 단순히 최상위 128 패턴의 의미를 서로 다르게 해석했기 때문입니다.
• 폴란드의 코드 페이지는 폴란드 문자를 여기에 배치했습니다. 일본의 것은 자국 문자를 배치했습니다. 전송 중 데이터는 손상되지 않았으며, 바이트는 원본 그대로 도착하여 다른 표에 따라 읽혔습니다.
• 해결책은 국가별 표를 폐지하고 모든 스크립트의 모든 문자에 영구적으로 하나의 번호를 부여하는 것이었습니다. 이것이 유니코드이며, 보내신 이모지가 동일한 이미지로 도착하는 이유입니다.
• 이 수업은 텍스트가 숫자로 변환되는 과정입니다: 문자 집합, ASCII, 유니코드, 그리고 이를 저장하는 인코딩 방식.

문자 집합은 각 문자에 번호를 부여합니다

• 컴퓨터는 문자를 저장하지 않고 오직 숫자만 저장합니다. 문자 집합은 컴퓨터가 표현할 수 있는 문자의 집합이며, 각 문자마다 고유한 이_Handle 코드가 할당됩니다.
• 한 문자의 번호는 코드 포인트입니다. A은 65, a은 97, 0 숫자는 48입니다.
• 코드 포인트는 문자의 의미가 아닙니다. 이는 합의된 라벨일 뿐입니다. 두 기계가 동일한 문자 집합을 사용하기 때문에만 텍스트가 가독 가능합니다.

문자는 그림이며, 바이트는 숫자입니다

ASCII

• ASCII (American Standard Code for Information Interchange)는 7비트를 사용하여 $2^7 = 128$개의 코드 포인트를 제공합니다: 기본 라틴 문자, 숫자, 구두부호, 및 캐리지 리턴과 같은 32개의 제어 코드.
• 확장 ASCII는 8비트를 사용하여 256개의 코드 포인트를 제공합니다. 하위 128은 ASCII와 동일하며, 상위 128은 지역에 따라 달라져这正是 해당 이메일이 깨진 정확히 그 이유입니다.
• 특정 코드를 암기하라는 질문은 하지 않으나, 개수를 묻는 질문은 합니다: 7비트는 128개, 8비트는 256개.

유니코드

• 유니코드는 범용 문자 집합입니다: 현재 또는 소멸한 모든 스크립트의 거의 모든 문자, 기호, 이모지에 대해 단일 코드 포인트를 제공하며, 총 149,000개 이상입니다.
• 코드 포인트는 저장 방식과 분리됩니다. 인코딩은 코드 포인트를 바이트로 변환합니다.
• UTF-8: UTF-8은 문자당 1~4 바이트를 사용하며 ASCII 호환성이 있습니다. 첫 번째 128 코드 포인트는 ASCII와 동일한 1바이트입니다. UTF-16은 2 또는 4 바이트를 사용하고, UTF-32은 고정된 4 바이트를 사용합니다.

worked example: ASCII와 유니코드 비교

worked example: 텍스트 파일의 크기

이_Handle와 Hex로 문자 읽기

• 코드 포인트는 단순히 숫자이므로 다른 숫자와 같이 변환됩니다. A은 65이며, 이는 이_Handle로 0100 0001, Hex로 41입니다.
• 유용한 두 패턴: 숫자 0부터 9까지는 48에서 시작하며, 소문자는 대문자보다 32 크므로 a(97)은 A(65)에 32를 더한 값입니다. 이 차이는 단일 비트입니다.
• A = 65임을given하고 E을 구하는 문제라면, 암기한 표가 아닌 $65 + 4 = 69$을 구해야 합니다.

놓칠 수 있는 점

이해했습니다