现代汉语常用字与国标一级字的比较

背景知识: 现代汉语常用字

为了适应语文教学、词书编纂以及汉字机械处理和信息处理等各方面的需要,国家语言文字工作委员会汉字处从1986年6月开始研制现代汉语常用字表。1987年7月国家语委邀请教育、语言、信息处理等方面专家对字表草案进行论证;同年8月委托山西大学计算机科学系作抽样检验。国家教委有关部门参加了字表草案的修订工作。国家语委汉字处根据各方面提出的意见对字表草案进行整理修正,于1988年1月制订出现代汉语常用字表。

常用字表选材的时间范围是从1928至1986年。在此时间区域内采用不等密度抽样,即抽样量按时间顺序递增,以近期的资料为主要抽样对象。 会用字与政治、经济、文化的发展有着密切的关系,不同时期的用字情况有所不同。如果仅依某一短时期的用字情况选取常用字则有时间的局限性。适当把统计的时间拉长,纵观各个不同时期的用字情况,则可以衡量字的使用是否稳定。选取使用稳定的字,可以避免选字的偶然性。

《现代汉语常用字表》分常用字(2500字)和次常用字(1000字)两个部分。

为了检验常用字表中选收的常用字是否合理,山西大学计算机科学系利用计算机抽样统计200万字的语料,检测选收的常用字的使用频率。检测结果是:2500常用字覆盖率达97.97%,1000次常用字覆盖率达 1.51%,合计(3500字)覆盖率达99.48%,说明《现代汉语常用字表》是符合实际的。

背景知识: GB2312

GB 2312-80 是中国国家标准简体中文字符集,全称《信息交换用汉字编码字符集·基本集》,由中国国家标准总局发布,1981年5月1日实施。GB2312 编码通行于中国大陆;新加坡等地也采用此编码。中国大陆几乎所有的中文系统和国际化的软件都支持 GB 2312。

GB2312 标准共收录 6763 个汉字,其中一级汉字 3755 个,二级汉字 3008 个;同时收录了包括拉丁字母、希腊字母、日文平假名及片假名字母、俄语西里尔字母在内的 682 个字符。GB2312 的出现,基本满足了汉字的计算机处理需要,它所收录的汉字已经覆盖中国大陆 99.75% 的使用频率。对于人名、古汉语等方面出现的罕用字,GB2312 不能处理,这导致了后来 GBK 及 GB18030 汉字字符集的出现。

GB2312 中对所收汉字进行了“分区”处理,每区含有 94 个汉字/符 。这种表示方式也称为区位码。

  • 01 – 09 区为特殊符 。
  • 16 – 55 区为一级汉字,按拼音排序。
  • 56 – 87 区为二级汉字,按部首/笔画排序。

10 – 15 区及 88 – 94 区则未有编码。举例来说,“啊”字是 GB2312 之中的第一个汉字,它的区位码就是 1601。

每个汉字及符 以两个字节来表示。第一个字节称为“高位字节”,第二个字节称为“低位字节”。“高位字节”使用了 0xA1 – 0xF7(把 01 – 87 区的区 加上 0xA0),“低位字节”使用了 0xA1 – 0xFE(把 01 – 94 位的位 加上 0xA0)。 由于一级汉字从 16 区起始,汉字区的“高位字节”的范围是 0xB0 – 0xF7,“低位字节”的范围是 0xA1 – 0xFE,占用的码位是 72 * 94 = 6768。其中有 5 个空位是 D7FA – D7FE。例如“啊”字在大多数程序中,会以两个字节,0xB0(第一个字节)0xA1(第二个字节)储存。(与区位码对比:0xB0 = 0xA0 + 16, 0xA1 = 0xA0 + 1)。

国家标准 GB 18030-2005《信息技术 中文编码字符集》,是中华人民共和国现时最新的内码字集,与 GB 2312-1980 完全兼容,与 GBK 基本兼容,支持 GB 13000 及 Unicode 的全部统一汉字,共收录汉字 70244 个。现行版本为国家质量监督检验总局和中国国家标准化管理委员会于2005年11月8日发布,2006年5月1日实施,为在中国境内所有软件产品支持的强制标准。

现代汉语常用字与国标一级字的比较

综上所述,现代汉语常用字有3500个,国标(GB2312)一级字有3755个。这两者都是常用汉字,后者比前者多255字。那么,就让我们来比较一下这两者有什么区别吧。下面就是进行比较的 C# 源程序:

程序分析:

  1. 第41至52行的 GetGB2312String 方法生成国标一级字。
  2. 第34至39行的 GetChineseString 方法生成常用字。该方法读取我上传到博客园的 Chinese3500.zip 文件,使用 .NET Framework 4.5 Base Class Library 中的 ZipArchive 类来直接读取压缩包中的 常用字.txt 和 次常用字.txt 的内容。 
  3. 第27至32行的 Compare 方法调用 HashSet 类的 ExceptWith 方法来得到两个集合的差集。

比较的结果

在 Windows 7 操作系统上编译和运行:

从上述运行结果可以看出:

  1. 现代汉语常用字有3500个,其中常用字2500个,次常用字1000个。
  2. 国标一级字有3755个。
  3. 两者之差:3755 – 3500 = 255 个。
  4. 现代汉语常用字中有126字是国标一级字中没有的,其中“叨蜓筝蜻橘”等5个属于常用字。
  5. 国标一级字中有381字是现代汉语常用字中没有的。
  6. 两者之差: 381 – 126 = 255个,与第3项相符。
  7. 现代汉语常用字和国标一级字的交集共有3374字,即:3374 = 3500 – 126 = 3755 – 381。
  8. 现代汉语常用字的 96.4% 都在国标一级字中,即:96.4% = 3374 / 3500。
  9. 国标一级字的 89.85% 都在现代汉字常用字中,即:89.85% = 3374 / 3755。

现代汉字常用字表

常用字.txt (共2500字):

次常用字.txt (共1000字):

参考资料

  1. 中国语言文字 : 《现代汉字常用字表》
  2. 博客园: 随机生成常用汉字
  3. 博客园: 浅谈 ZipArchive 类
  4. 下载: 现代汉字常用字表

 

 

 

 

相关资源:免费的OCR软件:蝴蝶识OCR软件-其它工具类资源-CSDN文库

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2012年11月11日
下一篇 2012年11月11日

相关推荐