《现代汉语语法信息词典》的开发与应用
【摘要】现代汉语语法信息词典是为计算机实现汉语句子的自动分析与自动生成开发的一部机器词典，它以数据库文件形式收录了5万多条现代汉语的词语，不仅给出了每个词语所属的词类，而且详细描述了它们的各种语法属性。本文介绍这部语法词典的开发历程、内容概要和设计思想，并且举例说明在自然语言处理系统中如何应用这部语法词典。关键词：现代汉语、语法信息词典、机器词典、自然语言处理The Development of Contemporary Chinese GrammaticalKnowledge Base and its ApplicationsZHU Xuefeng YU Shiwen WANG HuiInstitute of Computational Linguistics, Peking UniversityBeijing 100871, P.R.CPhone :2501892 AbstractThe Contemporary Chinese Grammatical Knowledge Base is a machine dictionary,which is developed for automatic analysis and generation of Chinese sentences. There are about 50,000 Chinese words and idioms in the knowledge base represented by database files. The knowledge base not only gives part of speech for each word or idiom, but also describes their various grammatical attributes. The paper introduces the design, the development and the outline of the knowledge base and shows its applications in natural language processing systems with examples.Keywods: contemporary Chinese, grammatical knowledge base, machine dictionary, natural language processing 1. 现代汉语语法信息词典的开发历程 十年前，中文输入技术的主流还是汉字编码，以词为单位进行输入也只是汉字输入的陪衬。北大计算语言学研究所在1986年提出了一个语法规则制导的以语句为单位的中文输入方案，并在一年多的时间内实现了。参考文献[1]深入浅出地介绍了这个方案的原理与实现技术。这个方法中就包含了一部电子词典，除了词条及每个词的检索特征(拼音、起笔、末笔等)外，还包括词类及细分的子类。这部词典成为现代汉语语法信息词典的基础。 作为中国七五攻关项目“自然语言理解与人机接口”中的一个子专题，俞士汶于1987年提出了开发“现代汉语词语语法信息库”的计划[2] ，把研究重点放在词语语法属性的描述上。恰逢此时，中国著名语言学家朱德熙先生承担了全国社会科学规划领导小组下达的“现代汉语词类研究”的攻关项目。从此，北大计算语言学研究所与中文系的研究者们在朱德熙先生的率领下开始了联合攻关，并结成了稳定的合作关系。1990年，“现代汉语词语语法信息库”取得了阶段性成果，通过技术鉴定。 在讨论八五攻关项目时，以中国工程院院士、中国中文信息学会理事长陈力为教授为代表的中国一批自然语言处理技术专家敏锐地觉察到，为了中文信息处理技术的发展，特别是语言信息处理技术的发展，有必要建立通用的应用开发平台[3][4]。这个大型语言工程将现代汉语语法信息词典（以下有时简称为“语法词典”）列为它的一个子专题。从1991年起北大计算语言学研究所承担了这个子专题的研制任务。本项研究继承了“现代汉语词语语法信息库”的成果，又经过5年的努力，现在本项研究已完成如下任务：（1）制订了现代汉语语法信息词典的规格说明书与开发方略[5];（2）建立了面向信息处理的现代汉语词语分类体系并完成了关于这个分类体系的研究报告[6]；（3）明确了词语的收录范围与选词原则[7]；（4）探讨了某些词类的子类划分[8]；（5）语法词典本身的开发，这当然是最繁重、最艰巨的任务。到目前为止，语法词典收录的词语总数为5万多条，并且将这5万多词都归了类，按照规格说明书填入了语法属性信息，其中百分之七十经过了仔细的、多遍的、不同角度的校对。 按照应用开发平台工程总体组的布署，北大已将语法词典的部分内容提交给其他子专题开发组使用。最近，负责句法规则的研究者告知，语法词典对句法分析提供的语法知识是有价值的，也是相当充分的。对于开发者来说，这当然是莫大的安慰与鼓励。另外，北大计算语言学研究所与中国科学院计算所联合开发“汉英机器翻译模型系统”，与北京通字公司联合开发“面向通用图像码的自然语言生成系统”，与自然科学基金项目配合，开发汉语语料库多级标注系统[9]，这些应用系统利用了语法词典的信息。语法词典为这些应用系统取得阶段性成果也作出了贡献。 总之，现代汉语语法信息词典的开发已取得阶段性成果，并且在若干自然语言处理应用系统开发中得到了利用。2. 现代汉语语法信息词典的内容概要2.1 词语的分类词语的分类既是任何一个自然语言处理系统的基础也是语法信息词典开发的基础。因为语法词典既要描述每类词都有的共同的语法属性，又要分别描述各类词特有的语法属性，只有这样，语法信息才会充分、完备，而又不致过于冗余。语法词典的词类体系是在朱德熙先生的语法理论指导下，依据词的语法功能建立的，现代汉语词语可划分为以下18个基本词类：名 词(n) 如：书、水、教授、国家、心胸、北京时间词(t) 如：明天、元旦、唐朝、现在、春天处所词(s) 如：空中、低处、郊外、隔壁方位词(f) 如：上、下、前、后、东、西、南、北、里面、外头、中间数词(m) 如：一、第一、千、零、许多、分之量 词(q) 如：个、群、公斤、杯、片、种、些区别词(b) 如：男、女、公共、微型、初级代 词(r) 如：你、我们、这、那么、哪儿、谁 动 词(v) 如：走、休息、同意、能够、出去、是、调查形容词(a) 如：好、红、大、温柔、美丽、突然状态词(z) 如：雪白、金黄、泪汪汪、满满当当、灰不溜秋副词(d) 如：不、很、都、刚刚、难道、忽然介 词(p) 如：把、被、对于、关于、以、按照连 词(c) 如：和、与、或、虽然、但是、否则助 词(u) 如：了、着、过、的、所、似的语气词(y) 如：吗、呢、吧、嘛、啦、呗拟声词(o) 如：呜、啪、叮呤当啷、哗啦叹 词(e) 如：唉、喔、哎哟、嗯、啊括号中的英文字母是各个词类的代码。这18个基本词类是被多数语言学家认可的。其中名词、时间词、处所词、方位词、数词、量词可以归并为体词（其主要语法功能是作主语、宾语），动词、形容词、状态词可以归并为谓词（其主要语法功能是作谓语），代词有一部分属于体词（如：你、我、这儿、哪里等），又有一部分属于谓词（如：这样、那么、怎么样等）。体词、谓词、区别词、副词又合称为实词，而介词、连词、助词、语气词合称为虚词。在实际文本中出现的词语，除了属于以上18个基本词类的以外，还存在比基本词类要大的单位，如：成 语(i) 如：空中楼阁、画龙点睛、字字珠玑、一衣带水习用语(l) 如：总而言之、自古以来、跑龙套、摆花架子简称略语(j) 如：北大、数理化、总参、三好、农牧业也存在比基本词类更小的单位，如：前接成分(h) 如：阿（～妹）、老（～张）、伪（～指令）后接成分(k) 如：子（桌～）、儿（花～）、头（石～）、式、员语 素 字(g) 如：碧、棉、宾、洁、农、怒非语素字(x) 如：鸳、鸯、葡、萄、咖、啡中文的标点符号(w) 如：。，《》 、！“”为了分析实际文本的需要，现代汉语词语功能分类体系共包括了26个不同的词语类别。现在已完成了语法词典收录的5万词语的归类工作。2.2 语法词典的结构与形态语法词典采用成熟的关系数据库技术，结合使用分类与属性描述两种方法，对5万词语建立了分级的语法属性库。每一个库文件都刻划了词语及其属性的二维关系。长期以来，自然语言处理技术都是应用规则系统描述语言的语法规律。这种规则系统抽象程度高，适合于描述词类与词类之间的组合关系。但是自然语言极其复杂，每个词语都有自己的特性，规则系统是难以应付大范围的实际语料的复杂性的。面向实际语料中词与词的同现关系的统计学研究是一个有前途的新方向，但统计的数据量非常大，需要强大的计算机系统甚至超并行计算机系统的支持。语法词典介于上述两种办法之间，是在应用需求与客观条件之间进行权衡与折衷的实际可行的策略。词典中共有32个数据库文件。总库1个。各类词库24个（叹词、象声词、非语素字现未另建库)。代词库下又设两个库，即人称代词、指示 / 疑问代词分库，动词库下又设体宾动词、谓宾动词、双宾动词、动结式、动趋式、离合词等6个分库。所有词的共同属性容纳在总库中，总库中的属性包括读音、词类、切分标记、姓氏标记等，共计约20项。各类词的特有属性填在各类词的库中。以动词为例，动词库中列出了46项属性，表1是动词属性库中部分属性的样例。表1. 动词属性库中部分属性的样例