科创中国
一种结合五笔与拼音特征的中文拼写纠错方法
发布时间: 2022-12-08
基本信息
合作方式：
技术服务
成果类型：
发明专利
行业领域：
电子信息技术,计算机及网络技术
成果介绍
一种结合五笔与拼音特征的中文拼写纠错方法，本发明为解决中文文本自动校对技术粒度过于细化，导致下游任务完成较困难，完成时间长的问题，先获取中文字及五笔全码；根据发音易混方式对每个中文字的拼音进行映射；将每个中文字的五笔全码和映射后的拼音进行合并作为每个中文字的标识；获取文本进行预处理，利用Bi‑GRU模型提取文本特征，结合每个标识得到中文字拼音与五笔全码融合的表达方式，并将所述表达方式作为发音与形状的嵌入；计算中文字的字符嵌入和位置嵌入；根据发音与形状的嵌入、字符嵌入和位置嵌入利用BERT‑WWM模型得到纠错目标。属于文本分析技术领域。
成果亮点
本发明将文本错误分为形字形错误和字音错误两大类，针对一段文本，从字粒度出发进行处理，分别对汉字的五笔特征和拼音特征进行处理，首先选取五笔字根对字形进行处理，同时对字形结构进行分类；再弱化字音的平翘舌、前后鼻音差异，并进行映射，具体为：对于声母位，将平翘舌映射为同一个字母，对于韵母位，将前后鼻音映射为同一个字母，且不考虑声调，构造拼音映射字典；将每个字处理后的音与形进行合并，作为每个字的标识；最终对所述文本进行预处理，利用Bi-GRU模型提取预处理后的文本的特征，再结合所述每个字的标识得到字拼音与形融合的表达方式，并将所述表达方式作为发音与形状的嵌入，再得到字符嵌入与位置嵌入，让embedding层融入更多信息；将发音与形状的嵌入、字符嵌入和位置嵌入线性相加，将得到相加的结果作为最终的嵌入表示，相加的结果作为BERT-WWM模型的输入，输出注意力最大的位置作为纠错目标。从而实现中文拼写的纠错。
团队介绍
学院现有学生近2000人，其中本科生1000余人，硕士研究生500余人，博士研究生近300人，留学生30余人。拥有教职工157人，专任教师141人。其中，正高级专业技术职务42人，副高级专业技术职务50人。具有博士学位教师119人，占专任教师总数的84%。现有博士生导师74人，硕士生导师141人。学院拥有国家级人才、享受国务院特殊津贴专家、教育部“新世纪优秀人才”，“龙江学者”特聘教授，黑龙江省杰出青年基金获得者、省级领军人才梯队带头人等国家及省部级人才10余人。
成果资料
产业化落地方案
成果综合评价报告
评价单位：“科创中国”黑龙江科技服务团 (黑龙江省科学技术协会) 评价时间：2023-11-11
下载app