科创中国
基于多元表征和度量学习的试题检索方法、装置及介质
发布时间: 2022-06-21
基本信息
合作方式：
技术咨询
成果类型：
发明专利
行业领域：
新一代信息技术产业,信息传输、软件和信息技术服务业
成果介绍
本发明公开了一种基于多元表征和度量学习的试题检索方法、装置、计算机设备及存储介质，该方法步骤如下：获取试题库数据，提取试题中的多元异构数据的特征；对多元特征分别建立索引；提取输入查询的试题特征，利用BM25算法从题库中粗召回一定量的候选相似试题；将输入查询的试题和BM25算法返回的候选试题特征输入到多种度量学习方法进行精排，最后按照相似度程度从大到小排序返回检索结果。本发明根据试题多源异构，分别对图片、文本、公式进行特征提取和建模。采用粗召回和精排两阶段检索策略，利用概率模型召回候选试题再重排序，提升匹配的效率。在精排阶段，多维度融合不同度量学习匹配算法，提升搜索方法的准确率和鲁棒性。
主权利要求: 1.一种基于多元表征和度量学习的试题检索方法，其特征在于，所述试题检索方法包括以下步骤：S1、获取试题库数据，提取试题库中试题的多元异构数据的特征，所述多元异构数据包括文本、公式以及图片；S2、对步骤S1中提取的多元异构数据的特征分别建立索引；S3、提取输入查询的试题的多元异构数据的特征，利用BM25算法从试题库中粗召回一定量的候选相似试题；S4、将输入查询的试题的多元异构数据的特征，和步骤S3返回的候选相似试题的多元异构数据的特征通过多种度量学习方法进行精排，最后按照相似度程度从大到小排序返回检索结果；上述精排过程如下：***、利用向量空间模型VSM调节BM25算法得到的匹配分数，假设输入查询的试题s和试题库中试题d经向量空间模型VSM进行特征提取后得到的向量表示如下：其中f(wij),i∈{s,d}表示第j个单词在文档i中的TF-IDF权重；wij表示第j个单词是否在文档i中出现，如果出现则wij=1，否则wij=0；通过余弦相似度得到输入查询的试题s和试题库中试题d的第一相似性分数：公式中符号“.”表示向量相乘，“‖𝑥‖”表示对x求范数；***、基于编辑距离计算输入查询的试题s和试题库中试题d的第二相似度分数Sim(s,d)，公式如下：其中l𝑒𝑣𝑒(𝑠,d)表示输入查询的试题s和试题库中试题d的编辑距离，即查询的试题s通过删除、插入和替换三种操作变成试题库中试题d所需要的最小代价，通过动态规划求得l𝑒𝑣𝑒(𝑠,d)的取值，|𝑠|和|d|分别是试题s和试题的长度；***、假设输入查询的试题s和试题库中试题d经过特征提取后分别得到的特征集合Q和P表示如下：其中qi是输入查询的试题s经特征提取后的第i个特征，pt是试题库中试题d经特征提取后的第t个特征；计算特征覆盖率，公式如下：Q⋂P表示两个特征集合的交集，|Q⋂P|表示交集Q⋂P的集合大小，|P|表示特征集合P的大小；***、利用向量空间模型VSM对BM25算法计算得到的结果进行归一化，然后和编辑距离、特征覆盖率的结果进行比较，保留最大值作为试题之间的相似程度，最后按照相似程度从大到小排序返回检索结果。
成果亮点
团队介绍
成果资料
下载app