科创中国
人工智能模型请求响应机制优化方法、系统、终端及介质
成果类型：: 发明专利
发布时间: 2023-11-09 11:48:45
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 宋学姮 | 2023-11-17 14:25:59
本申请涉及一种人工智能模型请求响应机制优化方法、系统、终端以及存储介质。所述方法包括：获取当前人工智能模型请求的目标模型；采用频繁模式树筛选出能够与所述目标模型构成频繁模型组的至少一个其他人工智能模型；所述频繁模型组为同时使用次数大于设定频繁程度阈值的至少两个人工智能模型的组合；采用连带打包传输机制将所述目标模型以及所述至少一个其他人工智能模型打包传输至模型请求方。本申请在传输模型请求所需要的目标模型的同时，连带传输所有能够与该目标模型构成频繁模型组的其他模型，以避免在下一次响应模型请求时由于单个模型传输不可打包而造成的传输代价浪费，有效的降低了响应人工智能模型请求的代价成本。
.一种人工智能模型请求响应机制优化方法，其特征在于，包括：
获取当前人工智能模型请求的目标模型；
采用频繁模式树筛选出能够与所述目标模型构成频繁模型组的至少一个其他人工智能模型；所述频繁模型组为同时使用次数大于设定频繁程度阈值的至少两个人工智能模型的组合；
采用连带打包传输机制将所述目标模型以及所述至少一个其他人工智能模型打包传输至模型请求方。
缓存和预加载：
- 实现请求响应优化的一种方法是利用缓存技术，将常用的模型或数据提前加载到内存中，以加速响应时间。
模型剪枝和量化：
- 通过模型剪枝和量化技术，减少模型的大小和计算量，提高推理速度，从而加速响应。
分布式计算与并行处理：
- 利用分布式计算和并行处理技术，将模型分解或并行执行，以加快模型推理的速度，提高并发处理能力。
动态调整资源分配：
- 根据实际需求动态调整资源分配，例如分配更多的计算资源给高优先级的请求，以优化整体的响应速度。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生AC态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
高效推理引擎：
- 开发专门用于推理的高效引擎，能够在终端设备上快速执行模型推理，减少响应时间。
本地缓存与更新策略：
- 在终端设备上实现本地缓存和智能更新策略，根据使用情况缓存模型的部分或全部，以及更新模型时机。
技术转让
根据实际需求动态调整资源分配，例如分配更多的计算资源给高优先级的请求，以优化整体的响应速度。利用分布式计算和并行处理技术，将模型分解或并行执行，以加快模型推理的速度，提高并发处理能力。
下载app