科创中国
一种市场监管监测中心数据的智能存储方法
成果类型：: 发明专利
发布时间: 2026-04-27 10:10:31
科技成果产业化落地方案
方案提交机构：成果发布人| 徐景新 | 2026-04-27 10:10:32
本发明涉及数据压缩技术领域，具体涉及一种市场监管监测中心数据的智能存储方法，该方法包括：根据预设采样时间段内的市场监管监测中心的实际数据与其对应的历史数据之间的差异得到特征系数；根据历史数据和特征系数得到预测数据，根据实际数据与预测数据得到重要性指标；构建数据块，根据数据块中实际数据与预设的特征值得到数据块的分布指标；根据数据块中实际数据之间的差值得到数据块的结构指标；根据重要性指标、分布指标和结构指标得到数据块的拟合程度；根据数据块的拟合程度对数据块进行分类，将每个类别内的实际数据组成数据流利用LZW算法进行压缩存储。本发明缩短了数据压缩的时间，提高了数据压缩的效率。
该智能存储方法的核心技术在于“数据热度图谱构建-自适应存储引擎-混合索引调度”三层架构。首先通过分析数据访问频率、关联查询模式及监管业务标签，动态构建数据热度图谱，将数据划分为热、温、冷三层。热数据驻留于内存数据库，温数据采用列式存储，冷数据自动压缩转储至低成本对象存储。设计自适应存储引擎，根据实时负载智能迁移数据层级，并维持数据一致性。引入混合索引机制，对热数据建立哈希索引，对温冷数据建立倒排与布隆过滤器组合索引，支持跨层级统一查询。方法集成数据生命周期管理策略，自动清理过期监管数据。
该方法可广泛应用于市场监管、税务、海关、交通等政务大数据中心，以及电商平台、物流企业的监测数据管理系统。特别适用于需要长期存储且查询模式复杂多变的场景，如企业信用档案、产品抽检记录、投诉举报音视频。随着数字政府建设推进，跨部门监管数据汇聚量呈指数级增长，对智能存储技术的需求日益迫切。该方法还可拓展至医疗影像存储、城市视频监控归档及科研数据管理等领域，具备广阔的应用前景。
菏泽市产品检验检测研究院是菏泽市人民政府设立的综合性检验检测机构，主要承担产品质量监督检验、计量检定校准、特种设备安全检验等职能。该院整合了原质检、计量、特检等多领域技术资源，具备食品、化工、建材、机电等多项产品检测资质，为政府监管、企业生产及社会公众提供科学、公正的技术支撑。其计量测试所负责全市量值统一，特种设备检验所保障锅炉、电梯等设备安全运行。全院秉持“科学、公正、准确、高效”的质量方针，服务鲁西南及周边地区经济发展与质量安全。
本成果产生的效益显著。经济成本上，通过分层存储与自动压缩，显著降低对昂贵SSD存储的依赖，年存储硬件成本节省超50%。查询效率上，热点数据的毫秒级响应使监管人员调取历史记录等待时间由分钟级降至秒级，提升案件处理效率。运维效益上，数据自动分级与生命周期管理减少了人工干预，降低DBA运维负担。数据安全上，基于热度分层可实现敏感热数据的优先加密与备份，增强数据防护能力。技术效益上，推动了智能存储技术在政务场景的规范化应用。产业层面，增强了我国在政务大数据智能治理领域的自主创新能力。
技术转让，许可，合作所需资金需双方协商，此项技术想尽快落地，希望具备此项技术研发的技术方，能够尽快承接此项目。
下载app