一种大数据分析处理方法及系统
发布时间: 2022-06-20
基本信息
发明公开一种大数据分析处理方法及系统,该方法包括:在步骤S1中,获取用户通过就诊或终端得到的第一数据,对其进行识别和标记以形成第二数据,并将第二数据存储到第一数据库;在步骤S2中,基于某个时间段内通过步骤S1形成的多个数据处理过程的数据结果,结合第一数据库在该时间段之前的数据,形成第一数据库的完整数据;在步骤S3中,通过第一数据库向区块链进行数据上传;在步骤S4中,用户根据其的对应的权限,对于区块链上的数据进行分析。该大数据分析处理方法及系统能够保证用户数据不被被窃和泄露,保证在数据安全的情况下提高加密效率,并且便于在合规的前提下进行数据分析。
主权利要求: 1.一种大数据分析方法,包括:在步骤S1中,获取用户通过就诊或终端得到的第一数据,对其进行识别和标记以形成第二数据,并将第二数据存储到第一数据库;在步骤S2中,基于某个时间段内通过步骤S1形成的多个数据处理过程的数据结果,结合第一数据库在该时间段之前的数据,形成第一数据库的完整数据;在步骤S3中,通过第一数据库向区块链进行数据上传;在步骤S4中,用户根据其的对应的权限,对于区块链上的数据进行分析;针对形成的第二数据,在存储到第一数据库之前进行进一步处理,包括:对第二数据集进行抽样,找出数据集中的敏感点,生成敏感序列集,其中敏感点包括第一数据中的、用户通过终端的可穿戴医疗信息获取设备所获取其自身的生理参数中的数据增减变化超过第一阈值的生理参数值,其中获取连续的生理参数测量值,并对其数值序列进行求导,当结果值大于预设阈值时判定生理参数中的数据增减变化超过第一阈值,发生变化的起始点设定为敏感点;使用差分数据算法将敏感序列集生成含有随机噪声的敏感序列集,其中从拉普拉斯分布中抽取随机噪声以添加到敏感点中;并根据含有随机噪声的敏感序列集来生成新的数据集,将存储到第一数据库,该第一数据库是医疗卫生机构所在站点的数据库;之后通过数据挖掘来分析用户个人信息中相关因素与特定健康状态的关联关系以及不同用户个人信息共同的相关因素与特定健康状态的关联关系,进而实现该医疗卫生机构本地的数据分析,同时通过上述数据集的处理避免用户个人信息被窃;当通过第一数据库向区块链进行数据上传时,判断该数据库作为节点是否具有入网权限,当具有时实现数据上传,否则执行准备步骤,并在该步骤中得到权限之后进行数据上传;其中准备步骤包括:第一数据库随机生成节点标识和密钥对,向区块链中的第一节点发起请求,该请求包括第一数据库的节点标识、公钥以及第一数据的设备唯一识别码;第一节点接收到第一数据库的请求后先在其所在位置进行记录,把第一数据库的信息进行广播以使得记账节点以交易的形式将第一数据库的信息进行许可记录,并确定与第一数据库最接近的N个节点,将这N个节点的信息返回给第一数据库;第一数据库收到N个节点的信息后在其所在位置进行记录,继续向N个节点发送请求;重复执行以上步骤,直到建立符合第一规范的路由信息;之后第一数据库确定目标节点的位置并发送查询请求,目标节点接收到请求后确定距离第一节点最近的节点并返回给第一数据库,第一数据库将返回的节点信息记录到其所在位置的请求列表中,并重复执行发送查询请求和记录的步骤,直到查询完N个节点;第一数据库查询路由信息中符合预设上传条件的待上传数据的目标节点并发送存储请求,在待上传数据的目标节点同意第一数据库的请求操作之后,第一数据库向待上传数据的目标节点进行数据上传,并且以预设的时间段为周期定期在待上传数据的目标节点中更新数据;数据上传过程包括:第一数据库将交易发送给由背书策略指定的背书节点;背书节点执行交易相关链码并记录结果;第一数据库收集背书,并将其发送给排序模块;排序模块用插拔的一致性协议生成背书交易序列并将其发送给区块链上的节点;该节点收到背书交易序列之后验证背书交易是否符合背书策略,并确认交易顺序的一致性,当结果为一致时将交易结果提交并写入区块中;第一数据库在数据上传过程时,区块还对上传的数据进行验证,其过程包括:在写入的区块接收到第一数据库在上传的数据中添加了时间戳并计算摘要和对摘要进行签名之后形成的上传的数据之后,写入的区块提取上传的数据中写入的身份标识,检索是否有第一数据库的公钥信息,如果有则执行后续步骤,如果没有则使用公钥对身份标识进行加密以返回给第一数据库,第一数据库在解密之后使用写入的区块的公钥加密并返回给写入的区块;写入的区块收到之后使用私钥解密以提取第一数据库的公钥,进而通过第一数据库的签名验证有效性。