科创中国
基于Storm的可变逻辑的通用数据处理系统及方法
成果类型：: 发明专利
发布时间: 2022-10-13 10:31:40
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 门松 | 2022-10-30 10:45:28
本发明提供一种基于Storm的可变逻辑的通用数据处理系统，包括：异构数据源标准化服务器用于对异构数据进行多维度标准化处理；流式拓扑结构由多个GSpout、GBolts、以及约束和逻辑系统组成，并通过数据流连接起来，其中约束和逻辑系统中约束和处理逻辑封装在逻辑配置文件中；Zookeeper；监听模块用于将逻辑配置文件中的更新动态发送给Zookeeper进行同步；Web端界面用于监控Zookeeper，以及更新逻辑配置文件。本发明还提供了对应的数据处理方法。本发明一旦业务逻辑需要修改，只需简单修改配置文件，系统会按照修改的逻辑运行，无需业务暂停而去修改代码和重新打包发布新的流计算任务。
一种基于Storm的可变逻辑的通用数据处理系统，其特征在于，包括：异构数据源标准化服务器，用于对异构数据进行多维度标准化处理，以实现约束和逻辑处理的封装；流式拓扑结构，由多个不同的数据源(GSpout)、处理单元(GBolts)、以及约束和逻辑系统组成，并通过数据流连接起来，其中所述约束和逻辑系统中的约束和处理逻辑封装在逻辑配置文件中，用于更新及存储所述约束和处理的逻辑关系；Zookeeper，用于开源管理所述流式拓扑结构；监听模块，连接于所述逻辑配置文件与所述Zookeeper之间，并将所述逻辑配置文件中的更新动态发送给所述Zookeeper进行同步；Web端界面，连接于所述Zookeeper与所述逻辑配置文件，用于对所述Zookeeper中的信息进行监控，以及通过逻辑配置文件对所述约束和逻辑系统中的逻辑关系进行更新。
随着传统互联网的高速发展和移动互联网的崛起引领大数据时代的到来，流数据(streaming data)的应用模型广泛出现在众多领域，如金融应用、网络监视、通信数据管理、Web应用及传感器网络数据处理等。这类应用的特征是:数据不宜使用持久稳定关系建模，而适宜用瞬态数据流建模。近年来，业界也出现不少实时流数据计算系统，包括Yahoo!S4、Twitter Storm、IBM StreamBase、以及学术界开源的Borealis等。其中Storm因为其规整的编程模型、多语言支持、简单的水平扩展和可靠、高效的流处理得到广泛应用，国内主要的互联网企业，如阿里、百度和腾讯等，都在其内部系统中广泛部署基于Storm的流处理系统。
发明人：范小朋;赵东辉;沈慧;须成忠
联系方式：0755-86392458
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
本发明的一种基于Storm的可变逻辑的通用数据处理系统，包括:异构数据源标准化服务器，用于对异构数据进行多维度标准化处理，以实现约束和逻辑处理的封装;流式拓扑结构，由多个不同的数据源(GSpout)、处理单元(GBolts)、以及约束和逻辑系统组成，并通过数据流连接起来，其中所述约束和逻辑系统中的约束和处理逻辑封装在逻辑配置文件中，用于更新及存储所述约束和处理的逻辑关系；Zookeeper，用于开源管理所述流式拓扑结构;监听模块，连接于所述逻辑配置文件与所述Zookeeper之间，并将逻辑配置文件中的更新动态发送给所述Zookeeper进行同步;Web端界面，连接于所述Zookeeper与所述逻辑配置文件，用于对所述Zooke印er中的信息进行监控，以及通过逻辑配置文件对所述约束和逻辑系统中的逻辑关系进行更新。
技术合作
对于出租车每笔交易信息，我们有需要涉及这笔交易的出租车在交易期间行驶的位置信息，这实则是地理信息流和交易数据流的根据车牌号和时间的Join，我们在逻辑配置文件定义Join逻辑，其中Join的限制条件为车牌号的等值连接以及运行时间的按照一定时间范围的Join。在运行过程中，我们修改为按照交易ID进行等值Join，只需修改逻辑配置文件中字段的id，就可以完成逻辑转变。
需要说明的是：该模型和框架具有通用性，不仅仅基于Twitter Storm，还可以适用于其他流式工具，如Yahoo! S4，Boreal is等。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
下载app