一种基于ClickHouse的非结构化数据的处理方法和装置

摘要: 本发明公开了一种基于ClickHouse的非结构化数据的处理方法，包括：获取非结构化数据；识别非结构化数据是否为嵌套数据；若非结构化数据为嵌套数据，则递归转换所述非结构化数据为非嵌套数据；若非结构化数据为非嵌套数据，则解析非结构化数据；提取解析后的非结构数据的每一层级节点的数值；基于非结构化数据的层级节点进行一致性哈希去重；将去重后存留的数值写入ClickHouse中。基于ClickHouse的表引擎实时接入解析后的数据，可以最低的计算资源保障吞吐最大化，可提高对非结构化数据中嵌套数据的解析效率，并通过一致性哈希实时去重，实时进行数据清洗，使嵌套数据解析过程满足幂等性。