openLooKeng

随着大数据技术的应用和发展，多数据源形成的数据孤岛导致整个分析过程复杂，编程入口多，系统集成难度大。为改善大数据易用性，华为发起数据虚拟化引擎openLooKeng开源项目。openLooKeng以ANSI 2003 SQL为载体提供统一数据访问接口，通过不同Connector连接各个数据源，具备跨数据源/数据中心分析能力。openLooKeng充分利用内存并行处理，分布式的流水线作业以及列式内存数据结构等技术，同时增强了前置调度、跨源索引、动态过滤、跨源协同、水平拓展等能力，同时提供Coordinator AA高可靠、可扩展的数据源connector框架等能力。北向接口方面，openLooKeng提供ODBC、JDBC以及REST接口，BI工具、AI工具可以有效集成，简化系统设计。南向接口方面，通过数据源连接框架，提供多种数据源的访问能力。此外，openLooKeng提供跨域连接器，提供高性能跨域协同计算。 openLooKeng基于内存的计算框架，充分利用内存并行处理，可以快速处理TB甚至PB级的海量数据；使用openLooKeng可实现RDBMS、NoSQL等数据库以及Hive或MPPDB等数据仓库的联合查询；对于省-市、总部-分部这样两级或者多级数据中心的场景，通过openLooKeng集群之间传输计算结果的方式，避免了大量原始数据的网络传输，规避了带宽不足、丢包等带来的网络问题。