Calcite-学习笔记入门篇

目录

参考文章

什么是Apache Calcite?

为什么需要Apache Calcite?

什么是关系代数Relational algebra ?

什么是数据库系统的查询优化？

Calcite架构

Calcited源码的核心概念

Calcite 解析SQl的步骤

Calcite 解析SQl的步骤（伪代码版）

（1）解析SQL ，即SQL➡️SqlNode

（2）语法检查，即SqlNode➡️SqlNode

（3）语义分析，即SqlNode➡️RelNode/RexNode

（4）逻辑计划优化，即RelNode➡️RelNode

4. Calcite相关组件

4.1 category

4.2 SQL Parser

4.3 Query Optimizer

5. 如何使用Calcite

Calcite代码实战

6. Calcite 其它方面

7. 总结

参考文章

什么是Apache Calcite?

（1）简介

        解释 Apache Calcite 是什么，用论文的标题是最合适：A Foundational Framework for Optimized Query Processing Over Heterogeneous Data Sources（一个用于优化异构数据源的查询处理的基础框架）。Calcite 提供标准的 SQL 语言、多种查询优化和连接各种数据源的能力。从功能上看它有很多数据库管理系统的典型功能，比如 SQL 解析、SQL 校验、SQL 查询优化、SQL 生成、数据连接查询、OLAP 和流处理的查询引擎等等，但却不包括数据处理、数据存储等 DBMS 的核心功能。从另一方面看，正因为 Calcite 这种与数据处理和存储的无关的设计，才使它成为在多个数据源和数据处理引擎之间进行协调的绝佳选择。

        Calcite 的主要功能是 SQL 语法解析(parse)和优化(optimazation)。首先它会把 SQL 语句解析成抽象语法树（AST Abstract Syntax Tree），并基于一定规则或成本对 AST 的算法与关系进行优化，最后推给各个数据处理引擎进行执行。

         Calcite 之前的名称 optiq （也称为Farrago, 使用Java语言编写）。optiq 起初在 Hive 项目中，为 Hive 提供基于成本模型CBO 的优化。2014 年 5 月 optiq 独立出来，成为 Apache 社区的孵化项目，2014 年 9 月正式更名为 Calcite。Calcite 项目的创建者是 Julian Hyde ，他在数据平台上有非常多的工作经历，曾经是 Oracle、 Broadbase 公司 SQL 引擎的主要开发者、SQLStream 公司的创始人和主架构师、Pentaho BI 套件中 OLAP 部分的架构师和主要开发者。现在他在 Hortonworks 公司负责 Calcite 项目，其工作经历对 Calcite 项目有很大的帮助。除了 Hortonworks，该项目的代码提交者还有 MapR 、Salesforce 等公司，并且还在不断壮大。Calcite 的目标是“ one size fits all （一种方案适应所有需求场景）”，希望能为不同计算平台和数据源提供统一的查询引擎，并以类似传统数据库的访问方式（SQL 和高级查询优化）来访问Hadoop 等数据处理系统（DataProcessingSystem）。

        目前, 使用Calcite作为SQL解析与处理引擎有Hive、Drill、Flink、Phoenix和Storm，还会有越来越多的数据处理引擎采用Calcite作为SQL解析工具。

（2）技术特性

1. 支持标准 SQL 语言；
2. 独立于编程语言和数据源， 可以支持不同的前端和后端；
3. 支持关系代数（relational algebra）、可定制的逻辑规划规则和基于成本模型（CBO、Cost Based Optimizatio）优化的查询引擎；
4. 支持物化视图（materialized view）的管理：创建、丢弃、持久化和自动识别；
5. 灵活性、组件可插拔、可扩展（flexible, embeddable, and extensible）。它的 SQL Parser 层、Optimizer 层等都可以单独使用。

不想看文章直接访问mysql-protocal(Java版本的Mysql)、calcite-test，这里有关于Calcite RBO,CBO使用具体用例

为什么需要Apache Calcite?

接下来的问题：为什么需要这么一个SQL语法解析和优化的库呢？

        如果你准备自研一个分布式计算产品，肯定少不了类似 SQL 解析、执行的功能，而实现此类功能则存在一定技术门槛，需要设计者对关系代数等领域有比较深的理解。SQL 解析的结果需要尽量和主流的 ANSI-SQL 一致，这样也能降低公司的推广成本、使用者的学习成本。此外，大数据处理时代的分布式计算场景下，往往一条 SQL 可以解析成多棵语义对等的语法树，但考虑到不同数据结构、底层数据处理的量级、内部的过滤连接等操作的逻辑，这些语法树之间的具体执行效率往往差别很大，SQL 语句不同，底层的执行环境不同，存在的优劣选择也各不相同。

        因此，怎么优化这些语法树的执行路径就是一个非常重要的课题。在这两点上，大数据处理中的批量计算、流计算、交互查询等领域，多少都会存在一些共性问题，当把查询语句背后的关系代数、查询处理和优化等问题封装抽象之后，则有产生一个通用框架的可能。

        如果你是一个数据使用者，可能会面临多种异构数据源需要整合（有传统的关系数据库、搜索引擎如 ES、缓存产品如 MongoDB、分布式计算框架如 Spark 等等），此时同样可能面临跨平台的查询语句分发及执行优化等课题。

        因此 Apache Calcite 应运而生，论文里把它定位为一个完整的查询处理系统，但 Calcite 的设计是非常灵活，实际项目中一般有两种使用方式：1.把 Calcite 当作 lib 库，嵌入到项目中。2.实现一个适配器（Adapter），项目通过读取数据源的适配器与 Calcite 集成。

Apache Calcite 在数据管理（data managerment）与数据存储（data storage）开放给各外部计算、存储引擎来实现。因为数据本身的特性，导致上述两部分既多样又复杂，如文件、关系数据库、列数据库、分布式存储等，所以Calcite 专注于上层更通用的Query language、Query Optimizer、Query Execution，使系统复杂性获得有效控制，聚焦于擅长的领域。

什么是关系代数Relational algebra ?

关系代数，是关系型数据库操作的理论基础。关系代数支持 并、差、笛卡尔积、投影和选择等基本运算。

关系代数也是 Calcite 的核心， 任何一个查询都可以表示成由关系运算符组成的树（tree of relational operators）。 在 Calcite 中，它会先将 SQL 转换成关系表达式（relational expression），然后通过规则匹配（rules match）进行相应的优化，优化会有一个成本（cost）模型为参考。

1.  
   官方论文（原文）
2.  
   Operators.
3.  
   Relational algebra [11] lies at the core of Calcite. In addition to the operators that express the most common data manipulation operations, such as filter, project, join etc.,
4.  
    
5.  
   Calcite includes additional operators that meet different purposes, e.g., being able to
6.  
   concisely represent complex operations, or recognize optimization opportunities more efficiently.
7.  
    
8.  
   For instance, it has become common for OLAP, decision making,and streaming applications to use window definitions to express complex analytic functions such as moving average of a quantity over a time period or number or rows. Thus, Calcite introduces a window operator that encapsulates the window definition, i.e., upper and lower bound, partitioning etc., and the aggregate functions to execute on each window

1.  
   官方论文（中文机器谷歌翻译版）
2.  
    
3.  
   操作算⼦
4.  
    
5.  
   关系代数[11]是 Calcite 的核⼼。除了表达最常⻅的数据操作的操作算⼦，如过滤器、项⽬、连接等，⽅解⽯还包括满⾜不同⽬的的附加算⼦，例如，能够简洁地表⽰复杂的操作，或者更有效地识别优化机会.
6.  
    
7.  
   例如，OLAP、决策制定和流应⽤程序使⽤窗⼝定义来表达复杂的分析函数已变得很常⻅，例如⼀段时间内数量或数量或行的移动平均值。
8.  
    
9.  
   因此，Calcite 引⼊了⼀个窗⼝运算符，它封装了窗⼝定义，即上限和下限、分区等，以及在每个窗⼝上执行的聚合函数。

什么是数据库系统的查询优化？

查询优化，主要是围绕着 等价交换 的原则做相应的转换。这部分可以参考【《数据库系统概念（中文第六版）》第13章——查询优化】。关于查询优化理论知识，列出一些个人觉得不错的博客，大家可以参考一下：

Calcite架构

calcite架构与传统数据库管理系统有一些相似之处，相比而言， 它将数据存储、数据处理算法和元数据存储这些部分忽略掉了。其好处：对于涉及多种数据源和多种计算引擎的应用而言，Calcite 因为可以兼容多种存储和计算引擎，使得 Calcite 可以提供统一查询服务。
        Calcite 架构中，最核心地方就是 Optimizer优化器，一个 Optimization Engine 包含三个组成部分（The optimization engine primarily consists of three components: rules, metadata providers, and planner engines.）
        Rules：匹配规则，Calcite 内置上百种 Rules 来优化 relational expression，同时也支持自定义 rules；
        Metadata providers：主要是向优化器提供信息，这些信息会有助于指导优化器向着目标（减少整体 cost）进行优化， 信息可以包括行数、table 哪一列是唯一列等，也包括计算 RelNode 树中执行 subexpression cost 的函数。
        Planner engines：主要是进行触发 rules 来达到指定目标，比如像 cost-based optimizer（CBO）的目标是减少cost （Cost 包括处理的数据行数、CPU cost、IO cost 等）

        Calcite架构图如上，虚线表示 Calcite 与外部的相互作用。（1）图中最上面的 JDBC client 表示外部的应用，访问时一般以 SQL的形式输入，通过 JDBC Client 访问 Calcite 内部的 JDBC Server 。（2）接下来 JDBC Server 会把传入的 SQL 语句经过 SQL Parser and Validator 模块做 SQL 的解析和校验。（3）旁边的 Expressions Builder 支持 Calcite 做 SQL 解析和校验的框架对接。（4） Query Optimizer 根据Pluggable Rules对Operator Expressions进行优化，其中会用到Metadata Providers（支持外部自定义元数据）提供的信息进行代价计算等操作。而Operator Expressions 是由关系运算符组成的树（tree of relational operators as its internal representation）在calcite中的表示 ，可以直接通过calcite的SQL Parser解析得到，也可以通过Expressions Builder由Data Processing System中的查询树（a SQL query to a tree，如hive中的AST）转换得到。

1.  
   摘要
2.  
   Calcite contains a query parser and validator
3.  
   that can translate a SQL query to a tree of relational operators

1.  
   官方论文（原文）
2.  
   3 ARCHITECTURE
3.  
   Calcite contains many of the pieces that comprise a typical database management system. However, it omits some key components, e.g., storage of data, algorithms to process data, and a repository for storing metadata. These omissions are deliberate: it makes Calcite an excellent choice for mediating between applications having one or more data storage locations and using multiple data processing engines. It is also a solid foundation for building bespoke data processing systems.
4.  
    
5.  
   Figure 1 outlines the main components of Calcite’s architecture.
6.  
   Calcite’s optimizer uses a tree of relational operators as its internal representation. The optimization engine primarily consists of three components: rules, metadata providers, and planner engines. We discuss these components in more detail in Section 6. In the figure, the dashed lines represent possible external interactions with the framework. There are different ways to interact with Calcite.
7.  
    
8.  
   First, Calcite contains a query parser and validator that can translate a SQL query to a tree of relational operators. As Calcite does not contain a storage layer, it provides a mechanism to define table schemas and views in external storage engines via adapters (described in Section 5), so it can be used on top of these engines.
9.  
    
10.  
    Second, although Calcite provides optimized SQL support to systems that need such database language support, it also provides optimization support to systems that already have their own language parsing and interpretation:
11.  
    Some systems support SQL queries, but without or with limited query optimization.
12.  
    For example, both Hive and Spark initially offered support for the SQL language, but they did not include an optimizer.
13.  
    For such cases, once the query has been optimized, Calcite can translate the relational expression back to SQL.
14.  
    This feature allows Calcite to work as a standalone system on top of any data management system with a SQL interface, but no optimizer.
15.  
     
16.  
    The Calcite architecture is not only tailored towards optimizing SQL queries. It is common that data processing systems choose to use their own parser for their own query language.
17.  
    Calcite can help optimize these queries as well. Indeed, Calcite also allows operator trees to be easily constructed by directly instantiating relational operators. One can use the builtin relational expressions builder interface.
18.  
     
19.  
    For instance, assume that we want to express the following Apache Pig [41] script using the expression builder:

1.  
   官方论文（中文机器谷歌翻译版）
2.  
   3 架构
3.  
   Calcite 包含许多组成典型数据库管理系统的部分。但是，它省略了⼀些关键组件，例如数据存储、处理数据的算法以及⽤于存储元数据的存储库。这些遗漏是故意的：它使 Calcite成为在具有⼀个或多个数据存储位置并使⽤多个数据处理引擎的应⽤程序之间进行调解的绝佳选择。它也是构建定制数据处理系统的坚实基础。
4.  
    
5.  
   图 1 概述了 Calcite 架构的主要组件。
6.  
   Calcite 的优化器使⽤关系运算符树作为其内部表⽰。优化引擎主要由三个组件组成：规则、元数据提供者和规划引擎planner。我们将在第 6 节中更详细地讨论这些组件。在图中，虚线表⽰与框架可能的外部交互。有不同的⽅式与⽅解⽯进行交互。
7.  
    
8.  
   ⾸先，Calcite 包含⼀个查询解析器和验证器，可以将 SQL 查询转换为关系运算符树。由于 Calcite不包含存储层，它提供了⼀种机制来通过适配器（在第 5 节中描述）在外部存储引擎中定义表模式和视图，因此它可以在这些引擎之上使⽤。
9.  
    
10.  
    其次，虽然 Calcite 为需要此类数据库语⾔⽀持的系统提供了优化的 SQL ⽀持，但它也为已经拥有⾃⼰的语⾔解析和解释的系统提供了优化⽀持：⼀些系统⽀持 SQL 查询，但没有或有有限的查询优化。例如，Hive和 Spark最初都提供对SQL语⾔的⽀持，但它们不包含优化器。
11.  
    对于这种情况，⼀旦优化了查询，Calcite 就可以将关系表达式转换回SQL。此功能允许 Calcite在任何具有 SQL 接⼝但没有优化器的数据管理系统之上作独⽴系统⼯作。
12.  
    • Calcite 架构不仅针对优化 SQL 查询⽽量⾝定制。数据处理系统通常选择将⾃⼰的解析器⽤于⾃⼰的查询语⾔。
13.  
     
14.  
    Calcite 也可以帮助优化这些查询。实际上，Calcite 还允许通过直接实例化关系运算符来轻松构建运算符树。可以使⽤内置的关系表达式构建器界⾯。例如，假设我们想使⽤表达式构建器来表达以下 Apache Pig [41] 脚本：

Calcited源码的核心概念

引用博客园青紫天涯的原话：Calcite 抛出的概念非常多，笔者最开始在看代码时就被这些概念绕得云里雾里，这时候先从代码的细节里跳出来，先把这些概念理清楚、归归类后再去看代码，思路就清晰很多，因此，在介绍 Calcite 整体实现前，先把这些概念梳理一下，需要对这些概念有个基本的理解，相关的概念如下图所示：

Calcite 解析SQl的步骤

 Calcite 解析步骤如上图。Calcite解析SQL有以下几步:

Calcite 解析SQl的步骤（伪代码版）

（1）解析SQL ，即SQL➡️SqlNode

Calcite 进行 Sql 解析的代码如下：

1.  
   SqlParser parser = SqlParser.create(sql, SqlParser.Config.DEFAULT);
2.  
   SqlNode sqlNode = parser.parseStmt();

当 SqlParser 调用 parseStmt() 方法后，其相应逻辑如下： 

1.  
   package org.apache.calcite.sql.parser;
2.  
    
3.  
   /**
4.  
   * A <code>SqlParser</code> parses a SQL statement.
5.  
   * org.apache.calcite.sql.parser.SqlParser
6.  
   */
7.  
   public class SqlParser {
8.  
   //...省略...
9.  
   public SqlNode parseStmt() throws SqlParseException {
10.  
    return parseQuery();
11.  
    }
12.  
     
13.  
    //...省略...
14.  
    public SqlNode parseQuery() throws SqlParseException {
15.  
    try {
16.  
    //parser是private final SqlAbstractParserImpl parser;的实现类SqlParserImpl类
17.  
    return parser.parseSqlStmtEof(); //解析sql语句。
18.  
    } catch (Throwable ex) {
19.  
    if (ex instanceof CalciteContextException) {
20.  
    final String originalSql = parser.getOriginalSql();
21.  
    if (originalSql != null) {
22.  
    ((CalciteContextException) ex).setOriginalStatement(originalSql);
23.  
    }
24.  
    } throw parser.normalizeException(ex);
25.  
    }}
26.  
    }

 SqlParser类中 parser 是 SqlParserImpl 类（SqlParser.Config.DEFAULT 指定的），它就是由 JJ 文件生成的解析类，其处理流程如下，具体解析逻辑还是要看 JJ 文件中的定义。

1.  
   package org.apache.calcite.sql.parser.impl;
2.  
    
3.  
   /**
4.  
   * SQL parser, generated from Parser.jj by JavaCC.
5.  
   * <p>The public wrapper for this parser is {@link SqlParser}.
6.  
   * //org.apache.calcite.sql.parser.impl.SqlParserImpl
7.  
   */
8.  
   public class SqlParserImpl extends SqlAbstractParserImpl implements SqlParserImplConstants {
9.  
   //...省略...
10.  
    public SqlNode parseSqlStmtEof() throws Exception{
11.  
    return SqlStmtEof();
12.  
    }
13.  
    //...省略...
14.  
    /**
15.  
    * Parses an SQL statement followed by the end-of-file symbol.
16.  
    * 解析SQL语句(后面有文件结束符号)
17.  
    */
18.  
    final public SqlNode SqlStmtEof() throws ParseException {
19.  
    SqlNode stmt;
20.  
    stmt = SqlStmt();
21.  
    jj_consume_token(0);
22.  
    {if (true) return stmt;}
23.  
    throw new Error("Missing return statement in function");
24.  
    }
25.  
    //...省略...
26.  
    //解析 SQL statement
27.  
    final public SqlNode SqlStmt() throws ParseException {
28.  
    SqlNode stmt;
29.  
    if (jj_2_34(2)) {
30.  
    stmt = SqlSetOption(Span.of(), null);
31.  
    } else if (jj_2_35(2)) {
32.  
    stmt = SqlAlter();
33.  
    } else if (jj_2_36(2)) {
34.  
    stmt = OrderedQueryOrExpr(ExprContext.ACCEPT_QUERY);
35.  
    } else if (jj_2_37(2)) {
36.  
    stmt = SqlExplain();
37.  
    } else if (jj_2_38(2)) {
38.  
    stmt = SqlDescribe();
39.  
    } else if (jj_2_39(2)) {
40.  
    stmt = SqlInsert();
41.  
    } else if (jj_2_40(2)) {
42.  
    stmt = SqlDelete();
43.  
    } else if (jj_2_41(2)) {
44.  
    stmt = SqlUpdate();
45.  
    } else if (jj_2_42(2)) {
46.  
    stmt = SqlMerge();
47.  
    } else if (jj_2_43(2)) {
48.  
    stmt = SqlProcedureCall();
49.  
    } else {
50.  
    jj_consume_token(-1);
51.  
    throw new ParseException();
52.  
    }
53.  
    {if (true) return stmt;}
54.  
    throw new Error("Missing return statement in function");
55.  
    }
56.  
    }

Calcite 使用 JavaCC 做 SQL 解析，JavaCC 根据 Calcite 中定义的 Parser.jj 文件，生成一系列的 java 代码，生成的 Java 代码会把 SQL 转换成 AST 的数据结构（这里是 SqlNode 类型）。

与 Javacc 相似的工具还有 ANTLR，JavaCC 中的 jj 文件也跟 ANTLR 中的 G4文件类似，Apache Spark 中使用这个工具做类似的事情。

---

Javacc

关于 Javacc 内容可以参考下面这几篇文章，这里就不再详细展开，通过下面文章的例子把 JavaCC 的语法了解一下，这样我们也可以设计一个 DSL（Doomain Specific Language）。

JavaCC 研究与应用( 8000字 心得 源程序)； https://www.cnblogs.com/Gavin_Liu/archive/2009/03/07/1405029.html
JavaCC、解析树和 XQuery 语法，第 1 部分；https://www.ibm.com/developerworks/cn/xml/x-javacc/part1/index.html
JavaCC、解析树和 XQuery 语法，第 2 部分；https://www.ibm.com/developerworks/cn/xml/x-javacc/part2/index.html
编译原理之Javacc使用；https://www.yangguo.info/2014/12/13/编译原理-Javacc使用/

---

回到 Calcite，Javacc 这里要实现一个 SQL Parser，它有以下两个功能都需要在 jj 文件中定义。

1. 设计词法和语义，定义 SQL 中具体的元素；
2. 实现词法分析器（Lexer）和语法分析器（Parser），完成对 SQL 的解析，完成相应的转换。 

 实战：SQL解析成为SqlNode

1.  
   package org.xiaoke.queryDemo;
2.  
    
3.  
   import org.apache.calcite.rel.type.RelDataType;
4.  
   import org.apache.calcite.rel.type.RelDataTypeFactory;
5.  
   import org.apache.calcite.rel.type.RelDataTypeSystemImpl;
6.  
   import org.apache.calcite.schema.SchemaPlus;
7.  
   import org.apache.calcite.schema.impl.AbstractTable;
8.  
   import org.apache.calcite.sql.SqlNode;
9.  
   import org.apache.calcite.sql.parser.SqlParseException;
10.  
    import org.apache.calcite.sql.parser.SqlParser;
11.  
    import org.apache.calcite.sql.type.BasicSqlType;
12.  
    import org.apache.calcite.sql.type.SqlTypeName;
13.  
    import org.apache.calcite.tools.Frameworks;
14.  
     
15.  
     
16.  
    public class Xiaoke {
17.  
     
18.  
    public static void main(String[] args) throws SqlParseException {
19.  
    String sql = new String(
20.  
    "select u.id as user_id, u.name as user_name, j.company as user_company, u.age as user_age\n"
21.  
    " from users u "
22.  
    " join jobs j "
23.  
    " on u.name=j.name \n"
24.  
    " where u.age > 30 and j.id>10 \n"
25.  
    " order by user_id");
26.  
     
27.  
    Xiaoke xiaoke = new Xiaoke();
28.  
    xiaoke.xxxx();
29.  
    SqlParser parser = SqlParser.create(sql, SqlParser.Config.DEFAULT);
30.  
    SqlNode sqlNode = parser.parseStmt();
31.  
    }
32.  
     
33.  
    private void xxxx(){
34.  
    /*
35.  
    select u.id as user_id, u.name as user_name, j.company as user_company, u.age as user_age
36.  
    from users u join jobs j on u.name=j.name
37.  
    where u.age > 30 and j.id>10
38.  
    order by user_id
39.  
    这里有两张表，其表各个字段及类型定义如下：
40.  
    */
41.  
    SchemaPlus rootSchema = Frameworks.createRootSchema(true);
42.  
    rootSchema.add("USERS", new AbstractTable() { //note: add a table
43.  
    @Override
44.  
    public RelDataType getRowType(final RelDataTypeFactory typeFactory) {
45.  
    RelDataTypeFactory.Builder builder = typeFactory.builder();
46.  
     
47.  
    builder.add("ID", new BasicSqlType(new RelDataTypeSystemImpl() {}, SqlTypeName.INTEGER));
48.  
    builder.add("NAME", new BasicSqlType(new RelDataTypeSystemImpl() {}, SqlTypeName.CHAR));
49.  
    builder.add("AGE", new BasicSqlType(new RelDataTypeSystemImpl() {}, SqlTypeName.INTEGER));
50.  
    return builder.build();
51.  
    }
52.  
    });
53.  
     
54.  
    rootSchema.add("JOBS", new AbstractTable() {
55.  
    @Override
56.  
    public RelDataType getRowType(final RelDataTypeFactory typeFactory) {
57.  
    RelDataTypeFactory.Builder builder = typeFactory.builder();
58.  
     
59.  
    builder.add("ID", new BasicSqlType(new RelDataTypeSystemImpl() {}, SqlTypeName.INTEGER));
60.  
    builder.add("NAME", new BasicSqlType(new RelDataTypeSystemImpl() {}, SqlTypeName.CHAR));
61.  
    builder.add("COMPANY", new BasicSqlType(new RelDataTypeSystemImpl() {}, SqlTypeName.CHAR));
62.  
    return builder.build();
63.  
    }
64.  
    });
65.  
    }
66.  
     
67.  
    }

示例中 SQL 经过前面的解析之后，会生成一个 SqlNode（SqlOrder 类型，因案例SQL使用了order by），DEBUG 后的 SqlOrder 对象如下图所示。

（2）语法检查，即SqlNode➡️SqlNode

经过上一步，会生成一个 SqlNode 对象，它是一个未经验证的抽象语法树，下面就进入了一个语法检查阶段， 语法检查前需要知道元数据信息，这个检查会包括 表名、字段名、函数名、数据类型的检查。
     
Calcite 本身是不管理和存储元数据的，在检查之前， 需要先把元信息注册到 Calcite 中，一般的操作方法是实现 SchemaFactory， 由它去创建相应的 Schema，在 Schema 中可以注册相应的元数据信息。
     
SqlValidatorImpl 检查过程
rewrite expression， 将其标准化，便于后面的逻辑计划优化；
注册这个 relational expression 的 scopes 和 namespaces （这两个对象代表了其元信息）；
进行相应的验证，这里会依赖第二步注册的 scopes 和 namespaces 信息。
     

（3）语义分析，即SqlNode➡️RelNode/RexNode

主要步骤：
初始化 RexBuilder；
初始化 RelOptPlanner;
初始化 RelOptCluster；
初始化 SqlToRelConverter；
进行转换；
     
转换部分
SqlToRelConverter 中的 convertQuery() 将 SqlNode 转换为 RelRoot
真正实现部分：convertQueryRecursive
     

（4）逻辑计划优化，即RelNode➡️RelNode

提供两种 planner：HepPlanner 和 VolcanoPlanner

简单的优化 （过滤条件下压，也称为谓词下推）
关于filter 操作下压，在 Calcite 中已经有相应的 Rule 实现，就是 FilterJoinRule.FilterIntoJoinRule.FILTER_ON_JOIN
这里使用 HepPlanner 作为示例的 planer，并注册 FilterIntoJoinRule 规则进行相应的优化（这里可以看到where u.age>10 and j.id>0被下推到扫表操作上面，也就是说SQL引擎扫描一遍表时如果发现表中某行满足过滤条件则拿取出来，否则跳过）

4. Calcite相关组件

Calcite主要有以下概念：

• Catelog: 主要定义SQL语义相关的元数据与命名空间。
• SQL parser: 主要是把SQL转化成AST.
• SQL validator: 通过Catalog来校证AST.
• Query optimizer: 将AST转化成物理执行计划、优化物理执行计划.
• SQL generator: 反向将物理执行计划转化成SQL语句.

4.1 category

Catalog:主要定义被SQL访问的命名空间，主要包括以下几点：

1. schema: 主要定义schema与表的集合，schame 并不是强制一定需要的，比如说有两张同名的表T1, T2，就需要schema要区分这两张表，如A.T1, B.T1
2. 表:对应关系数据库的表，代表一类数据，在calcite中由RelDataType定义
3. RelDataType 代表表的数据定义，如表的数据列名称、类型等。

Schema:

1.  
   public interface Schema {
2.  
    
3.  
   Table getTable(String name);
4.  
    
5.  
   Set<String> getTableNames();
6.  
    
7.  
   Set<String> getFunctionNames();
8.  
    
9.  
   Schema getSubSchema(String name);
10.  
     
11.  
    Set<String> getSubSchemaNames();
12.  
     
13.  
    Expression getExpression(SchemaPlus parentSchema, String name);
14.  
     
15.  
    boolean isMutable();

Table:

1.  
   public interface Table {
2.  
    
3.  
   RelDataType getRowType(RelDataTypeFactory typeFactory);
4.  
    
5.  
   Statistic getStatistic();
6.  
    
7.  
   Schema.TableType getJdbcTableType();
8.  
   }

其中RelDataType代表Row的数据类型， Statistic 用于统计表的相关数据、特别是在CBO用于计表计算表的代价。

一句Sql

selcct id, name, cast(age as bigint) from A.INFO

• id, name则为data type field
• bigint为 data type
• A 为schema
• INFO 为表

4.2 SQL Parser

由Java CC编写，将SQL转化成AST.

• Java CC 指的是Java Compiler Compiler, 可以将一种特定域相关的语言转化成Java语言
• 在Calcite中将标记（Token)表示为 SqlNode, 并且Sqlnode可以通过unparse方法反向转化成SQL

cast(id as float)

Java CC 可表示为

1.  
   <CAST>
2.  
   <LPAREN>
3.  
   e = Expression(ExprContext.ACCEPT_SUBQUERY)
4.  
   <AS>
5.  
   dt = DataType() {agrs.add(dt);}
6.  
   <RPAREN>
7.  
   ....
8.  
    

4.3 Query Optimizer

首先看一下

1.  
   INSERT INTO tmp_node
2.  
   SELECT s1.id1, s1.id2, s2.val1
3.  
   FROM source1 as s1 INNER JOIN source2 AS s2
4.  
   ON s1.id1 = s2.id1 and s1.id2 = s2.id2 where s1.val1 > 5 and s2.val2 = 3;

通过Calcite转化为：

1.  
   LogicalTableModify(table=[[TMP_NODE]], operation=[INSERT], flattened=[false])
2.  
   LogicalProject(ID1=[$0], ID2=[$1], VAL1=[$7])
3.  
   LogicalFilter(condition=[AND(>($2, 5), =($8, 3))])
4.  
   LogicalJoin(condition=[AND(=($0, $5), =($1, $6))], joinType=[INNER])
5.  
   LogicalTableScan(table=[[SOURCE1]])
6.  
   LogicalTableScan(table=[[SOURCE2]])

是未经优化的RelNode树，可以发现最底层是TableScan，也是读取表的原始数据，紧接着是LogicalJoin,Joiner的类型为INNER JOIN, LogicalJoin之后接下做LogicalFilter 操作，对应SQL中的WHERE条件，最后做Project也就是投影操作。

但是我们可以观察到对于INNER JOIN而言, WHERE 条件是可以下推，如

1.  
   LogicalTableModify(table=[[TMP_NODE]], operation=[INSERT], flattened=[false])
2.  
   LogicalProject(ID1=[$0], ID2=[$1], VAL1=[$7])
3.  
   LogicalJoin(condition=[AND(=($0, $5), =($1, $6))], joinType=[inner])
4.  
   LogicalFilter(condition=[=($4, 3)])
5.  
   LogicalProject(ID1=[$0], ID2=[$1], ID3=[$2], VAL1=[$3], VAL2=[$4],VAL3=[$5])
6.  
   LogicalTableScan(table=[[SOURCE1]])
7.  
   LogicalFilter(condition=[>($3,5)])
8.  
   LogicalProject(ID1=[$0], ID2=[$1], ID3=[$2], VAL1=[$3], VAL2=[$4],VAL3=[$5])
9.  
   LogicalTableScan(table=[[SOURCE2]])

这样可以减少JOIN的数据量，提高SQL效率

实际过程中可以将JOIN 的中条件下推以较少Join的数据量

1.  
   INSERT INTO tmp_node
2.  
   SELECT s1.id1, s1.id2, s2.val1
3.  
   FROM source1 as s1 LEFT JOIN source2 AS s2
4.  
   ON s1.id1 = s2.id1 and s1.id2 = s2.id2 and s1.id3 = 5

s1.id3 = 5 这个条件可以先下推过滤s1中的数据, 但在特定场景下，有些不能下推，如下sql:

1.  
   INSERT INTO tmp_node
2.  
   SELECT s1.id1, s1.id2, s2.val1
3.  
   FROM source1 as s1 LEFT JOIN source2 AS s2
4.  
   ON s1.id1 = s2.id1 and s1.id2 = s2.id2 and s2.id3 = 5

如果s1,s2是流式表（动态表，请参考Flink流式概念）的话，就不能下推，因为s1下推的话，由于过滤后没有数据驱动join操作，因而得不到想要的结果（详见Flink/Sparking-Streaming)

那接下来我们可能有一个疑问，在什么情况下可以做类似下推、上推操作，又是根据什么原则进行的呢？如下图所示

不同的JOIN顺序

T1 JOIN T2 JOIN T3

类似于此种情况JOIN的顺序是上图的前者还是后者？这就涉及到Optimizer所使用的方法，Optimizer主要目的就是减小SQL所处理的数据量、减少所消耗的资源并最大程度提高SQL执行效率如:剪掉无用的列、合并投影、子查询转化成JOIN、JOIN重排序、下推投影、下推过滤等。目前主要有两类优化方法:基于语法(RBO)与基于代价(CBO)的优化

1. RBO(Rule Based Optimization)

通俗一点的话就是事先定义一系列的规则，然后根据这些规则来优化执行计划。
如

• ProjectFilterRule

  此Rule的使用场景为Filter在Project之上，可以将Filter下推。假如某一个RelNode树

1.  
   LogicalFilter
2.  
   LogicalProject
3.  
   LogicalTableScan
4.  
    

则可优化成

1.  
   LogicalProject
2.  
   LogicalFilter
3.  
   LogicalTableScan
4.  
    

• FilterJoinRule

  此Rule的使用场景为Filter在Join之上，可以先做Filter然后再做Join, 以减少Join的数量

等等，还有很多类似的规则。但RBO一定程度上是经验试的优化方法，无法有一个公式上的判断哪种优化更优。 在Calcite中实现方法为 HepPlanner

1. CBO(Cost Based Optimization)

通俗一点的说法是：通过某种算法计算SQL所有可能的执行计划的“代价”，选择某一个代价较低的执行计划，如上文中三张表作JOIN, 一般来说RBO无法判断哪种执行计划优化更好，只有分别计算每一种JOIN方法的代价。

Calcite会将每一种操作（如LogicaJoin、LocialFilter、 LogicalProject、LogicalScan) 结合实际的Schema转化成具体的代价数，比较不同的执行计划所具有的代价，然后选择相对小计划作为最终的结果，之所以说相对小，这是因为如果要完全遍历计算所有可能的代价可能得不偿失，花费更多的人力与资源，因此只是说选择相对最优的执行计划。CBO目的是“避免使用最差的执行计划，而不是找到最好的”

目前Calcite中就是采用CBO进行优化,实现方法为VolcanoPlanner,有关此算法的具体内容可以参考原码

5. 如何使用Calcite

由于Calcite是Java语言编写，因此只需要在工程或项目中引入相应的Jar包即可，下面为一个可以运行的例子：

1.  
    
2.  
   public class TestOne {
3.  
   public static class TestSchema {
4.  
   public final Triple[] rdf = {new Triple("s", "p", "o")};
5.  
   }
6.  
    
7.  
   public static void main(String[] args) {
8.  
   SchemaPlus schemaPlus = Frameworks.createRootSchema(true);
9.  
    
10.  
    //给schema T中添加表
11.  
    schemaPlus.add("T", new ReflectiveSchema(new TestSchema()));
12.  
    Frameworks.ConfigBuilder configBuilder = Frameworks.newConfigBuilder();
13.  
    //设置默认schema
14.  
    configBuilder.defaultSchema(schemaPlus);
15.  
     
16.  
    FrameworkConfig frameworkConfig = configBuilder.build();
17.  
     
18.  
    SqlParser.ConfigBuilder paresrConfig = SqlParser.configBuilder(frameworkConfig.getParserConfig());
19.  
     
20.  
    //SQL 大小写不敏感
21.  
    paresrConfig.setCaseSensitive(false).setConfig(paresrConfig.build());
22.  
     
23.  
    Planner planner = Frameworks.getPlanner(frameworkConfig);
24.  
     
25.  
    SqlNode sqlNode;
26.  
    RelRoot relRoot = null;
27.  
    try {
28.  
    //parser阶段
29.  
    sqlNode = planner.parse("select \"a\".\"s\", count(\"a\".\"s\") from \"T\".\"rdf\" \"a\" group by \"a\".\"s\"");
30.  
    //validate阶段
31.  
    planner.validate(sqlNode);
32.  
    //获取RelNode树的根
33.  
    relRoot = planner.rel(sqlNode);
34.  
    } catch (Exception e) {
35.  
    e.printStackTrace();
36.  
    }
37.  
     
38.  
    RelNode relNode = relRoot.project();
39.  
    System.out.print(RelOptUtil.toString(relNode));
40.  
    }
41.  
    }
42.  
     

类Triple 对应的表定义:

1.  
   public class Triple {
2.  
   public String s;
3.  
   public String p;
4.  
   public String o;
5.  
    
6.  
   public Triple(String s, String p, String o) {
7.  
   super();
8.  
   this.s = s;
9.  
   this.p = p;
10.  
    this.o = o;
11.  
    }
12.  
     
13.  
    }

详细可以代码在这里

Calcite代码实战

（1）maven的pom.xml

1.  
   <dependency>
2.  
   <groupId>org.apache.calcite</groupId>
3.  
   <artifactId>calcite-core</artifactId>
4.  
   <version>1.19.0</version>
5.  
   </dependency>
6.  
    
7.  
   截至20220503的最新版本存在不兼容的情况，可以考虑上面的版本
8.  
   <dependency>
9.  
   <groupId>org.apache.calcite</groupId>
10.  
    <artifactId>calcite-core</artifactId>
11.  
    <version>1.30.0</version>
12.  
    </dependency>

 （2）入门级demo

1.  
   package org.myApache.queryDemo;
2.  
    
3.  
   import org.apache.calcite.config.Lex;
4.  
   import org.apache.calcite.sql.*;
5.  
   import org.apache.calcite.sql.parser.SqlParseException;
6.  
   import org.apache.calcite.sql.parser.SqlParser;
7.  
   import org.apache.calcite.sql.parser.SqlParserPos;
8.  
    
9.  
   /**
10.  
    * 参考文章：https://www.freesion.com/article/7723688675/
11.  
    * https://liebing.org.cn/2022/05/05/2022/apache_calcite_sql_parser/
12.  
    * Flink SQL中使用Calcite作为sql语法解析、校验、优化工具，本篇是实操篇，介绍一下calcite做sql语法解析使用方式。
13.  
    * 注：目前20220504， Calcite 的官方最新版本是 v1.30，Flink 1.12 使用的是 Calcite v1.26，本文的内容基于 Calcite 1.20 编写，但所有核心内容均不受版本影响。
14.  
    */
15.  
    public class ToMysqlDemo01 {
16.  
     
17.  
    public static void main(String[] args) {
18.  
    String Sql1 = new String("select id,name,age FROM student where age < 20");
19.  
    String Sql2 = new String("select sum(amount) FROM orders");
20.  
    String Sql3 = new String("select cast(amount as CHAR) FROM orders");
21.  
     
22.  
    SqlParser.Config config = SqlParser.configBuilder()
23.  
    .setLex(Lex.MYSQL) //使用mysql 语法
24.  
    .build();
25.  
     
26.  
    ToMysqlDemo01 toMysql = new ToMysqlDemo01();
27.  
    toMysql.parserEasySelect(config,Sql1);
28.  
    toMysql.parserSelectContainSum(config,Sql2);
29.  
    toMysql.parserSelectContainCast(config,Sql3);
30.  
    }
31.  
     
32.  
     
33.  
    /**
34.  
    * 解析简单的select语句
35.  
    * @param config
36.  
    * @param Sql
37.  
    *
38.  
    ***
39.  
    * 一个select语句包含from部分、where部分、select部分等，每一部分都表示一个SqlNode。
40.  
    * SELECT ca, cb, cc FROM t WHERE ca = 10;
41.  
    * 为了有更直观的感受, 我们配合以上SQL语句来讲解SqlNode各个子类所代表的含义.
42.  
    * SqlIdentifier代表标识符，例如表名称、字段名；SqlLiteral表示字面常量，一些具体的数字、字符。 上述SELECT语句中ca, cb, cc以及t在解析树中都是一个SqlIdentifier实例.
43.  
    * SqlLiteral 代表常量, 上述SELECT语句中10在解析树中就是一个SqlLiteral实例, 它的具体实现类是SqlNumericLiteral, 表示数字常量.
44.  
    * SqlNodeList 表示SqlNode列表, 上述SELECT语句中ca, cb, cc会共同组成一个SqlNodeList实例.
45.  
    * SqlCall 表示对SqlOperator的调用. (SqlOperator可以用来描述任何语法结构, 所以实际上SQL解析树中的每个非叶节点都是某种SqlCall).
46.  
    * 上述整个SELECT语句就是一个SqlCall实例, 它的具体实现类是SqlSelect.
47.  
    * SqlDataTypeSpec 表示解析树中的SQL数据类型, 上述CREATE语句中的INT, DOUBLE, VARCHAR在解析树中都是一个SqlDataTypeSpec实例.
48.  
    * SqlIntervalQualifier 表示时间间隔限定符, 比如SQL中的INTERVAL '1:23:45.678' HOUR TO SECOND在解析树中就是一个SqlIntervalQualifier实例.
49.  
    * SqlDynamicParam 表示SQL语句中的动态参数标记.
50.  
    *
51.  
    ***
52.  
    * 在SqlNode的子类中, SqlLiteral和SqlCall有各自的实现类.
53.  
    * 我们先分析简单的SqlLiteral及其实现类, 它的类继承结构如下图所示. 其实每种实现类就代表了一种特定的常量类型, 比如字符串, 数字, 时间, 时间间隔. 根据类名即可望文生义, 这里不再过多介绍.
54.  
    *
55.  
    * 由于SqlCall的实现类较多, 这里我们仅选择部分有代表性的实现类进行详细介绍.
56.  
    * SqlSelect 表示整个SELECT语句的解析结果, 内部有from, where, group by等成员变量保存对应字句内的解析结果.
57.  
    * SqlOrderBy 表示带有ORDER BY的SELECT语句的解析结果.
58.  
    * SqlInsert和SqlDelete分别表示INSERT和DELETE语句的解析结果.
59.  
    * SqlJoin 表示JOIN子句的解析结果.
60.  
    * SqlBasicCall 表示一个基本的计算单元, 持有操作符和操作数, 如WHERE子句中的一个谓词表达式就会被解析为SqlBasicCall.
61.  
    * SqlDdl 是DDL语句解析结果的基类. 以CREATE TABLE语句为例, 它就会被解析成SqlCreateTable实例.
62.  
    ***
63.  
    * SqlKind是一个枚举类型，包含SQL中的各种部分的定义。
64.  
    *
65.  
    ***
66.  
    * 上文说到SqlCall其实包含对SqlOperator的调用, 因此我们有必要进一步看一下SqlOperator的实现.
67.  
    * SqlOperator其实可以表达SQL语句中的任意运算, 它包括函数, 操作符(如=)和语法结构(如case语句).
68.  
    * SqlOperator可以表示查询级表达式(如SqlSelectOperator或行级表达式(如SqlBinaryOperator).
69.  
    * 由于SqlOperator的实现类较多, 这里我们同样仅挑选几个有代表性的类进行说明.
70.  
    * SqlFunction 表示SQL语句中的函数调用, 如SqlCastFunction表示cast函数, 在解析阶段所有自定义函数都会被表示为SqlUnresolvedFunction,在验证阶段才会转化为对应的SqlUserDefinedFunction.
71.  
    * SqlSelectOperator 表示整个SELECT查询语句.
72.  
    * SqlBinaryOperator 表示二元运算, 如WHERE子句中的=运算.
73.  
    */
74.  
    private void parserEasySelect (SqlParser.Config config,String Sql){
75.  
    //SqlParser 语法解析器
76.  
    SqlParser sqlParser = SqlParser.create(Sql, config);
77.  
    SqlNode sqlNode = null;
78.  
    try {
79.  
    sqlNode = sqlParser.parseStmt();
80.  
    } catch (SqlParseException e) {
81.  
    throw new RuntimeException("", e);
82.  
    }
83.  
     
84.  
    if(SqlKind.SELECT.equals(sqlNode.getKind())){
85.  
     
86.  
    SqlSelect sqlSelect = (SqlSelect) sqlNode;
87.  
    SqlNode from = sqlSelect.getFrom();
88.  
    SqlNode where = sqlSelect.getWhere();
89.  
    SqlNodeList selectList = sqlSelect.getSelectList();
90.  
    //标识符
91.  
    if(SqlKind.IDENTIFIER.equals(from.getKind())){
92.  
    System.out.println("the table is '" from.toString() "'.");
93.  
    }
94.  
     
95.  
    if(SqlKind.LESS_THAN.equals(where.getKind())){
96.  
    SqlBasicCall sqlBasicCall = (SqlBasicCall)where;
97.  
    for(SqlNode sqlNode1: sqlBasicCall.operands){
98.  
    if(SqlKind.LITERAL.equals(sqlNode1.getKind())){
99.  
    System.out.println("the LITERAL字面常量 is '" sqlNode1.toString() "'.");
100.  
     }
101.  
     }
102.  
     }
103.  
      
104.  
     selectList.getList().forEach(x->{
105.  
     if(SqlKind.IDENTIFIER.equals(x.getKind())){
106.  
     System.out.println("the IDENTIFIER标识符-字段名 is '" x.toString() "'.");
107.  
     }}
108.  
     );
109.  
     }
110.  
     }
111.  
      
112.  
     /**
113.  
     * 解析含有sum()的select语句
114.  
     * @param config
115.  
     * @param Sql
116.  
     *
117.  
     */
118.  
     private void parserSelectContainSum(SqlParser.Config config, String Sql) {
119.  
     //SqlParser 语法解析器
120.  
     SqlParser sqlParser = SqlParser.create(Sql, config);
121.  
     SqlNode sqlNode = null;
122.  
     try {
123.  
     sqlNode = sqlParser.parseStmt();
124.  
     } catch (SqlParseException e) {
125.  
     throw new RuntimeException("", e);
126.  
     }
127.  
      
128.  
     if(SqlKind.SELECT.equals(sqlNode.getKind())){
129.  
      
130.  
     SqlSelect sqlSelect = (SqlSelect) sqlNode;
131.  
     SqlNode from = sqlSelect.getFrom();
132.  
     SqlNodeList selectList = sqlSelect.getSelectList();
133.  
     //标识符
134.  
     if(SqlKind.IDENTIFIER.equals(from.getKind())){
135.  
     System.out.println("\n" "the table is '" from.toString() "'.");
136.  
     }
137.  
      
138.  
     // SqlBasicCall对比SqlSelect/SqlDelete而言，可以理解为表示的是一些基本的、简单的调用，例如聚合函数AggregateFunctions、比较函数等，接下来看一下其如何解析sum操作：
139.  
     // select sum(amount) FROM orders //解析的sql //解析select部分
140.  
     // 其内部主要就是operands，也是SqlNode节点，但是都是一些基本的SqlNode，例如SqlIdentifier、SqlLiteral。
141.  
     selectList.getList().forEach(
142.  
     x->{if(SqlKind.SUM.equals(x.getKind())){
143.  
     SqlBasicCall sqlBasicCall = (SqlBasicCall)x;
144.  
     System.out.println(sqlBasicCall.operands[0]);
145.  
     }}
146.  
     );
147.  
     }
148.  
     }
149.  
      
150.  
      
151.  
     /**
152.  
     * 解析含有cast()的select语句
153.  
     * @param config
154.  
     * @param Sql
155.  
     *
156.  
     */
157.  
     private void parserSelectContainCast(SqlParser.Config config, String Sql) {
158.  
     //SqlParser 语法解析器
159.  
     SqlParser sqlParser = SqlParser.create(Sql, config);
160.  
     SqlNode sqlNode = null;
161.  
     try {
162.  
     sqlNode = sqlParser.parseStmt();
163.  
     } catch (SqlParseException e) {
164.  
     throw new RuntimeException("", e);
165.  
     }
166.  
      
167.  
     if(SqlKind.SELECT.equals(sqlNode.getKind())){
168.  
      
169.  
     SqlSelect sqlSelect = (SqlSelect) sqlNode;
170.  
     SqlNode from = sqlSelect.getFrom();
171.  
     SqlNodeList selectList = sqlSelect.getSelectList();
172.  
     //标识符
173.  
     if(SqlKind.IDENTIFIER.equals(from.getKind())){
174.  
     System.out.println("\n" "the table is '" from.toString() "'.");
175.  
     }
176.  
      
177.  
     // SqlSelect/SqlDelete/SqlBasicCall 都称之为SqlCall，差别是SqlSelect是复杂的SqlCall,内部可以包含其他节点，而SqlBasicCall表示简单的SqlCall。
178.  
     // 另外两种SqlNode:SqlDataTypeSpec与SqlNodeList。
179.  
     // (1)SqlDataTypeSpec代表数据类型节点，例如CHAR/VARCHAR/DOUBLE，
180.  
     // (2)SqlNodeList表示包含多个同级别的SqlNode，在上面select中已经展示过，看下SqlDataTypeSpec使用实例：
181.  
     // select cast(amount as CHAR) FROM orders //解析的sql
182.  
     // 其内部主要就是operands，也是SqlNode节点，但是都是一些基本的SqlNode，例如SqlIdentifier、SqlLiteral。
183.  
     selectList.getList().forEach(
184.  
     x->{if(SqlKind.CAST.equals(x.getKind())){
185.  
     SqlBasicCall sqlBasicCall = (SqlBasicCall)x;
186.  
     System.out.println(sqlBasicCall.operands[0]); //amount
187.  
     SqlDataTypeSpec charType = (SqlDataTypeSpec)sqlBasicCall.operands[1];
188.  
     System.out.println(charType.getTypeName()); //CHAR
189.  
     }}
190.  
     );
191.  
      
192.  
     // 另外一种节点SqlOperator，可以代表函数、运算符、语法(select)结构，
193.  
     // 例如sum解析为SqlAggFunction、select解析为SqlSelectOperator、as解析为SqlAsOperator。
194.  
     // SqlOperator是被嵌入在SqlNode中，作为其属性，通过SqlOperator的createCall方法可以创建对应的SqlNode
195.  
     // SqlParsePos表示对应解析的节点在sql位置，起止行与起止列。
196.  
     SqlOperator operator = new SqlAsOperator();
197.  
     SqlParserPos sqlParserPos = new SqlParserPos(1, 1);
198.  
     SqlIdentifier name = new SqlIdentifier("orders", null, sqlParserPos);
199.  
     SqlIdentifier alias = new SqlIdentifier("o", null, sqlParserPos);
200.  
     SqlNode[] sqlNodes = new SqlNode[2];
201.  
     sqlNodes[0] = name;
202.  
     sqlNodes[1] = alias;
203.  
     SqlBasicCall sqlBasicCall = (SqlBasicCall)operator.createCall(sqlParserPos,sqlNodes);
204.  
     System.out.println(sqlBasicCall); //得到的就是 Order as o
205.  
     }
206.  
     }
207.  
     // 以上介绍了一下calcite解析sql的简单使用方式，我们可以使用Calcite来做血缘分析、flink sql维表关联等。
208.  
     }

1.  
   你可以将SQL 转换成关系代数，或者通过Calcite 提供的API 直接创建它。
2.  
   比如下面这段SQL 查询：
3.  
    
4.  
   SELECT deptno, count(*) AS c, sum(sal) AS s
5.  
   FROM emp
6.  
   GROUP BY deptno
7.  
   HAVING count(*) > 10
8.  
    
9.  
   可以表达成如下的关系表达式语法树：
10.  
     
11.  
    LogicalFilter(condition=[>($1, 10)])
12.  
    LogicalAggregate(group=[{7}], C=[COUNT()], S=[SUM($5)])
13.  
    LogicalTableScan(table=[[scott, EMP]])

6. Calcite 其它方面

Calcite的功能远不止以上介绍，除了标准SQL的，还支持以下内容：

• 对流相对概念支持，如在SQL层面支持Window概念,如Session Window, Hopping Window等。
• 支持物化视图等复杂概念。
• 独立于编程语言和数据源，可以支持不同的前端和后端。

7. 总结

以上内容主要介绍上Calcite相关概念并通过相例子说明了Calcite使用方法, 希望通过上述内容，读者能对Calcite有初步的了解。

由于笔者使用和探索Calcite时间也不长，以上内容难免有错误与不准确之处，还望各位读者不吝指正，相互学习。

参考文献与网址： 

        1.https://www.cnblogs.com/wcgstudy/p/11795886.html
        2.https://www.infoq.cn/article/new-big-data-hadoop-query-engine-apache-calcite
        3.https://www.jianshu.com/p/2dfbd71b7f0f
        4.https://www.slideshare.net/JordanHalterman/introduction-to-apache-calcite
        5.http://hbasefly.com/2017/05/04/bigdata－cbo/

这篇好文章是转载于：学新通技术网