基于语法上下文补全？

[HaydenOrz]

分析出当前sql内容中新创建的 catalog名/schema名/表名/视图名/函数名/字段名，用于自动补全

[kissycn]

Are there any support plans in the near future?

[resetsix]

I just came across this context completion requirement and would like to know if there is any intention to implement this feature in the near future or the approximate time to do so.

[HaydenOrz]

Are there any support plans in the near future?

We will implement this feature in December. We haven't started doing this yet because we are still rechecking the sql grammar files, which takes a lot of time.

[HaydenOrz]

I just came across this context completion requirement and would like to know if there is any intention to implement this feature in the near future or the approximate time to do so.

Which sql language do you need to implement this feature in? If you need implement this feature in one of the languages in flink,hive,spark or trino, we can support it in the near future

[kissycn]

Are there any support plans in the near future?

We will implement this feature in December. We haven't started doing this yet because we are still rechecking the sql grammar files, which takes a lot of time.

This is good news. Looking forward to it!

[resetsix]

I just came across this context completion requirement and would like to know if there is any intention to implement this feature in the near future or the approximate time to do so.

Which sql language do you need to implement this feature in? If you need implement this feature in one of the languages in flink,hive,spark or trino, we can support it in the near future

It's great to hear from you. All of those you mentioned above are in demand, even mysql, and it's really exciting to hear that new features are coming

[zhi-zhi-zhi]

上下文
之前有看到一个结合 Monaco editor 的一个思路：把 cursor（当前光标） 当做一个特殊的 token，用于通过语法匹配并提示当前光标处的补全

ex:
select | from user; // '|' means cursor position
把 cursor 当成一个特殊的 token 通过 AST，此时 AST 正确，cursor token 充当了 select list 的作用
此时就可以提供提示了，提示这里应该输入 field，可通过 from 后面的上下文，来提示这里应该输入 user 这张表的 field

[zhi-zhi-zhi]

请问这一块需要社区支持吗？
我很感兴趣并且最近很有需要

[resetsix]

上下文 之前有看到一个结合 Monaco editor 的一个思路：把 cursor（当前光标） 当做一个特殊的 token，用于通过语法匹配并提示当前光标处的补全

ex: select | from user; // '|' means cursor position 把 cursor 当成一个特殊的 token 通过 AST，此时 AST 正确，cursor token 充当了 select list 的作用 此时就可以提供提示了，提示这里应该输入 field，可通过 from 后面的上下文，来提示这里应该输入 user 这张表的 field

How should monaco get the position of the cursor, please? I didn't find the api for it, but it does have this function

[HaydenOrz]

How should monaco get the position of the cursor, please? I didn't find the api for it, but it does have this function

// 获取 monaco-editor 实例
var editor = monaco.editor.create(document.getElementById('container'), {
    value: 'function hello() {\n\talert("Hello, world!");\n}',
    language: 'javascript'
});

// 获取光标位置
var position = editor.getPosition();
console.log(position);

[HaydenOrz]

把 cursor 当成一个特殊的 token 通过 AST，此时 AST 正确，cursor token 充当了 select list 的作用
此时就可以提供提示了，提示这里应该输入 field

@zhi-zhi-zhi 事实上这个功能已经支持了，目前 dt-sql-parser 的自动补全功能通过引入 antlr4-c3 实现。 你可以通过调用 parser. getSuggestionAtCaretPosition 来体验该功能，详情见自动补全功能文档。或者你可以通过自动补全功能的单元测试来查看如何使用， 自动补全功能的单元测试位于 test/parser/*/suggestion/*.test.ts.

请问这一块需要社区支持吗？ 我很感兴趣并且最近很有需要

@zhi-zhi-zhi 非常欢迎来自社区的 PR。

但是在此之前，我们需要先讨论一下该功能，以保证该功能实现后符合我们的期望。

需要实现什么？

1. 提示某个指定位置应该填写什么类型（类型是指如表，字段，函数等，下文中同），例：

SELECT * FROM |

| 代表光标位置，那么在此处进行自动补全时，dt-sql-parser 的自动补全方法应该提示用户，这里应该填一个表名。再次强调，目前此功能已经支持。

2. 收集sql 上下文中出现的表名，字段名，函数名等，比如：

CREATE TABLE tb1 (id int);

CREATE TABLE tb2 (id int);

CREATE TABLE tb3 (id int);

SELECT * FROM |

事实上，对于使用自动补全功能的用户来说，除了想要知道指定位置应该填什么类型，还需要知道该类型对应有哪些实体？比如此例中的光标位置，在此位置做自动补全功能时，除了需要知道该位置要填表名，还需要知道当前上下文中有哪些表名。 那么此时我们需要一个功能去收集sql文本上下文中出现的所有表名，在本例中应该收集到 tableNames: [ 'tb1', 'tb2', 'tb3' ]

一般情况下，在实际业务场景中，这些信息应该由数据库/计算引擎的元数据提供，但即使有元数据支持，此功能仍然具有意义，因为当前上下文中的 DDL 语句可能并未执行，也就是说当前上下文中可能包含元数据中不包含的信息。比如建表语句未执行前，元数据中没有该表的信息，但是我们可以在sql上下文中获取。

有哪些类型需要收集？

参照 SyntaxContextType, 其中包含的所有类型都需要收集。

注意事项

需要考虑多种情况，例如：

1. 先创建表，再通过 Alter Table 修改表：

CREATE TABLE tb1 (id int);

ALTER TABLE tb1 RENAME TO tb2;

2. 字段别名/表别名

CREATE TABLE tb (
    sum(age) as col  int
)

这里无法列举出全部情况，因为不同的sql类型的语法具有差异。

如何实现？

1. 考虑通过 Anltr4 Visitor 或者 Antlr4 Listener 实现。
2. 应该通过在抽象类 BasicParser 中新增一个独立成员方法，以对外暴露该功能。

[Shu-Ji]

一般情况下，在实际业务场景中，这些信息应该由数据库/计算引擎的元数据提供

我想通过后端接口获取到db.tb, tb.column补全列表；

如用户输入：

use a_db;
SELECT *
FROM a_table
INNER JOIN b_db.b_table AS  b ON a_table.<cursor_1> = b.<cursor_2>
WHERE <cursor_3>

在光标处，目前我获取到的补全上下文信息，只有以下信息:

{
    "syntaxContextType": "column",
    "wordRanges": [
        {
            "text": " ",
            "startIndex": 28,
            "stopIndex": 28,
            "line": 3,
            "startColumn": 6,
            "stopColumn": 6
        }
    ]
}

但是我无法请求后端得到当前应该输入的字段列表，因为后端无法得知需要什么表下面字段列表，也就是上下文信息中缺少更多信息，如果是以下这样，那就可以完成后端获取数据。

上述SQL中包含了，a_db.a_table以及 b_db.b_table，且b_table 有一个别名b.

对于 <cursor_1>，仅需要补全a_table下的字段：

{
    "syntaxContextType": "column",
    "wordRanges": [
        {
             // 其他属性省略
            "tables": [{"db": "a_db", "tb": "a_table"}]
        }
    ]
}

对于 <cursor_2>，仅需要补全b_table(别名b)下的字段：

{
    "syntaxContextType": "column",
    "wordRanges": [
        {
             // 其他属性省略
            "tables": [{"db": "b_db", "tb": "b_table"}]
        }
    ]
}

对于 <cursor_3>，需要补全a_table和b_table下的字段：

{
    "syntaxContextType": "column",
    "wordRanges": [
        {
             // 其他属性省略
            "tables": [{"db": "b_db", "tb": "b_table"}, {"db": "b_db", "tb": "b_table"}]
        }
    ]
}

还有一些更为复杂的场景：

如包含子查询和别名(b_table -> bbb -> b)，其中最初的b_table是后端需要的真实的表名，且其来自于b_db。
bbb和b对后端无意义:

use a_db;
SELECT *
FROM a_table
INNER JOIN (
    SELECT * FROM b_db.b_table bbb LIMIT 100
)  b ON a_table.<cursor_1> = b.<cursor_2>
WHERE <cursor_3>

当然，除此之外，自动感知上下文中的库、表和字段也很重要。