DuckDB 通过 fts 扩展支持全文搜索。全文索引允许查询快速搜索长文本字符串中单个单词的所有出现位置。

示例：莎士比亚语料库

以下是构建莎士比亚戏剧全文索引的示例。

CREATE TABLE corpus AS
    SELECT * FROM 'https://blobs.duckdb.org/data/shakespeare.parquet';

DESCRIBE corpus;

每一行的文本位于 text_entry 中，每一行的唯一键位于 line_id 中。

创建全文搜索索引

首先，我们创建索引，指定表名、唯一 ID 列以及要索引的列。我们将仅索引 text_entry 这一列，其中包含戏剧中台词的文本。

PRAGMA create_fts_index('corpus', 'line_id', 'text_entry');

现在可以使用 Okapi BM25 排名函数对该表进行查询。没有匹配项的行将返回 NULL 分数。

莎士比亚关于黄油（butter）说了些什么？

SELECT
    fts_main_corpus.match_bm25(line_id, 'butter') AS score,
    line_id, play_name, speaker, text_entry
FROM corpus
WHERE score IS NOT NULL
ORDER BY score DESC;

与标准索引不同，全文索引不会随着底层数据的更改而自动更新，因此您需要 PRAGMA drop_fts_index(my_fts_index) 并在适当的时候重新创建它。

关于生成语料库表的说明

有关更多详细信息，请参阅 “从 JSON 生成用于全文搜索的莎士比亚语料库”博客文章。

• 各列为：line_id, play_name, line_number, speaker, text_entry。
• 为了使全文搜索正常工作，我们需要为每一行提供一个唯一键。
• line_id KL/2.4.132 的意思是《李尔王》，第 2 幕，第 4 场，第 132 行。