- 安装
- 文档
- 入门
- 连接
- 数据导入与导出
- 湖仓格式
- 客户端 API
- 概览
- 第三方客户端
- ADBC
- C
- C++
- CLI
- Dart
- Go
- Java (JDBC)
- Julia
- Node.js (已弃用)
- Node.js (Neo)
- ODBC
- PHP
- Python
- R
- Rust
- Swift
- Wasm
- SQL
- 介绍
- 语句
- 概览
- ANALYZE
- ALTER TABLE
- ALTER VIEW
- ATTACH 和 DETACH
- CALL
- CHECKPOINT
- COMMENT ON
- COPY
- CREATE INDEX
- CREATE MACRO
- CREATE SCHEMA
- CREATE SECRET
- CREATE SEQUENCE
- CREATE TABLE
- CREATE VIEW
- CREATE TYPE
- DELETE
- DESCRIBE
- DROP
- EXPORT 和 IMPORT DATABASE
- INSERT
- LOAD / INSTALL
- MERGE INTO
- PIVOT
- 性能分析
- SELECT
- SET / RESET
- SET VARIABLE
- SHOW 与 SHOW DATABASES
- SUMMARIZE
- 事务管理
- UNPIVOT
- UPDATE
- USE
- VACUUM
- 查询语法
- SELECT
- FROM 和 JOIN
- WHERE
- GROUP BY
- GROUPING SETS
- HAVING
- ORDER BY
- LIMIT 和 OFFSET
- SAMPLE
- 展开嵌套
- WITH
- WINDOW
- QUALIFY
- VALUES
- FILTER
- 集合操作
- 预处理语句
- 数据类型
- 表达式
- 函数
- 概览
- 聚合函数
- 数组函数
- 位字符串函数
- Blob 函数
- 日期格式化函数
- 日期函数
- 日期部分函数
- 枚举函数
- 间隔函数
- Lambda 函数
- 列表函数
- 映射函数
- 嵌套函数
- 数值函数
- 模式匹配
- 正则表达式
- 结构体函数
- 文本函数
- 时间函数
- 时间戳函数
- 带时区时间戳函数
- 联合函数
- 实用函数
- 窗口函数
- 约束
- 索引
- 元查询
- DuckDB 的 SQL 方言
- 示例
- 配置
- 扩展
- 核心扩展
- 概览
- 自动补全
- Avro
- AWS
- Azure
- Delta
- DuckLake
- 编码
- Excel
- 全文搜索
- httpfs (HTTP 和 S3)
- Iceberg
- ICU
- inet
- jemalloc
- Lance
- MySQL
- PostgreSQL
- 空间
- SQLite
- TPC-DS
- TPC-H
- UI
- Unity Catalog
- Vortex
- VSS
- 指南
- 概览
- 数据查看器
- 数据库集成
- 文件格式
- 概览
- CSV 导入
- CSV 导出
- 直接读取文件
- Excel 导入
- Excel 导出
- JSON 导入
- JSON 导出
- Parquet 导入
- Parquet 导出
- 查询 Parquet 文件
- 使用 file: 协议访问文件
- 网络和云存储
- 概览
- HTTP Parquet 导入
- S3 Parquet 导入
- S3 Parquet 导出
- S3 Iceberg 导入
- S3 Express One
- GCS 导入
- Cloudflare R2 导入
- 通过 HTTPS / S3 使用 DuckDB
- Fastly 对象存储导入
- 元查询
- ODBC
- 性能
- Python
- 安装
- 执行 SQL
- Jupyter Notebooks
- marimo Notebooks
- Pandas 上的 SQL
- 从 Pandas 导入
- 导出到 Pandas
- 从 Numpy 导入
- 导出到 Numpy
- Arrow 上的 SQL
- 从 Arrow 导入
- 导出到 Arrow
- Pandas 上的关系型 API
- 多个 Python 线程
- 与 Ibis 集成
- 与 Polars 集成
- 使用 fsspec 文件系统
- SQL 编辑器
- SQL 功能
- 代码片段
- 故障排除
- 术语表
- 离线浏览
- 操作手册
- 概览
- DuckDB 的占用空间
- 安装 DuckDB
- 日志
- 保护 DuckDB 安全
- 非确定性行为
- 限制
- DuckDB Docker 容器
- 开发
- 内部结构
- 站点地图
- 在线演示
DuckDB 有两种类型的索引:区域映射(zonemaps)和 ART 索引。
区域映射 (Zonemaps)
DuckDB 会自动为所有通用数据类型的列创建区域映射(也称为最小-最大索引)。下推到扫描算子的谓词操作和聚合计算都会使用区域映射。如果使用了过滤条件(例如 WHERE column1 = 123),DuckDB 可以跳过任何最小-最大范围不包含该过滤值的行组(例如,在比较 = 123 或 < 400 时,它可以忽略最小-最大范围为 1000 到 2000 的块)。
排序对区域映射的影响
列内的数据排序程度越高,区域映射索引的价值就越大。例如,最坏的情况下,每一行的列可能包含一个随机数,那么 DuckDB 很可能无法跳过任何行组。如果您使用选择性过滤器查询特定列,最好在插入数据时按这些列预先对数据进行排序。即使是不完美的排序也会有所帮助。有序数据的最佳情况通常出现在 DATETIME 列中。
微基准测试:排序的影响
作为一个例子,让我们重复时间戳的微基准测试,比较使用升序排列的时间戳列与无序时间戳列的效果。
| 列类型 | 有序 | 存储大小 | 查询时间 |
|---|---|---|---|
DATETIME |
是 | 1.3 GB | 0.6 秒 |
DATETIME |
否 | 3.3 GB | 0.9 秒 |
结果表明,仅保持列顺序即可实现更好的压缩,使存储大小缩小了 2.5 倍。它还使计算速度提高了 1.5 倍。
有序整数
利用排序的另一种实用方法是,对于使用选择性过滤器查询的列,使用带有自动增量的 INTEGER 类型,而不是 UUID。在包含乱序 UUID 的表中,DuckDB 必须扫描许多行组才能找到特定的 UUID 值。而有序的 INTEGER 列允许跳过除包含该值以外的所有行组。
ART 索引
DuckDB 允许通过两种方式定义自适应基数树 (ART) 索引。首先,对于具有 PRIMARY KEY、FOREIGN KEY 和 UNIQUE 约束的列,会自动隐式创建此类索引。其次,显式运行 CREATE INDEX 语句可在目标列上创建 ART 索引。
在列上使用 ART 索引的权衡如下:
- ART 索引能够在变更(插入、更新和删除)期间进行约束检查。
- 索引表上的变更性能通常比未索引表差,这是因为这些操作需要维护索引。
- 对于某些用例,单列 ART 索引可以提高使用该索引列进行高选择性查询的性能。
ART 索引不会影响连接(join)、聚合和排序查询的性能。
ART 索引扫描
ART 索引扫描会探测单列 ART 索引以获取请求的数据,而不是顺序扫描整个表。探测可以提高某些查询的性能。DuckDB 会尝试对相等性条件和 IN(...) 条件使用索引扫描。它还会将动态过滤器(例如来自哈希连接的过滤器)推送到扫描中,从而允许对这些过滤器进行动态索引扫描。
仅当索引不包含表达式且仅针对单列时,才具备索引扫描资格。例如,以下索引有资格进行索引扫描:
CREATE INDEX idx ON tbl (col1);
例如,以下两个索引不具备索引扫描资格:
CREATE INDEX idx_multi_column ON tbl (col1, col2);
CREATE INDEX idx_expr ON tbl (col1 + 1);
索引扫描的默认阈值为 MAX(2048, 0.001 * 表基数)。您可以通过 index_scan_percentage 和 index_scan_max_count 配置此阈值,或者通过将这些值设置为零来禁用它们。如有疑问,请使用 EXPLAIN ANALYZE 验证您的查询计划是否使用了索引扫描。
索引与内存
DuckDB 通过其缓冲区管理器注册索引内存。然而,这些索引缓冲区目前尚未实现真正的缓冲区管理。这意味着如果需要回收内存,DuckDB 尚无法销毁任何索引缓冲区。因此,索引可能会占用 DuckDB 可用内存的很大一部分,从而可能影响内存密集型查询的性能。重新附加(DETACH + ATTACH)包含索引的数据库可以减轻这种影响,因为我们是延迟反序列化索引内存的。在变更后禁用索引扫描并重新附加,可以进一步降低索引对 DuckDB 可用内存的影响。
索引与打开数据库
索引被序列化到磁盘并在延迟加载,即在重新打开数据库时加载。使用索引的操作只会加载索引中所需的部分。因此,拥有索引不会在打开现有数据库时导致任何减速。
最佳实践:我们建议遵循以下指南
- 仅在需要强制执行数据约束时才使用主键、外键或唯一约束。
- 除非您有高选择性的查询并且有足够的可用内存,否则不要定义显式索引。
- 如果您要定义 ART 索引,请在将数据批量加载到表之后进行。在加载之前添加索引(无论是显式添加还是通过主键/外键添加)都会损害加载性能。