- 安装
- 文档
- 入门
- 连接
- 数据导入与导出
- 湖仓格式
- 客户端 API
- 概览
- 第三方客户端
- ADBC
- C
- C++
- CLI
- Dart
- Go
- Java (JDBC)
- Julia
- Node.js (已弃用)
- Node.js (Neo)
- ODBC
- PHP
- Python
- R
- Rust
- Swift
- Wasm
- SQL
- 介绍
- 语句
- 概览
- ANALYZE
- ALTER TABLE
- ALTER VIEW
- ATTACH 和 DETACH
- CALL
- CHECKPOINT
- COMMENT ON
- COPY
- CREATE INDEX
- CREATE MACRO
- CREATE SCHEMA
- CREATE SECRET
- CREATE SEQUENCE
- CREATE TABLE
- CREATE VIEW
- CREATE TYPE
- DELETE
- DESCRIBE
- DROP
- EXPORT 和 IMPORT DATABASE
- INSERT
- LOAD / INSTALL
- MERGE INTO
- PIVOT
- 性能分析
- SELECT
- SET / RESET
- SET VARIABLE
- SHOW 与 SHOW DATABASES
- SUMMARIZE
- 事务管理
- UNPIVOT
- UPDATE
- USE
- VACUUM
- 查询语法
- SELECT
- FROM 和 JOIN
- WHERE
- GROUP BY
- GROUPING SETS
- HAVING
- ORDER BY
- LIMIT 和 OFFSET
- SAMPLE
- 展开嵌套
- WITH
- WINDOW
- QUALIFY
- VALUES
- FILTER
- 集合操作
- 预处理语句
- 数据类型
- 表达式
- 函数
- 概览
- 聚合函数
- 数组函数
- 位字符串函数
- Blob 函数
- 日期格式化函数
- 日期函数
- 日期部分函数
- 枚举函数
- 间隔函数
- Lambda 函数
- 列表函数
- 映射函数
- 嵌套函数
- 数值函数
- 模式匹配
- 正则表达式
- 结构体函数
- 文本函数
- 时间函数
- 时间戳函数
- 带时区时间戳函数
- 联合函数
- 实用函数
- 窗口函数
- 约束
- 索引
- 元查询
- DuckDB 的 SQL 方言
- 示例
- 配置
- 扩展
- 核心扩展
- 概览
- 自动补全
- Avro
- AWS
- Azure
- Delta
- DuckLake
- 编码
- Excel
- 全文搜索
- httpfs (HTTP 和 S3)
- Iceberg
- ICU
- inet
- jemalloc
- Lance
- MySQL
- PostgreSQL
- 空间
- SQLite
- TPC-DS
- TPC-H
- UI
- Unity Catalog
- Vortex
- VSS
- 指南
- 概览
- 数据查看器
- 数据库集成
- 文件格式
- 概览
- CSV 导入
- CSV 导出
- 直接读取文件
- Excel 导入
- Excel 导出
- JSON 导入
- JSON 导出
- Parquet 导入
- Parquet 导出
- 查询 Parquet 文件
- 使用 file: 协议访问文件
- 网络和云存储
- 概览
- HTTP Parquet 导入
- S3 Parquet 导入
- S3 Parquet 导出
- S3 Iceberg 导入
- S3 Express One
- GCS 导入
- Cloudflare R2 导入
- 通过 HTTPS / S3 使用 DuckDB
- Fastly 对象存储导入
- 元查询
- ODBC
- 性能
- Python
- 安装
- 执行 SQL
- Jupyter Notebooks
- marimo Notebooks
- Pandas 上的 SQL
- 从 Pandas 导入
- 导出到 Pandas
- 从 Numpy 导入
- 导出到 Numpy
- Arrow 上的 SQL
- 从 Arrow 导入
- 导出到 Arrow
- Pandas 上的关系型 API
- 多个 Python 线程
- 与 Ibis 集成
- 与 Polars 集成
- 使用 fsspec 文件系统
- SQL 编辑器
- SQL 功能
- 代码片段
- 故障排除
- 术语表
- 离线浏览
- 操作手册
- 概览
- DuckDB 的占用空间
- 安装 DuckDB
- 日志
- 保护 DuckDB 安全
- 非确定性行为
- 限制
- DuckDB Docker 容器
- 开发
- 内部结构
- 站点地图
- 在线演示
处理并发性
DuckDB 有两个可配置的并发选项:
- 单个进程可以同时对数据库进行读写操作。
- 多个进程可以同时从数据库读取数据,但不能有进程进行写入(
access_mode = 'READ_ONLY')。
当使用选项 1 时,DuckDB 通过结合 MVCC(多版本并发控制) 和乐观并发控制(参见 单进程内的并发性),支持单个写入进程内的多个写入线程。采用这种并发模型的原因在于,允许在 RAM 中缓存数据以加速分析型查询,而不是在每次查询时都在磁盘之间来回读取。它还允许缓存函数指针、数据库目录及其他项,从而使同一连接上的后续查询速度更快。
DuckDB 针对批量操作进行了优化,因此执行大量小事务并不是其主要设计目标。
单进程内的并发性
DuckDB 根据以下规则支持单进程内的并发。只要没有写入冲突,多个并发写入就会成功。追加(Append)操作永远不会冲突,即使是在同一个表上。多个线程也可以同时更新不同的表,或者更新同一张表的不同子集。当两个线程同时尝试编辑(更新或删除)同一行时,乐观并发控制就会发挥作用。在这种情况下,第二个尝试编辑的线程将因冲突错误而失败。
从多个进程写入 DuckDB
DuckDB 不自动支持从多个进程写入,这也不是其主要设计目标(参见 处理并发性)。
如果必须由多个进程向同一个文件写入数据,可以采用几种设计模式,但需要在应用程序逻辑中实现。例如,每个进程可以获取一个跨进程互斥锁,然后以读/写模式打开数据库,并在查询完成后关闭它。除了使用互斥锁之外,每个进程也可以在另一个进程已连接到数据库时重试连接(务必在查询完成后关闭连接)。另一种选择是在 MySQL、PostgreSQL 或 SQLite 数据库上进行多进程事务处理,并使用 DuckDB 的 MySQL、PostgreSQL 或 SQLite 扩展来定期对这些数据执行分析查询。
其他方案包括将数据写入 Parquet 文件并利用 DuckDB 读取多个 Parquet 文件 的能力,采用类似方法处理 CSV 文件,或者创建一个 Web 服务器来接收请求并管理 DuckDB 的读写操作。
乐观并发控制
DuckDB 使用 乐观并发控制,这种方法通常被认为最适合读密集型的分析型数据库系统,因为它能加快读取查询的处理速度。因此,任何同时修改相同行的事务都会导致事务冲突错误。
Transaction conflict: cannot update a table that has been altered!
提示:遇到事务冲突时,一种常见的解决方法是重新运行该事务。