- 安装
- 文档
- 入门
- 连接
- 数据导入与导出
- 湖仓格式
- 客户端 API
- 概览
- 第三方客户端
- ADBC
- C
- C++
- CLI
- Dart
- Go
- Java (JDBC)
- Julia
- Node.js (已弃用)
- Node.js (Neo)
- ODBC
- PHP
- Python
- R
- Rust
- Swift
- Wasm
- SQL
- 介绍
- 语句
- 概览
- ANALYZE
- ALTER TABLE
- ALTER VIEW
- ATTACH 和 DETACH
- CALL
- CHECKPOINT
- COMMENT ON
- COPY
- CREATE INDEX
- CREATE MACRO
- CREATE SCHEMA
- CREATE SECRET
- CREATE SEQUENCE
- CREATE TABLE
- CREATE VIEW
- CREATE TYPE
- DELETE
- DESCRIBE
- DROP
- EXPORT 和 IMPORT DATABASE
- INSERT
- LOAD / INSTALL
- MERGE INTO
- PIVOT
- 性能分析
- SELECT
- SET / RESET
- SET VARIABLE
- SHOW 与 SHOW DATABASES
- SUMMARIZE
- 事务管理
- UNPIVOT
- UPDATE
- USE
- VACUUM
- 查询语法
- SELECT
- FROM 和 JOIN
- WHERE
- GROUP BY
- GROUPING SETS
- HAVING
- ORDER BY
- LIMIT 和 OFFSET
- SAMPLE
- 展开嵌套
- WITH
- WINDOW
- QUALIFY
- VALUES
- FILTER
- 集合操作
- 预处理语句
- 数据类型
- 表达式
- 函数
- 概览
- 聚合函数
- 数组函数
- 位字符串函数
- Blob 函数
- 日期格式化函数
- 日期函数
- 日期部分函数
- 枚举函数
- 间隔函数
- Lambda 函数
- 列表函数
- 映射函数
- 嵌套函数
- 数值函数
- 模式匹配
- 正则表达式
- 结构体函数
- 文本函数
- 时间函数
- 时间戳函数
- 带时区时间戳函数
- 联合函数
- 实用函数
- 窗口函数
- 约束
- 索引
- 元查询
- DuckDB 的 SQL 方言
- 示例
- 配置
- 扩展
- 核心扩展
- 概览
- 自动补全
- Avro
- AWS
- Azure
- Delta
- DuckLake
- 编码
- Excel
- 全文搜索
- httpfs (HTTP 和 S3)
- Iceberg
- ICU
- inet
- jemalloc
- Lance
- MySQL
- PostgreSQL
- 空间
- SQLite
- TPC-DS
- TPC-H
- UI
- Unity Catalog
- Vortex
- VSS
- 指南
- 概览
- 数据查看器
- 数据库集成
- 文件格式
- 概览
- CSV 导入
- CSV 导出
- 直接读取文件
- Excel 导入
- Excel 导出
- JSON 导入
- JSON 导出
- Parquet 导入
- Parquet 导出
- 查询 Parquet 文件
- 使用 file: 协议访问文件
- 网络和云存储
- 概览
- HTTP Parquet 导入
- S3 Parquet 导入
- S3 Parquet 导出
- S3 Iceberg 导入
- S3 Express One
- GCS 导入
- Cloudflare R2 导入
- 通过 HTTPS / S3 使用 DuckDB
- Fastly 对象存储导入
- 元查询
- ODBC
- 性能
- Python
- 安装
- 执行 SQL
- Jupyter Notebooks
- marimo Notebooks
- Pandas 上的 SQL
- 从 Pandas 导入
- 导出到 Pandas
- 从 Numpy 导入
- 导出到 Numpy
- Arrow 上的 SQL
- 从 Arrow 导入
- 导出到 Arrow
- Pandas 上的关系型 API
- 多个 Python 线程
- 与 Ibis 集成
- 与 Polars 集成
- 使用 fsspec 文件系统
- SQL 编辑器
- SQL 功能
- 代码片段
- 故障排除
- 术语表
- 离线浏览
- 操作手册
- 概览
- DuckDB 的占用空间
- 安装 DuckDB
- 日志
- 保护 DuckDB 安全
- 非确定性行为
- 限制
- DuckDB Docker 容器
- 开发
- 内部结构
- 站点地图
- 在线演示
aws 扩展在 httpfs 扩展的 S3 功能之上增加了诸如身份验证等功能,并使用了 AWS SDK。
安装和加载
aws 扩展将在首次使用时从官方扩展存储库中透明地自动加载。如果您想手动安装并加载它,请运行
INSTALL aws;
LOAD aws;
在大多数情况下,
aws扩展与httpfs扩展配合使用。
配置与身份验证
配置和验证 AWS S3 端点的首选方法是使用密钥 (secrets)。
config 提供程序
默认提供程序 config(即用户配置)允许通过手动提供密钥来访问 S3 存储桶。例如
CREATE OR REPLACE SECRET secret (
TYPE s3,
PROVIDER config,
KEY_ID 'AKIAIOSFODNN7EXAMPLE',
SECRET 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY',
REGION 'us-east-1'
);
提示:如果您收到 IO 错误(
Connection error for HTTP HEAD),请通过ENDPOINT 's3.your-region.amazonaws.com'显式配置端点。
现在,要使用上述密钥进行查询,只需查询任何带有 s3:// 前缀的文件即可
SELECT *
FROM 's3://your-bucket/your_file.parquet';
credential_chain 提供者
credential_chain 提供程序允许使用 AWS SDK 提供的机制自动获取凭证。例如,要使用 AWS SDK 默认提供程序
CREATE OR REPLACE SECRET secret (
TYPE s3,
PROVIDER credential_chain
);
同样,要使用上述密钥查询文件,只需查询任何带有 s3:// 前缀的文件即可。
DuckDB 还允许使用 CHAIN 关键字指定特定的链。这接受一个分号分隔的提供程序列表(a;b;c),系统将按顺序尝试这些提供程序。例如
CREATE OR REPLACE SECRET secret (
TYPE s3,
PROVIDER credential_chain,
CHAIN 'env;config'
);
CHAIN 的可选值如下
credential_chain 提供程序还允许覆盖自动获取的配置。例如,要自动加载凭证,然后覆盖区域,请运行
CREATE OR REPLACE SECRET secret (
TYPE s3,
PROVIDER credential_chain,
CHAIN config,
REGION 'eu-west-1'
);
验证
自 v1.4.0 起,AWS credential_chain 提供程序会在 CREATE SECRET 时查找任何所需的凭证,如果凭证缺失或不可用,则会失败。
自 v1.4.1 起,此行为可以通过 VALIDATION 选项进行配置,如下所示
CREATE OR REPLACE SECRET secret (
TYPE s3,
PROVIDER credential_chain,
VALIDATION 'exists'
);
支持两种验证模式
exists(默认)要求凭证必须存在。none允许CREATE SECRET在没有可用凭证的credential_chains的情况下也能成功执行。
VALIDATION 'exists'仅验证凭证的存在性,而非其操作就绪状态。因此,它不会尝试转换为访问令牌或执行读取、写入等操作。
自动刷新
某些 AWS 端点需要定期刷新凭证。这可以通过 REFRESH auto 选项指定
CREATE SECRET env_test (
TYPE s3,
PROVIDER credential_chain,
REFRESH auto
);
遗留功能
已弃用:
load_aws_credentials函数已被弃用。
在 0.10.0 版本之前,DuckDB 没有密钥管理器,为了自动加载凭证,AWS 扩展提供了一个特殊函数,用于通过遗留身份验证方法加载 AWS 凭证。
| 函数 | 类型 | 描述 |
|---|---|---|
load_aws_credentials |
PRAGMA 函数 |
通过 AWS 默认凭证提供程序链加载 AWS 凭证 |
加载 AWS 凭证(遗留)
要加载 AWS 凭证,请运行
CALL load_aws_credentials();
| loaded_access_key_id | loaded_secret_access_key | loaded_session_token | loaded_region |
|---|---|---|---|
| AKIAIOSFODNN7EXAMPLE | <已屏蔽> |
NULL | us-east-2 |
该函数接受一个字符串参数以指定特定的配置文件
CALL load_aws_credentials('minio-testing-2');
| loaded_access_key_id | loaded_secret_access_key | loaded_session_token | loaded_region |
|---|---|---|---|
| minio_duckdb_user_2 | <已屏蔽> |
NULL | NULL |
有多个参数可用于调整调用的行为
CALL load_aws_credentials('minio-testing-2', set_region = false, redact_secret = false);
| loaded_access_key_id | loaded_secret_access_key | loaded_session_token | loaded_region |
|---|---|---|---|
| minio_duckdb_user_2 | minio_duckdb_user_password_2 | NULL | NULL |