⌘+k ctrl+k
1.4 (LTS)
搜索快捷键 cmd + k | ctrl + k
AWS 扩展

aws 扩展在 httpfs 扩展的 S3 功能之上增加了诸如身份验证等功能,并使用了 AWS SDK。

安装和加载

aws 扩展将在首次使用时从官方扩展存储库中透明地自动加载。如果您想手动安装并加载它,请运行

INSTALL aws;
LOAD aws;

在大多数情况下,aws 扩展与 httpfs 扩展配合使用。

配置与身份验证

配置和验证 AWS S3 端点的首选方法是使用密钥 (secrets)

config 提供程序

默认提供程序 config(即用户配置)允许通过手动提供密钥来访问 S3 存储桶。例如

CREATE OR REPLACE SECRET secret (
    TYPE s3,
    PROVIDER config,
    KEY_ID 'AKIAIOSFODNN7EXAMPLE',
    SECRET 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY',
    REGION 'us-east-1'
);

提示:如果您收到 IO 错误(Connection error for HTTP HEAD),请通过 ENDPOINT 's3.your-region.amazonaws.com' 显式配置端点。

现在,要使用上述密钥进行查询,只需查询任何带有 s3:// 前缀的文件即可

SELECT *
FROM 's3://your-bucket/your_file.parquet';

credential_chain 提供者

credential_chain 提供程序允许使用 AWS SDK 提供的机制自动获取凭证。例如,要使用 AWS SDK 默认提供程序

CREATE OR REPLACE SECRET secret (
    TYPE s3,
    PROVIDER credential_chain
);

同样,要使用上述密钥查询文件,只需查询任何带有 s3:// 前缀的文件即可。

DuckDB 还允许使用 CHAIN 关键字指定特定的链。这接受一个分号分隔的提供程序列表(a;b;c),系统将按顺序尝试这些提供程序。例如

CREATE OR REPLACE SECRET secret (
    TYPE s3,
    PROVIDER credential_chain,
    CHAIN 'env;config'
);

CHAIN 的可选值如下

credential_chain 提供程序还允许覆盖自动获取的配置。例如,要自动加载凭证,然后覆盖区域,请运行

CREATE OR REPLACE SECRET secret (
    TYPE s3,
    PROVIDER credential_chain,
    CHAIN config,
    REGION 'eu-west-1'
);

验证

自 v1.4.0 起,AWS credential_chain 提供程序会在 CREATE SECRET 时查找任何所需的凭证,如果凭证缺失或不可用,则会失败。

自 v1.4.1 起,此行为可以通过 VALIDATION 选项进行配置,如下所示

CREATE OR REPLACE SECRET secret (
    TYPE s3,
    PROVIDER credential_chain,
    VALIDATION 'exists'
);

支持两种验证模式

  • exists(默认)要求凭证必须存在。
  • none 允许 CREATE SECRET 在没有可用凭证的 credential_chains 的情况下也能成功执行。

VALIDATION 'exists' 仅验证凭证的存在性而非其操作就绪状态。因此,它不会尝试转换为访问令牌或执行读取、写入等操作。

自动刷新

某些 AWS 端点需要定期刷新凭证。这可以通过 REFRESH auto 选项指定

CREATE SECRET env_test (
    TYPE s3,
    PROVIDER credential_chain,
    REFRESH auto
);

遗留功能

已弃用:load_aws_credentials 函数已被弃用。

在 0.10.0 版本之前,DuckDB 没有密钥管理器,为了自动加载凭证,AWS 扩展提供了一个特殊函数,用于通过遗留身份验证方法加载 AWS 凭证。

函数 类型 描述
load_aws_credentials PRAGMA 函数 通过 AWS 默认凭证提供程序链加载 AWS 凭证

加载 AWS 凭证(遗留)

要加载 AWS 凭证,请运行

CALL load_aws_credentials();
loaded_access_key_id loaded_secret_access_key loaded_session_token loaded_region
AKIAIOSFODNN7EXAMPLE <已屏蔽> NULL us-east-2

该函数接受一个字符串参数以指定特定的配置文件

CALL load_aws_credentials('minio-testing-2');
loaded_access_key_id loaded_secret_access_key loaded_session_token loaded_region
minio_duckdb_user_2 <已屏蔽> NULL NULL

有多个参数可用于调整调用的行为

CALL load_aws_credentials('minio-testing-2', set_region = false, redact_secret = false);
loaded_access_key_id loaded_secret_access_key loaded_session_token loaded_region
minio_duckdb_user_2 minio_duckdb_user_password_2 NULL NULL
© 2025 DuckDB 基金会,阿姆斯特丹,荷兰
行为准则 商标使用指南