S3 Parquet 导出 – DuckDB - DuckDB 数据库

搜索快捷键 cmd + k | ctrl + k

文档 / 指南 / 网络与云存储

S3 Parquet 导出

要将 Parquet 文件写入 S3，需要安装 httpfs 扩展。可以使用 INSTALL SQL 命令进行安装，该操作只需执行一次。

INSTALL httpfs;

要加载 httpfs 扩展以供使用，请使用 LOAD SQL 命令

LOAD httpfs;

加载 httpfs 扩展后，请设置用于写入数据的凭证。请注意，region 参数应与您要访问的存储桶所在的区域相匹配。

CREATE SECRET (
    TYPE s3,
    KEY_ID 'AKIAIOSFODNN7EXAMPLE',
    SECRET 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY',
    REGION 'us-east-1'
);

提示：如果您收到 IO 错误（Connection error for HTTP HEAD），请通过 ENDPOINT 's3.your-region.amazonaws.com' 显式配置端点。

或者，使用 aws 扩展自动检索凭据

CREATE SECRET (
    TYPE s3,
    PROVIDER credential_chain
);

在设置好 httpfs 扩展并正确配置 S3 凭证后，可以使用以下命令将 Parquet 文件写入 S3：

COPY table_name TO 's3://s3-bucket/filename.parquet';

同样，Google Cloud Storage (GCS) 也通过互操作性 API (Interoperability API) 得到支持。您需要创建 HMAC 密钥并按如下方式提供凭证：

CREATE SECRET (
    TYPE gcs,
    KEY_ID 'AKIAIOSFODNN7EXAMPLE',
    SECRET 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY'
);

设置好 GCS 凭证后，您可以使用以下命令进行导出：

COPY table_name TO 'gs://gcs_bucket/filename.parquet';