Google Cloud Secret Manager

本教程展示如何设置一个使用KES服务器Google Cloud Secret Manager作为持久键值存储。

Google Cloud Secret Manager

TheGoogle Cloud Secret Manager是一个用于存储密码、访问令牌和加密密钥等机密的键值存储系统。

登录到Google Cloud console
创建新项目或选择现有项目
启用Secret Manager 服务如果尚未为您的项目启用
前往Google Cloud IAM 服务账号管理并为 KES 创建一个新的服务账户。 KES 使用此服务账户向 GCP 进行身份验证并访问 Secret Manager。
为新账户分配一个或多个角色

如果你想快速上手，请分配Secret Manager Admin角色。但是，这会授予比 KES 所需更多的权限。

或者，为 KES 创建一个新角色所需的最低权限：
```
 secretmanager.secrets.create
 secretmanager.secrets.delete
 secretmanager.secrets.get
```

为服务账户创建密钥通过Actions - Create Key.

使用JSON密钥格式。

Google Cloud 允许您下载具有以下结构的 JSON 文件：

{
  "type":           "service_account",
  "project_id":     "<your-project-id>",
  "private_key_id": "<your-private-key-id>",
  "private_key":    "-----BEGIN PRIVATE KEY-----\n ... -----END PRIVATE KEY-----\n",
  "client_email":   "<your-service-account>@<your-project-id>.iam.gserviceaccount.com",
  "client_id":      "<your-client-id>"
}

使用此凭据文件配置 KES，以向 Google Cloud 进行身份验证并访问 Secret Manager。

KES Server 设置

KES服务器需要一个TLS私钥和证书。

KES服务器是默认安全并且只能通过 TLS 运行。本教程为简化起见使用自签名证书。

对于生产环境，我们强烈建议使用受信任证书颁发机构签名的证书。这可以是您的内部CA，也可以是公共CA，例如Let’s Encrypt.

为 KES 服务器生成 TLS 私钥和证书

以下命令生成一个新的TLS私钥server.key以及一个自签名的 X.509 证书server.cert这是为该IP地址签发的127.0.0.1和 DNS 名称localhost（作为 SAN）。根据您的设置自定义命令。
```
kes identity new --server --key server.key --cert server.cert --ip "127.0.0.1" --dns localhost
```
任何其他用于 X.509 证书生成的工具也同样适用。例如，您可以使用openssl:
```
$ openssl ecparam -genkey -name prime256v1 | openssl ec -out server.key

$ openssl req -new -x509 -days 30 -key server.key -out server.cert \
    -subj "/C=/ST=/L=/O=/CN=localhost" -addext "subjectAltName = IP:127.0.0.1"
```

为应用程序创建私钥和证书

kes identity new --key=app.key --cert=app.cert app

你可以计算app随时更改身份。

kes identity of app.cert

创建配置文件 server-config.yml

address: 0.0.0.0:7373
root:    disabled  # We disable the root identity since we don't need it in this guide 

tls:
  key : server.key
  cert: server.cert

policy:
  my-app:
    allow:
    - /v1/key/create/my-app*
    - /v1/key/generate/my-app*
    - /v1/key/decrypt/my-app*
    identities:
    - ${APP_IDENTITY}

keystore:
  gcp:
    secretmanager:
      project_id: "<your-project-id>"                  # Use your GCP project ID
      credentials:
        client_email: "<your-client-email>"            # Use the client email from your GCP credentials file
        client_id: "<your-client-id>"                  # Use the client ID from your GCP credentials file
        private_key_id: "<your-private-key-id"         # Use the private key ID from your GCP credentials file
        private_key: "-----BEGIN PRIVATE KEY----- ..." # Use the private key from your GCP credentials file

在新窗口/标签页中启动 KES 服务器：

Linux

export APP_IDENTITY=$(kes identity of app.cert)

kes server --config=server-config.yml --auth=off

该命令使用--auth=off因为我们的root.cert和app.cert证书是自签名的。

容器

以下说明使用Podmanto manage the containers. 你也可以使用 Docker。

根据您的部署需求修改地址和文件路径。

sudo podman pod create  \
  -p 9000:9000 -p 9001:9001 -p 7373:7373  \
  -v ~/minio-kes-gcp/certs:/certs  \
  -v ~/minio-kes-gcp/minio:/mnt/minio  \
  -v ~/minio-kes-gcp/config:/etc/default/  \
  -n minio-kes-gcp

sudo podman run -dt  \
  --cap-add IPC_LOCK  \
  --name kes-server  \
  --pod "minio-kes-gcp"  \
  -e KES_SERVER=https://127.0.0.1:7373  \
  -e KES_CLIENT_KEY=/certs/kes-server.key  \
  -e KES_CLIENT_CERT=/certs/kes-server.cert  \
  quay.io/minio/kes:2024-01-11T13-09-29Z server  \
    --auth  \
    --config=/etc/default/kes-config.yaml  \

sudo podman run -dt  \
  --name minio-server  \
  --pod "minio-kes-gcp"  \
  -e "MINIO_CONFIG_ENV_FILE=/etc/default/minio"  \
  quay.io/minio/minio:RELEASE.2024-01-31T20-20-33Z server  \
    --console-address ":9001"

您可以使用以下命令验证容器的状态。该命令应显示三个 Pod，一个用于 Pod，一个用于 KES，一个用于 MinIO。

sudo podman container list

在另一个窗口或标签页中，连接到服务器
```
export KES_CLIENT_CERT=app.cert
export KES_CLIENT_KEY=app.key
kes key create -k my-app-key
```
```
export APP_IDENTITY=$(kes identity of app.cert)

kes server --config=server-config.yml --auth=off
```
该命令使用--auth=off因为我们的root.cert和app.cert证书是自签名的。

现在，如果前往 Google Cloud Secret Manager你应该看到一个名为的密钥my-app-key.

从先前创建的密钥派生并解密数据密钥my-app-key

kes key derive -k my-app-key
{
  plaintext : ...
  ciphertext: ...
}

kes key decrypt -k my-app-key <base64-ciphertext>

使用 KES 与 MinIO 服务器

MinIO Server 需要 KES 来启用服务器端数据加密。

查看MinIO KES 操作指南有关将新的 KES 服务器与 MinIO 服务器配合使用所需的额外步骤。

配置参考

以下部分介绍了使用 Google Cloud Secret Manager 作为根 KMS 存储外部密钥的 Key Encryption Service (KES) 配置设置，例如用于 MinIO 服务器端加密的密钥。

MinIO Server 需要扩展权限

从MinIO Server RELEASE.2023-02-17T17-52-43ZMinIO 需要扩展的 KES 权限才能实现功能。本节中的示例配置包含所有必需的权限。

YAML 概述

带有${<STRING>}使用匹配的环境变量<STRING>值。您可以使用此功能设置凭据，而无需将其写入配置文件。

YAML 假设 MinIO 部署访问 KES 时具有最小权限集。作为替代方案，您可以省略policy.minio-serversection 并改为设置${MINIO_IDENTITY}hash 作为${ROOT_IDENTITY}.

address: 0.0.0.0:7373
root: ${ROOT_IDENTITY}

tls:
  key: kes-server.key
  cert: kes-server.cert

api:
  /v1/ready:
    skip_auth: false
    timeout:   15s

policy:
  minio-server:
    allow:
    - /v1/key/create/*
    - /v1/key/generate/*
    - /v1/key/decrypt/*
    - /v1/key/bulk/decrypt
    - /v1/key/list/*
    - /v1/status
    - /v1/metrics
    - /v1/log/audit
    - /v1/log/error
    deny:
    - /v1/key/generate/my-app-internal*
    - /v1/key/decrypt/my-app-internal*
    identities:
    - ${MINIO_IDENTITY}

    my-app:
    allow:
    - /v1/key/create/my-app*
    - /v1/key/generate/my-app*
    - /v1/key/decrypt/my-app*
    deny:
    - /v1/key/generate/my-app-internal*
    - /v1/key/decrypt/my-app-internal*
    identities:
    - df7281ca3fed4ef7d06297eb7cb9d590a4edc863b4425f4762bb2afaebfd3258
    - c0ecd5962eaf937422268b80a93dde4786dc9783fb2480ddea0f3e5fe471a731

keys:
  - name: "minio-encryption-key-alpha"
  - name: "minio-encryption-key-baker"
  - name: "minio-encryption-key-charlie"

cache:
  expiry:
    any: 5m0s
    unused: 20s
    offline: 0s

log:

  # Log error events to STDERR. Valid values are "on" or "off". 
  # Default is "on".
  error: on

  # Log audit events to STDOUT. Valid values are "on" and "off". 
  # Default is "off".
  audit: off

keystore:
  gcp:
    # https://cloud.google.com/secret-manager
    secretmanager:
      # See: https://cloud.google.com/resource-manager/docs/creating-managing-projects#before_you_begin
      project_id: ""
      endpoint: ""
      # Refer to: https://developers.google.com/identity/protocols/oauth2/scopes
      # If not set, the GCP default scopes are used.
      scopes: 
      - ""
      credentials:
        client_email: 
        client_id:    
        private_key_id: 
        private_key:

参考

有关完整文档，请参阅配置页面.

Key	描述
`address`	KES服务器启动时监听的网络地址和端口。默认端口为`7373`在所有主机网络接口上。
`root`	KES超级用户的身份（`root`) 身份。使用TLS证书连接的客户端，其哈希值(`kes identity of client.cert`) 匹配此值的实体有权访问所有 KES API 操作。指定`disabled`移除根身份并仅依赖于`policy`用于控制 KES 身份和访问管理的配置。
`tls`	KES 用于建立 TLS 安全通信的 TLS 私钥和证书。请同时指定私钥和证书的完整路径。`.key`和公共`.cert`到`key`和`cert`字段，分别。
`policy`	指定一个或多个策略用于控制对 KES 服务器的访问。MinIO SSE 需要访问以下 KES 加密 API： `/v1/key/create/` `/v1/key/generate/` `/v1/key/decrypt/` 指定额外的密钥不会扩展 MinIO SSE 功能，且可能违反关于向客户端提供不必要的加密密钥操作访问权限的安全最佳实践。您可以通过在 MinIO 创建密钥名称前指定前缀来限制其执行 SSE 时的密钥名称范围`.`例如，`minio-sse-*`仅授予访问权限`create`, `generate`或`decrypt`使用密钥`minio-sse-`prefix. KES 使用 mTLS 对连接客户端进行授权，通过将 TLS 证书的哈希值与`identities`每个已配置策略的。使用`kes identity of`命令用于计算 MinIO mTLS 证书的身份并将其添加到`policy.<NAME>.identities`将数组关联到 MinIO`<NAME>`policy.
`keys`	指定一个键的数组必须必须存在于根 KMS 上，KES 才能成功启动。如果这些密钥不存在，KES 会尝试创建它们；如果未能创建一个或多个密钥，则会退出并报错。在完成对所有指定密钥的验证之前，KES 不会接受任何客户端请求。
`cache`	指定缓存密钥的过期时间`#d#h#m#s`格式。在 KMS 暂时不可用的情况下，可以使用未过期的密钥。条目可以设置为`any`key,`unused`键，或`offline`keys. 如果未设置，KES将使用以下值：`5m`对于所有键，`20s`对于未使用的密钥，`0s`对于离线密钥。
`log`	启用或禁用输出`error`和`audit`将日志事件输出到控制台。
`keystore.gcp.secretmanager.project_id`	The项目ID是一个唯一的、由用户分配的ID，可由Google API使用。项目ID必须是6到30个小写字母、数字或连字符的唯一字符串。必须以字母开头，且不能以连字符结尾。
`keystore.gcp.secretmanager.endpoint`	一个可选的 Google Cloud Secret Manager 端点。如果未设置，默认值为：`secretmanager.googleapis.com:443`.
`keystore.gcp.secretmanager.scopes`	一个可选的列表GCP OAuth2 范围如果未设置，则使用 GCP 默认作用域。
`keystore.gcp.secretmanager.credentials.client_email`	服务账号电子邮件地址。例如，`<account>@<project-ID>.iam.gserviceaccount.com`.
`keystore.gcp.secretmanager.credentials.client_id`	服务账户客户端 ID。例如，`113491952745362495489`
`keystore.gcp.secretmanager.credentials.private_key_id`	服务账户私钥。例如，`381514ebd3cf45a64ca8adc561f0ce28fca5ec06`.
`keystore.gcp.secretmanager.credentials.private_key`	服务账户的原始编码私钥。例如，`-----BEGIN PRIVATE KEY-----\n ... \n-----END PRIVATE KEY-----\n`.