使用对象Lambda进行转换

MinIO的对象Lambda功能允许开发人员按需以编程方式转换对象。您可以根据用例需求转换对象，例如编辑个人身份信息(PII)、使用其他来源的信息丰富数据，或在格式之间进行转换。

概述

An Object Lambda 处理程序是一个小型代码模块，用于转换对象的内容并返回结果。就像Amazon S3 Object Lambda 函数当应用程序发出GET请求时，您会触发MinIO对象Lambda处理函数。该处理程序从MinIO检索请求的对象，对其进行转换，然后将修改后的数据返回给MinIO，以便发送回原始应用程序。原始对象保持不变。

每个处理器都是一个独立的进程，多个处理器可以转换相同的数据。这使您能够将同一对象用于不同目的，而无需维护原始数据的不同版本。

Object Lambda Handlers

您可以使用任何能够发送和接收HTTP请求的语言来编写处理函数。该函数必须能够：

监听一个 HTTP POST 请求。
使用URL检索原始对象。
返回转换后的内容和授权令牌。

创建一个函数

处理函数应执行以下步骤：

从传入的POST请求中提取对象详细信息。

ThegetObjectContextJSON 请求负载的 property 属性包含有关原始对象的详细信息。构建响应需要以下值：

值	描述
`inputS3Url`	A 预签名 URL对于原始对象。调用应用程序生成URL并在原始请求中发送它。这允许处理程序访问原始对象，而无需通常需要的MinIO凭据。该URL有效期为1小时。
`outputRoute`	允许 MinIO 验证转换后对象目标地址的令牌。请在响应中返回此值，并附带一个`x-amz-request-route`header.
`outputToken`	一个允许 MinIO 验证响应的令牌。在响应中返回此值，位于`x-amz-request-token`header.

从 MinIO 中检索原始对象。

使用预签名URL从MinIO部署中检索对象。对象内容位于响应体中。
按要求转换对象。

执行任何必要的操作以生成转换后的对象。由于调用应用程序正在等待响应，您可能希望避免可能长时间运行的操作。
构建一个包含以下信息的响应：
- 转换后的对象内容。
- An x-amz-request-route带有标题的outputRoutetoken.
- An x-amz-request-token带有标题的outputTokentoken.
将响应返回给 Object Lambda。

MinIO验证响应并将转换后的数据发送回原始调用应用程序。

响应头

Handlers必须include theoutputRoute和outputToken在适当的响应头中的值。这允许 MinIO 正确验证来自处理程序的响应。

注册处理器

要启用 MinIO 调用处理程序，请将处理程序函数注册为具有以下配置的 webhookMinIO server Object Lambda 环境变量:

MINIO_LAMBDA_WEBHOOK_ENABLE_functionname: 启用或禁用处理函数的 Object Lambda。对于多个处理函数，请为每个函数名称设置此环境变量。
MINIO_LAMBDA_WEBHOOK_ENDPOINT_functionname: 为处理函数注册一个端点。对于多个处理函数，请为每个函数端点设置此环境变量。

MinIO 还支持以下用于认证 webhook 端点的环境变量：

MINIO_LAMBDA_WEBHOOK_AUTH_TOKEN_functionanme: 指定用于向 webhook 进行身份验证的不透明字符串或 JWT 授权令牌。
MINIO_LAMBDA_WEBHOOK_CLIENT_CERT_functionname: 指定用于对 webhook 进行 mTLS 身份验证的客户端证书。
MINIO_LAMBDA_WEBHOOK_CLIENT_KEY_functionname: 指定用于对 webhook 进行 mTLS 身份验证的私钥。

重启 MinIO 以应用更改。

或者，使用以下方式配置 Object Lambda：MinIO 客户端命令行工具。有关更多信息，请参阅Object Lambda 函数设置.

从应用程序触发

要从您的应用程序请求转换后的对象：

连接到 MinIO 部署。
通过添加一个来设置对象 Lambda 目标lambdaArn参数包含所需处理程序的ARN。
生成一个预签名 URL对于原始对象。
使用生成的 URL 来检索转换后的对象。

MinIO 将请求发送到目标对象 Lambda 处理器。处理器将转换后的内容返回给 MinIO，MinIO 验证响应后将其发送回应用程序。

Example

使用Python、Go和curl:

创建并注册一个对象 Lambda 处理程序。
创建一个存储桶和一个要转换的对象。
请求并显示转换后的对象内容。

前提条件：

现有的MinIO部署
正常运行的 Python (3.8+) 和 Golang 开发环境
MinIO Go SDK

创建一个处理器

示例处理程序，使用Python编写，通过以下方式检索目标对象：预签名 URL由调用者生成。然后处理程序转换对象的内容并返回新文本。它使用Flask web框架和 Python 3.8+。

以下命令将安装 Flask 及其他所需依赖项：

pip install flask requests

处理程序调用swapcase()将原始文本中每个字母的大小写进行转换。然后将结果发送回 MinIO，由 MinIO 将其返回给调用者。

from flask import Flask, request, abort, make_response
import requests

app = Flask(__name__)
@app.route('/', methods=['POST'])
def get_webhook():
   if request.method == 'POST':
      # Get the request event from the 'POST' call
      event = request.json

      # Get the object context
      object_context = event["getObjectContext"]

      # Get the presigned URL
      # Used to fetch the original object from MinIO
      s3_url = object_context["inputS3Url"]

      # Extract the route and request tokens from the input context
      request_route = object_context["outputRoute"]
      request_token = object_context["outputToken"]

      # Get the original S3 object using the presigned URL
      r = requests.get(s3_url)
      original_object = r.content.decode('utf-8')

      # Transform the text in the object by swapping the case of each char
      transformed_object = original_object.swapcase()

      # Return the object back to Object Lambda, with required headers
      # This sends the transformed data to MinIO
      # and then to the user
      resp = make_response(transformed_object, 200)
      resp.headers['x-amz-request-route'] = request_route
      resp.headers['x-amz-request-token'] = request_token
      return resp

   else:
      abort(400)

if __name__ == '__main__':
   app.run()

启动处理器

使用以下命令在本地开发环境中启动处理程序：

python lambda_handler.py

输出类似于以下内容：

 * Serving Flask app 'lambda_handler'
 * Debug mode: off
WARNING: This is a development server. Do not use it in a production deployment. Use a production WSGI server instead.
 * Running on http://127.0.0.1:5000
Press CTRL+C to quit

启动 MinIO

一旦处理器开始运行，使用以下命令启动MinIO：MINIO_LAMBDA_WEBHOOK_ENABLE和MINIO_LAMBDA_WEBHOOK_ENDPOINT用于向 MinIO 注册函数的环境变量。要识别特定的对象 Lambda 处理程序，请将函数名称附加到环境变量名称之后。

以下命令可在本地开发环境中启动 MinIO：

MINIO_LAMBDA_WEBHOOK_ENABLE_myfunction=on MINIO_LAMBDA_WEBHOOK_ENDPOINT_myfunction=http://localhost:5000 minio server /data

替换myfunction使用您的处理函数名称，/data使用本地部署的 MinIO 目录位置。输出类似于以下内容：

MinIO Object Storage Server
Copyright: 2015-2023 MinIO, Inc.
License: GNU AGPLv3 <https://www.gnu.org/licenses/agpl-3.0.html>
Version: RELEASE.2023-03-24T21-41-23Z (go1.19.7 linux/arm64)

Status:         1 Online, 0 Offline.
API: http://192.168.64.21:9000  http://127.0.0.1:9000
RootUser: minioadmin
RootPass: minioadmin
Object Lambda ARNs: arn:minio:s3-object-lambda::myfunction:webhook

测试处理器

要测试 Lambda 处理函数，首先创建一个要转换的对象。然后调用处理函数，在这种情况下使用curl使用 Go 函数中的预签名 URL。

为处理程序创建一个存储桶和对象以进行转换。

mc alias set myminio/ http://localhost:9000 minioadmin minioadmin
mc mb myminio/myfunctionbucket
cat > testobject << EOF
Hello, World!
EOF
mc cp testobject myminio/myfunctionbucket/

调用处理器

以下 Go 代码使用了MinIO Go SDK生成一个预签名URL并将其打印到stdout.

package main

import (
   "context"
   "log"
   "net/url"
   "time"
   "fmt"

   "github.com/minio/minio-go/v7"
   "github.com/minio/minio-go/v7/pkg/credentials"
)

func main() {

   // Connect to the MinIO deployment
   s3Client, err := minio.New("localhost:9000", &minio.Options{
      Creds:  credentials.NewStaticV4("my_admin_user", "my_admin_password", ""),
      Secure: false,
   })
   if err != nil {
      log.Fatalln(err)
   }

   // Set the Lambda function target using its ARN
   reqParams := make(url.Values)
   reqParams.Set("lambdaArn", "arn:minio:s3-object-lambda::myfunction:webhook")

   // Generate a presigned url to access the original object
   presignedURL, err := s3Client.PresignedGetObject(context.Background(), "myfunctionbucket", "testobject", time.Duration(1000)*time.Second, reqParams)
   if err != nil {
      log.Fatalln(err)
   }

   // Print the URL to stdout
   fmt.Println(presignedURL)
}

在上面的代码中，替换以下值：

替换my_admin_user和my_admin_password使用 MinIO 部署的用户凭据。
替换myfunction使用相同的函数名设置MINIO_LAMBDA_WEBHOOK_ENABLE和MINIO_LAMBDA_WEBHOOK_ENDPOINT环境变量。

要检索转换后的对象，请使用 Go 代码执行curl生成一个 GET 请求：

curl -v $(go run presigned.go)

curl运行 Go 代码，然后通过 GET 请求从预签名 URL 中检索对象。输出类似于以下内容：

*   Trying 127.0.0.1:9000...
* Connected to localhost (127.0.0.1) port 9000 (#0)
> GET /myfunctionbucket/testobject?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=minioadmin%2F20230406%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20230406T184749Z&X-Amz-Expires=1000&X-Amz-SignedHeaders=host&lambdaArn=arn%3Aminio%3As3-object-lambda%3A%3Amyfunction%3Awebhook&X-Amz-Signature=68fe7e03929a7c0da38255121b2ae09c302840c06654d1b79d7907d942f69915 HTTP/1.1
> Host: localhost:9000
> User-Agent: curl/7.81.0
> Accept: */*
>
* Mark bundle as not supporting multiuse
< HTTP/1.1 200 OK
< Content-Security-Policy: block-all-mixed-content
< Strict-Transport-Security: max-age=31536000; includeSubDomains
< Vary: Origin
< Vary: Accept-Encoding
< X-Amz-Id-2: e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855
< X-Amz-Request-Id: 17536CF16130630E
< X-Content-Type-Options: nosniff
< X-Xss-Protection: 1; mode=block
< Date: Thu, 06 Apr 2023 18:47:49 GMT
< Content-Length: 14
< Content-Type: text/plain; charset=utf-8
<
hELLO, wORLD!
* Connection #0 to host localhost left intact