使用视频的第一帧和最后一帧生成视频

控制台

1. 在 Google Cloud 控制台中，依次前往 Agent Platform > Media Studio 页面。

   Media Studio

2. 点击视频 。

3. 在任务 菜单中，选择图片转视频 。

4. 在模型 菜单中，从显示的选项中选择一个模型。

5. 在提示 框中，输入描述要生成的视频的文本提示。

6. 在输入图片 部分中，点击开始 上传第一帧的图片。

7. 可选：点击结束 上传最后一帧的图片。

8. 可选：调整以下参数：

   • 宽高比：选择 16:9 或 9:16。

   • 结果数量：调整滑块或输入介于 1 和 4 之间的值。

   • 视频时长：从菜单中选择视频时长。

   • 输出目录：点击浏览以创建或选择一个 Cloud Storage 存储桶来存储生成的文件。

9. 点击运行 。

Python

安装

pip install --upgrade google-genai

如需了解详情，请参阅 SDK 参考文档。

设置环境变量以将 Google Gen AI SDK 与 Vertex AI 搭配使用：

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

import time
from google import genai
from google.genai.types import GenerateVideosConfig, Image

client = genai.Client()

# TODO(developer): Update and un-comment below line
# output_gcs_uri = "gs://your-bucket/your-prefix"

operation = client.models.generate_videos(
    model="veo-3.1-generate-001",
    prompt="a hand reaches in and places a glass of milk next to the plate of cookies",
    image=Image(
        gcs_uri="gs://cloud-samples-data/generative-ai/image/cookies.png",
        mime_type="image/png",
    ),
    config=GenerateVideosConfig(
        aspect_ratio="16:9",
        last_frame=Image(
            gcs_uri="gs://cloud-samples-data/generative-ai/image/cookies-milk.png",
            mime_type="image/png",
        ),
        output_gcs_uri=output_gcs_uri,
    ),
)

while not operation.done:
    time.sleep(15)
    operation = client.operations.get(operation)
    print(operation)

if operation.response:
    print(operation.result.generated_videos[0].video.uri)

# Example response:
# gs://your-bucket/your-prefix

REST

如需详细了解 Veo API，请参阅以下内容：

• 方法： endpoints.predict
• VideoGenerationModelInstance
• VideoGenerationModelParams
• VideoGenerationModelResult

1. 使用以下命令发送视频生成请求。此请求会启动长时间运行的操作，并将输出存储到您指定的 Cloud Storage 存储桶。

   在使用任何请求数据之前， 请先进行以下替换：

   • PROJECT_ID：表示您的 Google Cloud 项目 ID 的字符串。
   • MODEL_ID：一个字符串，表示要使用的模型 ID。指定第一个或最后一个视频帧时，请使用以下选项之一：
     • Veo 2: veo-2.0-generate-001
     • Veo 3: veo-3.1-generate-001
     • Veo 3: veo-3.1-fast-generate-001
   • TEXT_PROMPT：用于指导视频生成的文本提示。
   • PATH_TO_FIRST_FRAME_IMAGE：一个字符串，表示第一帧所对应图片的 Cloud Storage 路径。例如："gs://video-bucket/input/first-frame.jpg"。
   • IMAGE_MIME_TYPE：一个字符串，表示输入图片的 MIME 类型。仅支持以下 MIME 类型的图片：
     • image/jpeg
     • image/png
   • PATH_TO_LAST_FRAME_IMAGE：一个字符串，表示最后一帧所对应图片的 Cloud Storage 路径。例如："gs://video-bucket/input/last-frame.jpg"。
   • OUTPUT_STORAGE_URI：（可选）一个字符串，表示用于存储输出视频的 Cloud Storage 存储桶。如果未提供，则回答中会返回视频字节。例如："gs://video-bucket/output/"。
   • RESPONSE_COUNT：要生成的视频文件数量。可接受的值范围为 1-4。
   • DURATION：一个整数，表示生成的视频文件的时长。以下是每种模型接受的值：
     • Veo 2 模型：5-8。默认值为 8。
     • Veo 3 模型：4、6 或 8。默认为 8。

   • 其他可选参数

     根据您的应用场景，使用以下可选变量。在 "parameters": {} 对象中添加以下部分或全部参数。

     "parameters": {
       "aspectRatio": "ASPECT_RATIO",
       "negativePrompt": "NEGATIVE_PROMPT",
       "personGeneration": "PERSON_SAFETY_SETTING",
       // "resolution": RESOLUTION, // Veo 3 models only
       "sampleCount": RESPONSE_COUNT,
       "seed": SEED_NUMBER
     }

     • ASPECT_RATIO：（可选）一个字符串值，用于描述所生成视频的宽高比。您可使用以下值：
       • "16:9" 表示横向
       • "9:16" 表示纵向

       默认值为 "16:9"

     • NEGATIVE_PROMPT：（可选）一个字符串值，用于描述您想要阻止模型生成的内容。
     • PERSON_SAFETY_SETTING：（可选）一个字符串值，用于控制生成人物或人脸的安全设置。您可使用以下值：
       • "allow_adult"：仅允许生成成人形象和人脸。
       • "disallow"：不生成人物或人脸。

       默认值为 "allow_adult"。

     • RESOLUTION：（可选）用于控制生成的视频分辨率的字符串值。仅受 Veo 3 模型支持。您可使用以下 值：
       • "720p"
       • "1080p"
       • "4k"（仅限 Veo 3.1 预览版模型）

       默认值为 "720p"。

     • RESPONSE_COUNT：可选。一个整数值，用于描述要生成的视频数量。可接受的值范围为 1-4。
     • SEED_NUMBER：可选。一个 uint32 值，模型使用该值生成确定性视频。通过在请求中指定种子编号而无需更改其他参数，可引导模型生成相同的视频。可接受的值范围为 0-4294967295。

   HTTP 方法和网址：

   POST https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:predictLongRunning

   请求 JSON 正文：

   {
     "instances": [
       {
         "prompt": "TEXT_PROMPT",
          "image": {
            "gcsUri": "PATH_TO_FIRST_FRAME_IMAGE,
            "mimeType": "IMAGE_MIME_TYPE"
          },
          "lastFrame:" {
            "gcsUri": "PATH_TO_LAST_FRAME_IMAGE,
            "mimeType": "IMAGE_MIME_TYPE"
          }
       }
     ],
     "parameters": {
       "storageUri": "OUTPUT_STORAGE_URI",
       "sampleCount": RESPONSE_COUNT
     }
   }
   

   如需发送请求，请选择以下方式之一：

   curl

   将请求正文保存在名为 request.json 的文件中，然后执行以下命令：

   curl -X POST \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "Content-Type: application/json; charset=utf-8" \
        -d @request.json \
        "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:predictLongRunning"

   PowerShell

   将请求正文保存在名为 request.json 的文件中，然后执行以下命令：

   $cred = gcloud auth print-access-token
   $headers = @{ "Authorization" = "Bearer $cred" }
   
   Invoke-WebRequest `
       -Method POST `
       -Headers $headers `
       -ContentType: "application/json; charset=utf-8" `
       -InFile request.json `
       -Uri "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:predictLongRunning" | Select-Object -Expand Content

   此请求会返回包含唯一操作 ID 的完整操作名称。使用此完整操作名称轮询视频生成请求的状态。
   {
     "name":
     "projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID/operations/a1b07c8e-7b5a-4aba-bb34-3e1ccb8afcc8"
   }
   

2. 可选：检查长时间运行的视频生成操作的状态。

   在使用任何请求数据之前， 请先进行以下替换：

   • PROJECT_ID：您的 Google Cloud 项目 ID。
   • MODEL_ID：要使用的模型 ID。
   • OPERATION_ID：在原始生成视频请求中返回的唯一操作 ID。

   HTTP 方法和网址：

   POST https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:fetchPredictOperation

   请求 JSON 正文：

   {
     "operationName": "projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID/operations/OPERATION_ID"
   }
   

   如需发送请求，请选择以下方式之一：

   curl

   将请求正文保存在名为 request.json 的文件中，然后执行以下命令：

   curl -X POST \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "Content-Type: application/json; charset=utf-8" \
        -d @request.json \
        "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:fetchPredictOperation"

   PowerShell

   将请求正文保存在名为 request.json 的文件中，然后执行以下命令：

   $cred = gcloud auth print-access-token
   $headers = @{ "Authorization" = "Bearer $cred" }
   
   Invoke-WebRequest `
       -Method POST `
       -Headers $headers `
       -ContentType: "application/json; charset=utf-8" `
       -InFile request.json `
       -Uri "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:fetchPredictOperation" | Select-Object -Expand Content

   此请求会返回有关操作的信息，包括操作是否仍在运行或已完成。

   响应

   {
     "name": "projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID/operations/OPERATION_ID",
     "done": true,
     "response": {
       "raiMediaFilteredCount": 0,
       "@type": "type.googleapis.com/cloud.ai.large_models.vision.GenerateVideoResponse",
       "videos": [
         {
           "gcsUri":"gs://BUCKET_NAME/TIMESTAMPED_FOLDER/sample_0.mp4",
           "mimeType": "video/mp4"
         }
       ]
     }
   }