了解在线预测

Vertex AI 通过 Online Prediction API 在 Google Distributed Cloud (GDC) 气隙环境中提供在线预测。预测结果是经过训练的机器学习模型的输出。具体而言，在线预测是指向模型端点发出的同步请求。

借助在线预测，您可以在 一组受支持的容器上上传、部署、提供和发出请求 ，使用自己的预测模型。 如果您要发出请求以响应应用输入，或者在其他需要及时推断的情况下，可以使用在线预测。

您可以通过将 Kubernetes 自定义 资源应用于基础架构运维人员 (IO) 为您创建的专用 预测集群 ，来使用 Online Prediction API。

在获取在线预测结果之前，您必须 导出模型工件 并将模型部署到端点。 此操作会将计算资源与模型相关联，以便以低延迟方式执行在线预测。

然后，您可以 格式化 并发送 请求，从自定义训练的模型获取在线预测结果。

可用容器映像

下表列出了 Distributed Cloud 中在线预测的受支持容器：

机器学习框架	版本	支持的加速器	支持的图片
TensorFlow	2.18	CPU	tf2-cpu.2-18
		GPU	tf2-gpu.2-18
PyTorch	2.4	CPU	pytorch-cpu.2-4
		GPU	pytorch-gpu.2-4
	2.1（已弃用）	CPU	pytorch-cpu.2-1
		GPU	pytorch-gpu.2-1