3.0.x 發布映像檔版本

元件	3.0.0-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/07/15	3.0.0-RC2-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/05/03	3.0.0-RC1-debian12/ -ubuntu24/ -rocky9 2025/09/08
Apache Flink 選用元件	2.2.0	2.2.0
Apache Hadoop 已安裝	3.5.0	3.5.0	3.4.1
Apache Hive 已安裝	4.2.0	4.2.0	4.1.0
Apache Hive WebHCat 選用元件	4.2.0	4.2.0
Apache Iceberg 選用元件	1.11.0
Apache Kafka 初始化動作	3.9.2	3.9.2
Apache Pig 選用元件	0.18.0	0.18.0-SNAPSHOT
Apache Ranger 選用元件	2.8.0
Apache Spark 已安裝	4.1.2	4.1.1	4.0.0
Apache Solr 選用元件	9.10.1	9.10.1	9.7.0
Apache Tez 已安裝	0.10.5	0.10.5	0.10.5
Apache Zeppelin Notebook 選用元件	0.12.0	0.12.0
Apache Zookeeper 選用元件	3.9.5	3.9.5	3.9.3
BigQuery Connector 已安裝	0.44.1-Preview	0.44.1-Preview
Cloud Storage 連接器 已安裝	3.1.13	3.1.13	3.1.6
Conscrypt 已安裝	2.6	2.6	2.6
Delta Lake 選用元件	4.2.0
Docker 選用元件	28.1	28.1
Java 已安裝	21	21	17
JupyterLab Notebook 選用元件	4.5.7	4.5.7
Python 已安裝	Pixi 0.67.1，搭配 Python 3.12	Pixi 0.67.1 搭配 Python 3.11	micromamba 2.0.5 搭配 Python 3.11
R 已安裝	R 4.5	R 4.5	R 4.3
Scala 已安裝	2.13.17	2.13.17	2.13.14
Trino 選用元件	480	480

限制

• Lightning Engine：映像檔版本 3.0 不支援 Lightning Engine。

• 使用 Hive 4.2 的 Metastore：映像檔版本 3.0 不支援 BigQuery Metastore、BigLake Metastore 或使用 Hive 4.2 的 Dataproc Metastore (不支援使用這些 Metastore 的直接 Hive 查詢)。

• Delta Lake 搭配 Hive：Managed Service for Apache Spark 映像檔版本 3.0 內含的 Delta Lake 4.x 不支援 Hive (無法在 Hive 上執行 Delta Lake 4.2 資料表的查詢)。

• Iceberg with Hive：Managed Service for Apache Spark 映像檔版本 3.0 包含 Hive 4.2，可透過 Iceberg REST 目錄支援 Iceberg。

• GPU 叢集：除了 3.0-ml-ubuntu 以外，所有 3.0 映像檔版本都會啟用 cgroups V2。由於啟用 cgroups V2 時，YARN 不支援 GPU 探索功能，因此建立含 GPU 的叢集時，必須使用 3.0-ml-ubuntu 映像檔。

• Hudi：映像檔版本 3.0 不支援 Apache Hudi。

注意：

• 版本 3.0 是輕量型映像檔，只包含核心元件，可減少常見安全漏洞與弱點 (CVE) 的風險。如需更高的安全法規遵循要求，請在建立 Managed Service for Apache Spark 叢集時使用 2.3 以上版本的映像檔。

• 使用 3.0 映像檔建立 Managed Service for Apache Spark 叢集時，若選擇安裝選用元件，系統會在叢集建立期間下載並安裝這些元件，此舉可能會延長叢集啟動時間。為避免此延遲，可建立一個預先安裝選用元件的自訂映像檔，方法是執行 generate_custom_image.py 並加上 --optional-components 旗標。

• 3.0 映像檔支援下列選用元件：

  • Apache Flink
  • Apache Hive WebHCat
  • Apache Iceberg
  • Apache Pig
  • Apache Ranger
  • Apache Solr
  • Apache Zeppelin 筆記本
  • Apache Zookeeper
  • Delta Lake
  • Docker
  • JupyterLab Notebook
  • Trino

• 3.0 版映像檔預設會啟用 yarn.nodemanager.recovery.enabled 和 HDFS 稽核記錄功能。

• Pixi 會隨 Python 安裝程序一併安裝，並用於安裝 Python 套件，取代 Conda。

• YARN 的預設資源計算機已從 DefaultResourceCalculator 變更為 DominantResourceCalculator，後者採用「主導資源」概念來決定資源 (例如記憶體和 CPU) 的分配。這項變更會影響自動配置器，因其調度資源的方式，正是取決於叢集的主導資源使用情況。

• 從映像檔版本 3.0 開始，如果您建立叢集時未指定叢集節點的機型，Managed Service for Apache Spark 會根據彈性 VM 機型的排名清單指定節點，例如 N4、N2 和 E2 系列機型的排名清單，並根據資源可用性進行最佳化。