Google 會運用 AI 技術將內容翻譯成你偏好的語言，但可能會出錯。

資料工程代理總覽

資料工程代理可讓您使用自然語言提示，在 BigQuery 中建構、修改及排解資料管道問題。資料工程代理提供下列功能，可簡化資料工程工作流程，將資料擷取至 BigQuery：

Dataform 整合：代理會直接在 Dataform 存放區和工作區中，生成及整理資料管道程式碼。
生成計畫：代理可總結思考過程並生成計畫，讓您在繼續操作前，先查看及驗證代理的計畫。
程式碼驗證：代理會自動驗證及修正生成程式碼的編譯錯誤，確保資料管道正常運作。
自動資料整理：代理會執行資料整理，並將原始資料轉換為結構化資料表，不需手動介入。
自訂指令：代理支援自訂代理指令，可讓您以自然語言定義特定規則和可重複使用的指南。
外部情境：代理與 Knowledge Catalog 整合，可提供額外情境。
管道控管：您可以在執行任何動作前，查看及自訂生成的代理計畫。
最佳化：代理可最佳化資料管道的效能。
疑難排解和修復：代理可排解管道故障問題，並修正程式碼。
互動式建議：代理會在對話開始時和整個過程中，提供互動式、情境感知的建議。
Knowledge Catalog 中繼資料擴充：代理可根據資料表設定自動產生 Knowledge Catalog 中繼資料，並在管道執行期間將中繼資料傳送至 Knowledge Catalog。

Data Engineering Agent 的服務範圍

您可以透過下列方式使用資料工程代理：

透過 BigQuery 管道介面或 Dataform 建構資料管道。
在 Visual Studio Code 中安裝 Google Cloud Data Agent Kit 擴充功能，即可透過整合式開發環境 (IDE) 建構資料管道。
使用 Data Engineering Agent API。

資料工程代理如何使用您的資料

為生成更高品質的代理回覆，資料工程代理可從 BigQuery 和 Knowledge Catalog 擷取額外資料和中繼資料，包括 BigQuery 資料表的範例資料列，以及 Knowledge Catalog 生成的資料掃描設定檔。代理不會使用這項資料進行訓練，只會在對話期間做為額外背景資訊，提供更準確的回覆。

資料工程代理處理資料的位置

如要進一步瞭解資料工程代理處理資料的位置，請參閱「Gemini in BigQuery 處理資料的位置」。

限制

資料工程代理有下列限制：

資料工程代理不支援下列檔案類型的自然語言指令：
- Notebooks
- 準備資料
資料工程代理無法執行管道。您必須查看並執行或排定管道。
資料工程代理無法搜尋透過指令或直接提示提供的任何網頁連結或網址。
在代理指令檔案中匯入檔案時，@ 匯入語法僅支援以 ./、/ 或字母開頭的路徑。
資料預覽功能僅支援 hasOutput 旗標設為 true 的資料表、宣告或查詢。
Data Engineering Agent 受到 AI 技術的一般限制。
如果透過 Lakehouse 執行階段目錄 (原 BigLake Metastore) 管理的 Apache Iceberg 外部資料表建立管道，則適用所有 Lakehouse 執行階段目錄限制。最重要的是，代理無法在 Iceberg 資料表上產生寫入異動 (例如 INSERT、UPDATE、DELETE 或 MERGE) 或 DDL 陳述式 (例如 CREATE TABLE 或 DROP TABLE)。詳情請參閱「Apache Iceberg REST 目錄端點概念」。

代理功能和自訂選項

以下各節將說明其他代理功能，以及自訂資料工程代理的其他方法。

代理指令

代理指令是以自然語言撰寫，可讓您儲存永久指令，讓資料工程代理遵循一組自訂的預先定義規則。如要讓代理在整個組織中產生一致的結果，例如使用命名慣例或強制執行樣式指南，請使用代理指令。

如要為資料工程代理建立代理指令，請建立 GEMINI.MD 脈絡檔案做為代理指令檔案。

代理指令檔案的最佳做法

使用代理指令時，建議您採取下列做法：

Dataform 中的所有檔案路徑都與存放區的根目錄相關。請為任何 @file.md 語法使用相對路徑，以便正確將指令匯入 GEMINI.md。
在 GEMINI.md 中匯入的檔案本身可能包含匯入項目，這可能會建立巢狀結構。為避免無限遞迴，GEMINI.md 的匯入深度上限為五層。
如要在資料管道之間共用指令，請將指令儲存在中央 Dataform 存放區，並連結至工作 Dataform 存放區。您可以使用本機指令，覆寫管道特定行為的中央規則。
為確保專案一致性，您可以連結至命名慣例檔案或樣式指南，並指示代理在處理資料管道時遵循這些規範。
您可以在指示檔案中建議資料層，將不同類型的資料分組。
在代理指令檔案中使用標題和清單，有助於整理及釐清資料工程代理的指令。
請提供有意義的檔案名稱，並將類似的指令歸類在同一個檔案中。使用 Markdown 標題，依類別、功能或用途，有條理地整理規則。
為避免指令衝突，請明確定義各指令的適用條件。
反覆測試及修正提示詞和工作流程。隨著代理推出和模型升級，代理行為會隨時間變化，因此建議您使用不同的提示詞反覆測試規則，找出可能需要改善的部分。資料管道如有任何異動，請同步更新規則檔案。

以下範例顯示名為 GEMINI.md 的代理程式指令檔案，其中採用了有效使用 Data Engineering Agent 的最佳做法：

  ### Naming Conventions

  * Datasets: [business_domain]_[use_case] (e.g., ecommerce_sales)

  * Tables:
      - Raw/External: raw_[source_name]
      - Staging: stg_[business_entity]
      - Dimension: dim_[dimension_name]
      - Fact: fct_[fact_name]

  * Dataform folders:
      - sources
      - staging
      - marts
      - dataProducts

  * Views: vw_[view_name]

  * Columns: snake_case (e.g., order_id, customer_name)

  ## Cloud Storage data load
  * When ingesting data from Cloud Storage, create external tables.

  ## Null handling
  * Filter out null id values

  ## String normalization
  * Standardize string columns by converting to lower case

  ## Data cleaning guidelines
  @./generic_cleaning.md

匯入其他本機檔案做為代理指令

您也可以使用 @file.md 語法，將資料工程代理的其他指令檔案匯入 GEMINI.md 檔案。詳情請參閱「記憶體匯入處理器」。

自動資料整理

您可以使用資料工程代理，將未經處理的原始資料轉換為適合資料分析的結構化資料表。收到要求時，代理程式會先從每個標準或外部資料表，取樣最多 100 萬筆記錄。接著，代理會對這個樣本執行剖析查詢，深入分析資料。生成資料轉換後，代理會重複這個取樣和剖析程序，評估轉換品質。這些資料整理轉換作業可能包括修正資料不一致、離群值或類型不符的問題。接著，資料工程代理會建立計畫，概述建議的 wrangling 步驟，供您在執行任何動作前查看及調整。

每當您新增原始資料表 (例如以 CSV 為基礎的外部資料表)，資料工程代理也會啟動資料整理分析。您可以查看資料整理計畫，並使用對話式指令調整。

資料取樣和剖析會使用 BigQuery 資源，並依 BigQuery 定價計費。

資料工程代理支援下列資料整理轉換作業：

資料清理。代理可以分析原始資料，並建議清理機會，例如移除離群值、填補遺漏或不一致的值 (資料插補)、修正重複資料，或標準化資料格式 (例如電話號碼或地址)。
結構轉換。提供目標結構定義時，代理程式可以從 JSON、ARRAY 或 STRUCT 類型取消巢狀結構或擷取值、將多個資料欄合併為一個，或將一個資料欄分割為多個資料欄。
資料類型偵測和轉換。代理可以分析資料，判斷適當的欄位類型。接著，代理可以執行安全的類型轉換，解決日期、時間、日期時間或時間戳記欄位中的格式不一致問題。
單位換算。代理可自動將欄位中的各種單位轉換為一致的單位，藉此標準化資料。

為確保準確性，代理會使用代表性樣本的資料偵測問題，並驗證轉換邏輯。

生成及查看代理計畫

資料工程代理可生成代理計畫，提供摘要和總覽，說明完成要求所需的目標和步驟。如果提示代理執行複雜要求，需要進行多項變更，建議您要求代理提供代理計畫，以便在代理採取任何行動前，先審查代理的意圖。資料工程代理計畫通常包含下列項目：

代理處理特定要求時的目標
代理預計採取的步驟概覽
代理做出的任何假設
代理計畫修改的檔案
計畫執行的任何最佳化或清理步驟
分階段執行計畫

您可以在提示中加入審查及核准計畫的需求，這樣一來，代理就不會在未經您明確核准的情況下採取任何行動。例如：

Create a plan for a pipeline that finds the
top N pick up and drop off locations in NYC. I want to review the plan and
approve it before you create the pipeline.

代理也可能自動生成代理計畫，並要求您核准。如果提示過於模糊，或代理需要更明確的資訊才能完成要求，就可能發生這種情況。

如要瞭解使用代理方案的最佳做法，請參閱「最佳做法」。

新增 Knowledge Catalog 中的內容

資料工程代理會使用 Knowledge Catalog，將詞彙表字詞附加至 BigQuery 資料表和資料欄，並產生資料剖析掃描。詞彙表字詞可標記需要額外背景資訊的資料欄，例如含有個人識別資訊 (PII) 且需要特殊處理操作說明的資料欄，或用於識別不同資料表中命名不同的相符資料欄。

Knowledge Catalog 也會使用資料剖析，讓代理更瞭解資料表資料欄中的資料分布情形，並協助代理建立更具體的資料品質斷言。

代理也能使用 Knowledge Catalog 探索及查詢 Apache Iceberg 資料表。詳情請參閱「建立 Apache Iceberg 資料表管道」。

在現有資料表新增資料品質檢查

提示代理新增品質檢查時，代理會根據結構定義和樣本，推論出合理的資料表檢查。您也可以在提示中加入主觀斷言。例如：

  Add data quality checks for bigquery-public-data.thelook_ecommerce.users.

在管道執行期間，任何 Dataform 斷言的結果都會自動發布至 Knowledge Catalog。這些結果會填入 Knowledge Catalog 資料品質評量表，並顯示通過或失敗狀態。每次執行都會覆寫先前 Dataform 執行作業發布的現有資料品質評量表，但不會影響 Knowledge Catalog 資料掃描建立的評量表。

生成結構定義對應

您可以提示資料工程代理，在來源和目標結構定義之間生成結構定義對應：

  Create a Dataform pipeline to map the tables from schema
  SOURCE_SCHEMA to schema TARGET_SCHEMA. Give me the plan.

更改下列內容：

SOURCE_SCHEMA：來源資料表的結構定義名稱。
TARGET_SCHEMA：目標資料表的結構定義名稱。

接著，代理會執行下列操作來生成計畫：

選取錨定資料表：決定每個目標資料表的主要來源資料表。
Join 圖最佳化：對應與屬性圖邊緣定義直接對齊的 Join 路徑，避免笛卡兒爆炸和類型不符。
欄位層級差距分析：將每個對應關係分類為 Direct、Derived、Joined 或 Aggregated 對應類型，然後驗證 NOT NULL 和 REQUIRED 限制條件完整性。

查看計畫並確認對應邏輯後，即可提示代理依據該結構定義對應建立管道。

使用 BigQuery Graph 對應結構定義

如果專案中有 BigQuery 圖譜，代理會自動偵測並讀取圖譜，提供額外背景資訊，並提高結構定義對應準確度。代理可以讀取 BigQuery Graph，瞭解來源和目標資料表之間的語意關係，進而產生更準確的對應關係，並在遷移或轉換複雜資料集時，減少使用者手動介入。提示代理生成結構定義對應時，代理會自動掃描資料集，並在有相關圖譜時使用 BigQuery 圖譜。

如要進一步瞭解 BigQuery Graph 功能、版本和定價，請參閱「BigQuery Graph 總覽」。如要進一步瞭解存取控管及建立 BigQuery Graph，請參閱「建立及查詢 BigQuery Graph」。

Google 雲端硬碟整合

資料工程代理可讀取及載入 Google 雲端硬碟中的檔案，並納入資料管道。提示代理時，請提供雲端硬碟檔案的連結，並在系統要求時，授予代理對雲端硬碟的 OAuth 存取權。代理能讀取提供的檔案，並建立外部資料表，從即時雲端硬碟檔案讀取資料，然後透過 Dataform 管道查詢載入檔案。如要為外部資料表啟用雲端硬碟存取權，請參閱「驗證並啟用雲端硬碟存取權」。

代理支援下列雲端硬碟檔案類型：

CSV
Google 試算表
JSONL (以換行符號分隔的 JSON)

自動資料充實

BigQuery 的標準中繼資料 (例如資料集、資料表和檢視表) 會自動顯示在 Knowledge Catalog 中。

您也可以直接在 .sqlx 檔案的設定區塊中，為資料表和檢視表定義自訂中繼資料。成功完成動作後，Dataform 會自動啟動中繼資料同步作業，將中繼資料同步至 Knowledge Catalog。這項擴充程序會使用 SQLX 設定中定義的語意中繼資料，更新 Knowledge Catalog。

使用中繼資料金鑰指定 Knowledge Catalog 的資訊。擴充程序支援下列中繼資料建構：

總覽：項目的說明文件和摘要文字。必須使用 Dataform 核心 3.0.37 以上版本。
一般切面：語意詳細資料，例如資料表系統和類型資訊。必須使用 Dataform Core 3.0.52 以上版本。

下列設定範例說明如何將總覽和一般中繼資料切面，新增至 Knowledge Catalog 的資料表設定：

config {
  type: "table",
  metadata: {
    overview: "This table provides standardized trip data.",
    extraProperties: {
        generic: {
              system: "BigQuery",
              type: "table"
        }
      }
  }
}

如要查看中繼資料更新狀態，請參閱 Dataform 工作流程的「檢查工作區執行記錄」，或 BigQuery 管道的「查看過去的手動執行作業」。

如要驗證同步的中繼資料，可以在 Knowledge Catalog 搜尋資產。詳情請參閱「搜尋資源」。

最佳化資料管道

您可以提示代理最佳化資料管道。為新資料表產生 DDL 時，資料工程代理會根據分析的資料使用模式，建議分區和叢集。此外，代理程式可以自動套用其他管道最佳化。以下列舉幾種可能的最佳化方式：

資料欄剪除功能可減少從儲存空間讀取的資料量，是降低成本和提升效能的主要因素。
在執行計畫中提早篩選資料，大幅減少後續作業處理的資料量。
消除常見的子運算式，只識別及計算共用轉換邏輯一次，避免多次掃描及彙整大型資料表等低效率做法，進而提升效率。
增量模型：只處理上次執行後新增或變更的資料，而非每次執行時都重新建構整個資料表。

建立 Apache Iceberg 資料表管道

資料工程代理支援生成及編譯 Dataform 管道，用於處理 Lakehouse 執行階段目錄 (原 BigLake metastore) 管理的 Apache Iceberg 資料表。這項功能可讓您直接查詢區域性開放原始碼格式資料表 (儲存在 Cloud Storage)，並與 BigQuery 資料表彙整。詳情請參閱「Apache Iceberg REST 目錄端點概念」。

舉例來說，您可以提示代理查詢 Lakehouse 執行階段目錄中的 Apache Iceberg 資料表：

Include the stackoverflow_post_history_iceberg table in this pipeline.

在提示中，您不需要指定完整的四部分路徑，例如 project.catalog.dataset.table。您可以使用標準自然語言名稱或邏輯 ID (例如 the StackOverflow post history table 或 post_history) 參照 Apache Iceberg 資料表。代理會自動使用 Knowledge Catalog 叫用語意目錄搜尋，解析正確的 Apache Iceberg 資料表，並繫結至管道工作區。

如要使用這項功能，Dataform 存放區必須採用 Dataform Core 3.0.33 以上版本。

互動式建議

資料工程代理會分析工作區編譯狀態、執行記錄和進行中的對話狀態，直接在對話介面提供可做為行動依據的建議。開啟工作區後，系統會自動顯示這些建議，並在整個工作階段中提供設定、疑難排解和最佳化建議，引導您完成工作流程。

如要使用建議，請按一下「AI 建議」下方的其中一項建議，系統就會將提示載入對話輸入列，您可以編輯或自訂提示，再傳送給代理。你也可以將滑鼠游標懸停在建議上，查看確切的提示詞。

最佳做法

如要提升 Data Engineering Agent 和 Dataform 的作業成效，建議您採取下列做法：

使用代理操作說明處理常見要求。如果您經常套用特定技術，或經常對代理進行相同的修正，請使用代理指示做為集中位置，儲存常見的指示和要求。

使用代理計畫。代理計畫有助於拆解複雜的管道工作。代理計畫也會顯示代理的假設和意圖，因此建議您查看這些計畫，確保代理取得正確的背景資訊。

查看計畫後，您可以向 Data Engineering Agent 提供意見回饋和變更，藉此編輯計畫。例如：

In the plan, ensure that all of the intermediate tables are views.

在某些情況下，您可以要求代理生成不需要您明確核准的計畫。讓代理擬定計畫，可促使資料工程代理細分動作，通常能帶來更好的結果。您可以強制代理生成計畫並自動執行。例如：

Create a plan for a pipeline that finds the
top N pick up and drop off locations in NYC. You have my explicit pre-approval
to go ahead and execute this plan.

清楚表達。清楚說明要求，避免含糊不清。提示時，請盡可能提供來源和目的地資料來源，如下例所示：

  Extract data from the sales.customers table in the us_west_1 region, and load
  it into the reporting.dim_customers table in BigQuery. Match the schema of the
  destination table.

提供直接且具體的要求：一次只問一個問題，提示詞應簡明扼要。如果提示包含多個問題，請將問題的每個不同部分逐項列出，提高清晰度，如以下範例所示：

  1. Create a new table named staging.events_cleaned. Use raw.events as the
     source. This new table should filter out any records where the user_agent
     matches the pattern '%bot%'. All original columns should be included.

  2. Next, create a table named analytics.user_sessions. Use
     staging.events_cleaned as the source. This table should calculate the
     duration for each session by grouping by session_id and finding the
     difference between the MAX(event_timestamp) and MIN(event_timestamp).

提供明確指示並強調關鍵字詞：您可以在提示中強調重要字詞或概念，並將特定要求標示為重要，如以下範例所示：

  When creating the staging.customers table, it is *VERY IMPORTANT* that you
  transform the email column from the source table bronze.raw_customers.
  Coalesce any NULL values in the email column to an empty string ''.

指定運算順序。如果工作有順序，請將提示結構化為清單，並將清單項目分成小而明確的步驟，如下例所示：

  Create a pipeline with the following steps:
  1. Extract data from the ecomm.orders table.
  2. Join the extracted data with the marts.customers table on customer_id.
  3. Load the final result into the reporting.customer_orders table.

修正及反覆測試。請持續嘗試不同的詞組和方法，看看哪種效果最好。如果代理生成無效的 SQL 或發生其他錯誤，請提供範例或公開文件來引導代理。

  The previous query was incorrect because it removed the timestamp. Please
  correct the SQL. Use the TIMESTAMP_TRUNC function to truncate the
  event_timestamp to the nearest hour, instead of casting it as a DATE. For
  example: TIMESTAMP_TRUNC(event_timestamp, HOUR).

評估資料管道

如要評估資料工程代理生成的資料管道成效，請使用 EvalBench 工具。EvalBench 是開放原始碼框架，支援多輪代理評估。EvalBench 是自動化單元測試套件，可讓您設定多輪對話情境、新增 LLM 支援和確定性評分器，以及管理 Dataform 管道的生命週期。

EvalBench 會在獨立沙箱中模擬自然語言提示，評估代理理解指令、呼叫正確工具，以及生成正確管道程式碼的效果。EvalBench 可執行下列操作，檢查資料管道：

驗證自訂規則：確認代理嚴格遵守貴組織的特定程式設計指南、命名慣例和最佳做法。
防止程式碼迴歸：在部署前測試管道變更，確保代理更新或結構定義修改不會破壞現有功能。
產生品質基準：取得客觀、自動化的分數，評估 SQL 正確性、工具執行準確度和管道可靠性。

執行資料管道評估

EvalBench 有兩種執行模式：

動態沙箱：EvalBench 會在評估執行作業開始時，佈建全新的臨時 Dataform 存放區和工作區，執行測試情境，並在完成後自動拆除所有建立的資源。這個模式不會修改任何正式版程式碼、正式版存放區或 BigQuery 資料集，也不會在 Google Cloud 專案中留下任何構件。動態沙箱模式適用於自動化 CI/CD 管道、夜間迴歸測試，以及需要嚴格隔離環境的客觀基準評分。
靜態工作區：EvalBench 會連線至使用者管理的現有 Dataform 存放區和工作區，並略過自動建立和刪除指令碼。在這個模式下，受評代理在處理評估案例時，可以修改及建立現有工作區中的新 SQLX 檔案。靜態工作區模式適合用於主動提示工程、評分標準疊代和本機偵錯，您需要在執行後直接在 Dataform 工作區中檢查產生的 SQLX 檔案。

事前準備

如要取得執行 EvalBench 所需的權限，請要求管理員在執行 EvalBench 的服務帳戶或使用者身分，授予您下列 IAM 角色：

Dataform 管理員 (roles/dataform.admin)
BigQuery 資料編輯者 (roles/bigquery.dataEditor)
BigQuery 工作使用者 (roles/bigquery.jobUser)
將評估結果匯出為 ZIP 套件：Storage 物件管理員 (roles/bigquery.objectAdmin)

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

您或許也能透過自訂角色或其他預先定義的角色，取得必要權限。

在動態沙箱中執行評估

如要在動態沙箱模式中評估資料管道，請按照下列步驟操作：

請按照步驟複製存放區、設定虛擬環境，並安裝 EvalBench 依附元件。詳情請參閱「入門指南」。

在 datasets/dea-tools/ 目錄中，確認範例執行設定 (example_run_config.yaml) 檔案包含下列程式碼：

set_up_script: datasets/dea-tools/scripts/setup_dataform.sh
tear_down_script: datasets/dea-tools/scripts/teardown_dataform.sh

執行下列指令，執行 EvalBench：

EVAL_GCP_PROJECT_ID=PROJECT_ID \
EVAL_GCP_PROJECT_REGION=REGION \
.venv/bin/python3 evalbench/evalbench.py --experiment_config=datasets/dea-tools/example_run_config.yaml

更改下列內容：

PROJECT_ID： Google Cloud專案的 ID。
REGION： Google Cloud專案的區域。

在靜態評估工作區中執行評估

如要在靜態工作區模式下評估資料管道，請按照下列步驟操作：

請按照步驟複製存放區、設定虛擬環境，並安裝所有依附元件。詳情請參閱「入門指南」。

在 datasets/dea-tools/ 目錄中，編輯範例執行設定 (example_run_config.yaml) 檔案，將 set_up_script 和 tear_down_script 行註解排除，並新增 dataform_repository 和 dataform_workspace 設定：

...
# set_up_script: datasets/dea-tools/scripts/setup_dataform.sh
# tear_down_script: datasets/dea-tools/scripts/teardown_dataform.sh
dataform_repository: !ENV ${EVAL_DEA_REPOSITORY_ID}
dataform_workspace: !ENV ${EVAL_DEA_WORKSPACE_ID}
...

執行下列指令，執行 EvalBench：

EVAL_GCP_PROJECT_ID=PROJECT_ID \
EVAL_GCP_PROJECT_REGION=REGION \
  EVAL_DEA_REPOSITORY_ID=REPOSITORY_ID \
  EVAL_DEA_WORKSPACE_ID=WORKSPACE_ID \
  .venv/bin/python3 evalbench/evalbench.py --experiment_config=datasets/dea-tools/example_run_config.yaml

更改下列內容：

PROJECT_ID： Google Cloud專案的 ID。
REGION： Google Cloud專案的區域。
REPOSITORY_ID：資料管道所在存放區的 ID。
WORKSPACE_ID：資料管道所在工作區的 ID。

選用：您也可以使用 core_10_cases_suite.yaml 執行 EvalBench，針對 10 個核心評估案例依序測試資料管道，並為每個測試案例建立新的存放區，隔離環境。如要執行這項操作，請執行下列指令：
```
EVAL_GCP_PROJECT_ID=PROJECT_ID \
EVAL_GCP_PROJECT_REGION=REGION \
.venv/bin/python3 evalbench/evalbench.py --suite_config=datasets/dea-tools/core_10_cases_suite.yaml
```

資料管道評估最佳做法

如要提升使用 EvalBench 評估資料管道的效能和準確度，建議您採取下列做法：

在評估記錄中，找出 Dataform 工作流程叫用和 BigQuery 工作 ID。您可以使用這些 ID，在 Google Cloud 控制台中交叉比對及檢查產生的執行構件、編譯結果和查詢記錄。
發布模型或提示變更前，請務必執行核心評估套件 (--suite_config)，確保各種資料工程情境都能完整涵蓋迴歸測試。
使用 EVAL_DATAFORM_SETUP_ENV_FILES_DIR 將環境設定檔案 (例如 workflow_settings.yaml 和基本結構定義定義) 預先載入測試工作區。這些設定檔可確保代理是以實際現有環境為基礎建構，而非空白工作區。
在動態沙箱模式中排解評估失敗案例時，請在執行設定中註解排除 tear_down_script，保留目標工作區，以便進行事後分析。
請務必將雲端編譯和執行驗證工具 (dataform_cloud_compile、dataform_cloud_run) 與 LLM 型二進位評分標準搭配使用，以便找出語法或執行階段錯誤，以及高階邏輯缺陷。
啟用 BigQuery 報表 (<PROJECT_ID>.evalbench.results)，並使用產生的數據分析連結，追蹤通過率、工具使用準確度和提示效率。

資料工程代理總覽 透過集合功能整理內容 你可以依據偏好儲存及分類內容。

Data Engineering Agent 的服務範圍

資料工程代理如何使用您的資料

資料工程代理處理資料的位置

限制

代理功能和自訂選項

代理指令

代理指令檔案的最佳做法

匯入其他本機檔案做為代理指令

自動資料整理

生成及查看代理計畫

新增 Knowledge Catalog 中的內容

在現有資料表新增資料品質檢查

生成結構定義對應

使用 BigQuery Graph 對應結構定義

Google 雲端硬碟整合

自動資料充實

最佳化資料管道

建立 Apache Iceberg 資料表管道

互動式建議

最佳做法

評估資料管道

執行資料管道評估

事前準備

在動態沙箱中執行評估

在靜態評估工作區中執行評估

資料管道評估最佳做法

資料工程代理總覽