建立 MirrorMaker 2.0 活動訊號連接器

MirrorMaker 2.0 Heartbeat 連接器會定期產生 Heartbeat 訊息。並將這些訊息寫入目標叢集中名為 heartbeats 的專屬主題。

設定 MirrorMaker 2.0 Heartbeat 連接器後,您可以使用 MirrorMaker 2.0 來源連接器,將 heartbeats 主題複製到遠端叢集。觀察複製的心跳訊號,即可實作下列用途:

  • 監控叢集間資料複製作業的狀態和效能。

  • 即使沒有產生其他資料,也能驗證叢集之間的連線和資料流程。

  • 在 Cloud Monitoring 設定警告,以便在心跳訊號停止複製時收到通知。

  • 監控兩個叢集之間的延遲時間 (端對端複製延遲時間)。

Heartbeat 連接器本身不會自動監控叢集之間的複製作業。您必須複製 heartbeats 主題,並觀察活動訊號訊息是否抵達遠端叢集。

建立 MirrorMaker 2.0 活動訊號連接器

控制台

  1. 前往 Google Cloud 控制台的「Connect Clusters」(連結叢集) 頁面。

    前往「Connect Clusters」(連結叢集)

  2. 按一下要建立連接器的 Connect 叢集。

    「Connect cluster details」(連結叢集詳細資料) 頁面隨即顯示。

  3. 按一下「Create Connector」(建立連接器)。

  4. 在「Connector name」(連接器名稱) 欄位中,輸入連接器名稱。

  5. 在「Connector plugin」(連接器外掛程式) 清單中,選取「MirrorMaker 2.0 Heartbeat」。

  6. 在「主要 Kafka 叢集」部分,選擇下列其中一個選項:

    • 將主要 Kafka 叢集設為來源叢集。
    • 將主要 Kafka 叢集設為目標叢集。

    連接器會將活動訊號寫入目標叢集。

  7. 在「Target cluster」(目標叢集) 或「Source cluster」(來源叢集) 部分,選擇下列其中一個選項:

    • Managed Service for Apache Kafka 叢集。如果選取這個選項,請在「Kafka cluster」(Kafka 叢集) 清單中選取 Managed Service for Apache Kafka 叢集。
    • 「Self-managed or External Kafka Cluster」(自行管理或外部 Kafka 叢集):如果選取這個選項,請輸入 Kafka 叢集的啟動程序位址,格式為 HOSTNAME:PORT_NUMBER。
  8. 選用:在「Configurations」(設定) 方塊中,新增設定屬性或編輯預設屬性。詳情請參閱「設定連接器」。

  9. 選取「Task restart policy」(任務重新啟動政策)。詳情請參閱「工作重新啟動政策」。

  10. 點選「建立」。

gcloud

執行 gcloud managed-kafka connectors create 指令:

gcloud managed-kafka connectors create CONNECTOR_ID \
    --connect-cluster=CONNECT_CLUSTER_ID \
    --location=LOCATION \
    --config-file=CONFIG_FILE

更改下列內容:

  • CONNECTOR_ID:連接器的 ID 或名稱。
  • CONNECT_CLUSTER_ID:建立連接器 的 Connect 叢集 ID。
  • LOCATION:Connect 叢集的位置。
  • CONFIG_FILE:本機 YAML 或 JSON 設定檔的路徑。

以下是 MirrorMaker 2.0 Heartbeat 連接器的設定檔範例:

connector.class: "org.apache.kafka.connect.mirror.MirrorHeartbeatConnector"
source.cluster.alias: "source"
source.cluster.bootstrap.servers: "SOURCE_CLUSTER_BOOTSTRAP_ADDRESS"
target.cluster.alias: "target"
target.cluster.bootstrap.servers: "TARGET_CLUSTER_BOOTSTRAP_ADDRESS"
tasks.max: "3"

更改下列內容:

  • SOURCE_CLUSTER_BOOTSTRAP_ADDRESS:來源 Kafka 叢集的啟動位址。

  • TARGET_CLUSTER_BOOTSTRAP_ADDRESS:目標 Kafka 叢集的啟動位址。

設定連接器

您可以視需要設定下列參數:

  • heartbeats.topic.replication.factor:heartbeats 主題的複製係數。

  • emit.heartbeats.interval.seconds:連接器發出心跳訊號的頻率,以秒為單位。

詳情請參閱 Apache Kafka 說明文件中的「MirrorMaker HeartBeat Configs」(MirrorMaker HeartBeat 設定)。

後續步驟

Apache Kafka® 是 Apache Software Foundation 或其關係企業在美國和/或其他國家/地區的註冊商標。