從 ServiceNow 執行個體串流資料

將 ServiceNow 執行個體連結至 Datastream,即可複製歷來資料和增量變更,用於數據分析和資料整合。ServiceNow 是雲端式平台,可協助組織管理及自動化企業營運。

在 Datastream 設定 ServiceNow 來源前,請先詳閱重要詞彙、複製行為、支援的版本、複製的物件和已知限制。

重要詞彙

ServiceNow 使用表格、記錄和欄位運作:

  • ServiceNow 執行個體是專屬、獨立的 ServiceNow 雲端環境,例如 company.service-now.com。
  • 資料表是 ServiceNow 中的主要資料結構,相當於資料庫資料表。
  • 「記錄」是資料表中的個別項目,相當於資料庫中的資料列。
  • 「欄位」是記錄中的個別資料元素,相當於資料庫資料欄。
  • 連接器會使用 Table API 做為主要的 RESTful 介面,直接從 ServiceNow 資料表存取資料。
  • 以偏移量為基礎的分頁是一種瀏覽 ServiceNow 資料表記錄的方法,做法是將偏移量編號傳遞至 Table API。這個方法在分頁期間容易受到記錄刪除的影響,可能導致連接器略過資料。
  • 鍵集分頁是一種方法,連接器會追蹤不重複的記錄值 (例如 ID 或時間戳記) 及其順序,藉此管理分頁。即使在分頁期間刪除記錄,這個方法仍有效。

行為

Datastream 的 ServiceNow 來源支援功能仰賴 ServiceNow REST Table API。Datastream 支援兩種主要複製方法,可確保資料完整性和效能。

歷來資料補充作業

  • 從 ServiceNow 執行個體複製異動資料時,Datastream 會對資料表中的所有現有記錄執行完整的歷來同步作業。
  • 為確保資料一致性,並防止在大量擷取期間遺失記錄,連接器會使用鍵集分頁。連接器會追蹤不重複的記錄值和順序,藉此管理這項程序,確保擷取作業不會因記錄刪除而中斷,並防止連接器略過或重複記錄。
  • Datastream 會依 sys_updated_on 和 sys_id 記錄屬性排序資料,為初始載入作業提供穩定的順序。sys_journal_field 資料表包含不可變更的記錄,且缺少 sys_updated_on 欄位,因此連接器會依 sys_created_on 和 sys_id 屬性排序。

增量同步處理

  • 從 ServiceNow 執行個體複製變更資料時,Datastream 會擷取初始補充作業後發生的變更,例如插入和更新。
  • 伺服器端遞增同步處理:連接器會使用 sys_updated_on 和 sys_id 屬性 (或 sys_journal_field 資料表的 sys_created_on 和 sys_id) 的篩選器,查詢 ServiceNow API,找出上次成功同步處理後修改的記錄。
  • 同步處理程序會使用由 sys_updated_on (或 sys_journal_field 資料表的 sys_created_on) 和 sys_id 標記組成的複合游標。sys_updated_on 和 sys_created_on 標記可確保只有時間戳記等於或晚於指定時間的記錄,才會在下一個週期同步處理,而 sys_id 標記則可確保時間戳記相同的記錄保持一致。

版本

ServiceNow 連接器可與 ServiceNow REST Table API (V2) 搭配使用。Datastream 支援的功能已根據 Zurich 版本進行驗證。

已複製的物件

ServiceNow 連接器會使用動態探索機制,識別執行個體中的整組資料表 (物件)。為確保只複製高價值的業務資料,連接器會套用多層篩選程序,排除內部架構、技術記錄和系統中繼資料表。

篩選邏輯

  • Web 服務存取權:您只能複製明確設定為啟用 Web 服務存取權 (ws_access=true) 的資料表。如果缺少這項設定,連接器就無法從資料表擷取記錄資料。
  • 排除的父類別:連接器會排除繼承自 sys_metadata 系統設定資料表的資料表,或屬於輪替資料表階層一部分的資料表,以避免複製技術中繼資料或不一致的快照。
  • 內部系統前置字元:連接器會篩除開頭為特定技術前置字元的資料表,這些前置字元代表平台管道或舊版功能。
  • 黃金清單 (系統例外狀況):雖然連接器會排除大部分 sys_ 資料表,但會明確將重要的商業實體列入許可清單,例如 sys_user、sys_choice 和 sys_journal_field。

預設篩選系統前置字元

類別 前置字串 說明
核心內部 v_、ts_、imp_、ecc_、wf_、sh$、bin_、var_、gs_ 虛擬資料表、搜尋索引、匯入暫存、ECC 佇列和工作流程情境。
數據分析與 AI pa_、ua_、ml_、ais_、promin_、di_ Performance Analytics 分數、供應商遙測資料、機器學習向量和 AI 搜尋個人檔案。
技術模組 sa_、sla_、atf_、cxs_、automation_、ids_ 服務對應模式、SLA 引擎記錄和安全性稽核追蹤記錄。
舊版和管理員 pf_、clone_、upgrade_、rollback_、expert_、dscy_ 執行個體修補記錄、升級記錄和過時的舊版模組。

允許的系統資料表

  • 使用者與安全性:sys_user、sys_user_group、sys_user_grmember、sys_user_role、sys_user_has_role。
  • 核心參考資料:sys_choice (下拉式選單選項)、sys_company、sys_domain、sys_location。
  • 稽核追蹤記錄:sys_journal_field (工作附註和留言記錄)。

已知限制

使用 ServiceNow 做為來源時,已知限制包括:

  • Datastream 不支援擷取已刪除的記錄。
  • Datastream 預設會排除許多內部平台資料表,例如開頭為 ts_、v_ 或 imp_ 的資料表。
  • 您只能複製明確設定為啟用 Web Services Access (ws_access=true) 的資料表。這是大多數資料表的預設設定。
  • 連接器會按照基礎 ServiceNow 資料庫執行個體中顯示的方式,複製欄位值。這些值稱為「實際值」。也就是說,Datastream 複製到目的地的實際值,可能與 ServiceNow 使用者介面中顯示的值 (稱為「顯示值」) 不同。詳情請參閱 ServiceNow 知識庫。

後續步驟