基于云端數(shù)據(jù)集成方案平臺
云數(shù)據(jù)集成是一組涉及云技術(shù)的工具和實(shí)踐，用于連接多個系統(tǒng)并支持它們之間的持續(xù)數(shù)據(jù)交換，以用于運(yùn)營和分析目的。
在一個一切都會生成信息，業(yè)務(wù)由數(shù)據(jù)驅(qū)動的數(shù)字化世界中，處理無數(shù)的知識來源并從中提取有價值的見解類似于酒保的艱苦工作。畢竟，典型的企業(yè)數(shù)據(jù)資產(chǎn)絕不是同質(zhì)的，可以比作“數(shù)據(jù)的雞尾酒”，讓我們做一個奇特的比喻。它們的成分來自不同的瓶子（即數(shù)據(jù)源），需要適當(dāng)?shù)膿u動和攪拌技術(shù)來準(zhǔn)備和混合（即數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)集成），并將在合適的玻璃杯中供應(yīng)（即數(shù)據(jù)倉庫或任何其他中央存儲庫）。
在本文中，我們將重點(diǎn)介紹震動部分，并了解如何將這些“數(shù)據(jù)精神”融合成商業(yè)智能分析師的好飲料。我們還將解釋為什么云技術(shù)（特別是云數(shù)據(jù)集成平臺）可能是大多數(shù)業(yè)務(wù)場景的最佳雞尾酒調(diào)酒器，并且是投資商業(yè)智能服務(wù)時優(yōu)先考慮的一個潛在方面。
什么是云數(shù)據(jù)集成？
云數(shù)據(jù)集成是一組涉及云技術(shù)的工具和實(shí)踐，用于連接多個系統(tǒng)并支持它們之間的持續(xù)數(shù)據(jù)交換，以用于運(yùn)營和分析目的。它可用于多種場景，包括：
應(yīng)用程序到應(yīng)用程序集成，用于在軟件即服務(wù)和本地應(yīng)用程序之間共享和同步數(shù)據(jù)（使其在不同數(shù)據(jù)類型之間保持一致）。
平臺集成，用于通信分布在多個環(huán)境（包括本地、混合云和多云）中的多個平臺。
B2B 集成，以設(shè)置適當(dāng)?shù)耐ㄐ艆f(xié)議并與業(yè)務(wù)合作伙伴交換數(shù)據(jù)，即使使用不同的 API（應(yīng)用程序編程接口）。
微服務(wù)集成，用于配置 API，這些 API 充當(dāng)獨(dú)立運(yùn)行并處理特定進(jìn)程的多個小型服務(wù)之間的橋梁。
IoT 集成，用于將數(shù)據(jù)流從傳感器和其他設(shè)備網(wǎng)絡(luò)引導(dǎo)到云平臺。
多云集成，用于連接由不同 SaaS 供應(yīng)商提供的多個公有云環(huán)境。
大數(shù)據(jù)集成，用于啟用提取-轉(zhuǎn)換-加載 （ETL） 管道，該管道將數(shù)據(jù)從選定來源傳輸?shù)綌?shù)據(jù)倉庫，同時為商業(yè)智能和數(shù)據(jù)分析查詢做好準(zhǔn)備。
云數(shù)據(jù)集成優(yōu)勢
數(shù)據(jù)集成本身并不是什么新鮮事，但出于各種原因，其基于云的變體代表了向前邁出的一步。
與云環(huán)境協(xié)同
相當(dāng)復(fù)雜的技術(shù)生態(tài)系統(tǒng)的激增，這些生態(tài)系統(tǒng)結(jié)合了分布在基于云的和本地環(huán)境（混合云）、私有云和公共云，甚至不同的云服務(wù)（多云）中的軟件應(yīng)用程序和數(shù)據(jù)存儲，這促使一些企業(yè)轉(zhuǎn)向更加以云為中心的數(shù)據(jù)集成方法。在這方面，Gartner 指出，81% 的公有云用戶依賴于不止一個云提供商。
卓越的可擴(kuò)展性
這種向云作為關(guān)鍵數(shù)據(jù)集成推動因素的轉(zhuǎn)變以及其他主要數(shù)據(jù)相關(guān)趨勢（如數(shù)據(jù)倉庫現(xiàn)代化）的另一個催化劑是其巨大的可擴(kuò)展性。
考慮到典型業(yè)務(wù)流程中涉及的企業(yè)系統(tǒng)數(shù)量龐大，以及企業(yè)為收集相關(guān)信息而應(yīng)與之交互的無數(shù)外部數(shù)據(jù)源（例如社交媒體、物聯(lián)網(wǎng)傳感器或金融平臺），管理它們之間不斷增加的數(shù)據(jù)量可能具有挑戰(zhàn)性。更不用說數(shù)據(jù)處理和存檔工作負(fù)載的季節(jié)性變化，這可能很難及時預(yù)測。
越來越多的公司不再投資新的本地硬件，而是轉(zhuǎn)向云服務(wù)以獲得靈活的功能，以跟上持續(xù)的市場變化并滿足其運(yùn)營和商業(yè)智能要求。
全面的工具集
大多數(shù)云服務(wù)提供商都提供特定的數(shù)據(jù)集成工具和預(yù)構(gòu)建的連接器，以無縫設(shè)計和執(zhí)行新的數(shù)據(jù)集成流程。但是，如何在您的企業(yè)場景中成功實(shí)施云的同時真正利用這個工具箱呢？
嗯，在過去幾年里，為了尋求一種可以確保更短實(shí)施時間、成本優(yōu)化和用戶友好性的數(shù)據(jù)集成方法，一些公司已經(jīng)轉(zhuǎn)向所謂的集成平臺即服務(wù) （iPaaS） 模型。
什么是 iPaaS？
iPaaS 涉及采用基于云的平臺，這些平臺由第三方服務(wù)提供商以訂閱方式獲得許可并集中托管，具有一組自動化工具，用于集成分布在多個云和本地環(huán)境中的數(shù)據(jù)和軟件應(yīng)用程序。其中，我們通常可以發(fā)現(xiàn)：
數(shù)據(jù)攝取工具，用于自動從不同來源收集數(shù)據(jù)并將此流定向到單個數(shù)據(jù)存儲。
用于設(shè)計和管理上述提取-轉(zhuǎn)換-加載管道的 ETL 工具。
用于檢測、替換、修改或刪除損壞的數(shù)據(jù)和重復(fù)項(xiàng)的數(shù)據(jù)清理工具。
數(shù)據(jù)目錄，用于使用元數(shù)據(jù)標(biāo)記數(shù)據(jù)資產(chǎn)、清點(diǎn)數(shù)據(jù)資產(chǎn)，并通過適當(dāng)?shù)乃阉鞴δ苷业綌?shù)據(jù)資產(chǎn)。
數(shù)據(jù)遷移工具，用于將數(shù)據(jù)從一個存儲系統(tǒng)傳輸?shù)搅硪粋€存儲系統(tǒng)，同時確保與新位置的格式兼容性。
預(yù)構(gòu)建的數(shù)據(jù)連接器，用于以合適的格式移動、篩選和轉(zhuǎn)換數(shù)據(jù)，以便進(jìn)行查詢和分析。
數(shù)據(jù)治理工具，用于設(shè)置定義如何在整個組織中管理和共享數(shù)據(jù)資產(chǎn)的程序和協(xié)議。
這些豐富的功能選擇旨在創(chuàng)建連接企業(yè)應(yīng)用程序和資源的虛擬中心，通過將數(shù)據(jù)集成工作流中通常涉及的所有數(shù)據(jù)管理和治理任務(wù)委派給平臺供應(yīng)商，為組織及其 IT 部門減輕了負(fù)擔(dān)。
此外，數(shù)據(jù)集成平臺通常具有可靠的內(nèi)置安全和監(jiān)控功能，它們提供的服務(wù)可以輕松地按需擴(kuò)展和縮減以滿足您的集成需求，而無需投資額外的本地資源。
如何選擇云數(shù)據(jù)集成平臺
在定義了云數(shù)據(jù)集成平臺的性質(zhì)及其核心功能之后，讓我們更好地構(gòu)建它們的不同類別和一些選擇標(biāo)準(zhǔn)，以幫助您為您的業(yè)務(wù)選擇合適的解決方案。
平臺類型
如今，市場上可用的數(shù)據(jù)集成平臺的范圍甚至比它們提供的工具和功能范圍還要廣泛。我們可以將這些龐大的服務(wù)分為三個子組：
主要的云計算平臺，提供自己的集成解決方案來連接部署在其龐大生態(tài)系統(tǒng)中的不同應(yīng)用程序，包括 Cloud Data Fusion、Azure Logic Apps 和 Amazon EventBridge。
由歷史悠久的科技公司開發(fā)并經(jīng)過重新設(shè)計以完全采用云技術(shù)的現(xiàn)有數(shù)據(jù)集成平臺，例如 Informatica iPaas、IBM DataStage、SAP Data Hub 和 Oracle DIPC。
云原生數(shù)據(jù)集成平臺由規(guī)模較小但充滿活力的公司創(chuàng)建，專注于實(shí)時和增強(qiáng)分析等最新技術(shù)趨勢，包括 Boomi AtomSphere、Jitterbit Harmony 和 Talend Data Integration。
納入排除標(biāo)準(zhǔn)
無論您是選擇第一組提供商的綜合軟件生態(tài)系統(tǒng)、第二組無可爭議的穩(wěn)定性和經(jīng)驗(yàn)，還是第三組的創(chuàng)新方法，請考慮以下參數(shù)以選擇最符合您要求的平臺：
為您的企業(yè)軟件應(yīng)用程序和操作環(huán)境提供全面支持，無論是 SaaS 還是本地托管。
頂級數(shù)據(jù)處理性能，尤其是在處理大數(shù)據(jù)量和多個數(shù)據(jù)集成執(zhí)行時，結(jié)合監(jiān)控工具來監(jiān)督和優(yōu)化平臺資源利用率。
在平臺部署以及源到目標(biāo)映射和集成工作流程設(shè)計方面易于使用，通常通過直觀的 GUI（圖形用戶界面）實(shí)現(xiàn)。
能夠處理各種數(shù)據(jù)類型（結(jié)構(gòu)化和非結(jié)構(gòu)化）、數(shù)據(jù)源（CRM、ERP 和其他公司或外部系統(tǒng)）、數(shù)據(jù)存儲（OLAP、集中式、關(guān)系式、NoSQL 數(shù)據(jù)庫等）和協(xié)議（HTTP、FTP 等）并與之交互。
支持全方位的數(shù)據(jù)捕獲（實(shí)時數(shù)據(jù)攝取、事件驅(qū)動的數(shù)據(jù)采集、批量導(dǎo)入等）、轉(zhuǎn)換（數(shù)據(jù)類型轉(zhuǎn)換、聚合等）和映射（STTM、數(shù)據(jù)查找等）方法。
廣泛的預(yù)構(gòu)建數(shù)據(jù)連接器和其他集成工具，例如 OData、HTTP 和 FTP。
通過可靠的網(wǎng)絡(luò)安全措施（如訪問管理和數(shù)據(jù)加密）確保遵守適用于您所在行業(yè)的所有主要安全標(biāo)準(zhǔn)和數(shù)據(jù)保護(hù)法規(guī)。
當(dāng)然，除了這些純粹的技術(shù)標(biāo)準(zhǔn)外，您還需要檢查每個潛在提供商的定價和許可條件。例如，請記住，大型供應(yīng)商可能傾向于提供更長期的 SLA 和更嚴(yán)格的許可選項(xiàng)，盡管這些選項(xiàng)被堅如磐石的服務(wù)范圍所抵消。
另一個需要考慮的相關(guān)指標(biāo)是提供商的聲譽(yù)，盡管其無形性質(zhì)使其相當(dāng)難以構(gòu)建。然而，同行評審平臺和主要咨詢公司可以幫助我們揭開這個變量的神秘面紗，并闡明市場上最重要的數(shù)據(jù)集成平臺的優(yōu)缺點(diǎn)。