SSIS數(shù)據(jù)交換實施
基于SSIS技術(shù)實現(xiàn)SAP、SQL Server、文件數(shù)據(jù)庫的數(shù)據(jù)整合治理服務(wù)
SSIS(SQL Server Integration Services)是Microsoft SQL Server的一個組件,用于數(shù)據(jù)集成、轉(zhuǎn)換和加載(ETL)過程。ETL代表提?。‥xtraction)、轉(zhuǎn)換(Transformation)和加載(Loading),它是將數(shù)據(jù)從各種源系統(tǒng)提取出來,經(jīng)過必要的清洗、轉(zhuǎn)換和聚合后,加載到目標(biāo)系統(tǒng)中的過程。
SSIS提供了一個平臺和工具集,用于創(chuàng)建、管理和執(zhí)行數(shù)據(jù)處理任務(wù)。它允許用戶從不同的數(shù)據(jù)源中提取數(shù)據(jù),并對數(shù)據(jù)進(jìn)行轉(zhuǎn)換、清洗和加載,然后將數(shù)據(jù)傳送到目標(biāo)系統(tǒng)中。這些數(shù)據(jù)源可以是各種關(guān)系型數(shù)據(jù)庫(如SQL Server、Oracle、MySQL)、平面文件(如CSV、Excel)、XML文件、Web服務(wù)等。
在SSIS中,數(shù)據(jù)流任務(wù)(Data Flow Task)用于執(zhí)行數(shù)據(jù)的轉(zhuǎn)換和處理。數(shù)據(jù)流任務(wù)包括源組件(Source)、轉(zhuǎn)換組件(Transformation)和目標(biāo)組件(Destination),用戶可以在其中配置不同的數(shù)據(jù)轉(zhuǎn)換和操作。
此外,SSIS還提供了控制流任務(wù)(Control Flow Task),用于定義包的執(zhí)行邏輯和流程控制。控制流任務(wù)包括順序容器(Sequence Container)、條件分支(Conditional Split)、循環(huán)容器(Loop Container)等,用于指定任務(wù)的執(zhí)行順序、條件分支和循環(huán)。
SSIS還提供了豐富的功能和特性,如參數(shù)化配置、錯誤處理、包部署和調(diào)度、性能優(yōu)化等。用戶可以使用SQL Server Agent、SSMS(SQL Server Management Studio)或其他調(diào)度工具來調(diào)度和運行SSIS包。采用微軟SQL Server數(shù)據(jù)庫組件SSIS作為ETL工具,實現(xiàn)業(yè)務(wù)系統(tǒng)數(shù)據(jù)集成到數(shù)倉
數(shù)據(jù)倉庫采用SQL Server 2016,部署到本地IDC機房
SSIS部署到Azure云端,具有7*24監(jiān)控機制
數(shù)據(jù)源包括SQL Server, SAP, EXCEL
Portal導(dǎo)入數(shù)據(jù)、更新數(shù)據(jù)、日志管理,軟件界面語言中文
建設(shè)內(nèi)容包括:
SSIS抽取EXCEL數(shù)據(jù)并分發(fā)到業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫
Portal管理建設(shè)
IDC數(shù)據(jù)庫本機備份,異機備份,云端備份
Portal定制開發(fā)
用戶認(rèn)證與鑒權(quán)。
SSIS任務(wù)管理。通過SSIS應(yīng)用日志獲取包運行情況,為管理員提供數(shù)據(jù)同步監(jiān)控能力。
數(shù)據(jù)庫的數(shù)據(jù)導(dǎo)入與導(dǎo)出??蓪?dǎo)入/導(dǎo)出數(shù)據(jù),用于配置管理。注意,該功能不能用作數(shù)據(jù)庫備份/恢復(fù)使用,導(dǎo)入/導(dǎo)出數(shù)據(jù)限于2000條以內(nèi)。
操作日志記錄。

