數(shù)據(jù)分發(fā)

來源: 發(fā)布時間:2024-10-12

在典型的重復(fù)數(shù)據(jù)刪除技術(shù)中,根據(jù)不同的數(shù)據(jù)備份場景選擇適合的重刪策略與粒度方案。在確定重刪策略與粒度后,會根據(jù)輸入側(cè)不同粒度(卷級、文件級、塊級)的數(shù)據(jù)采取不同的數(shù)據(jù)切分策略,并依據(jù)任務(wù)級與全局指紋庫提供自適應(yīng)源端的全局重刪算法與策略,當(dāng)前支持源端塊級、文件級重刪和并行重刪技術(shù)。源端重刪是采用基于內(nèi)容的可變長數(shù)據(jù)切分算法,通過對數(shù)據(jù)塊進行哈希算法的***標(biāo)記,即指紋(Fingerprint),在指紋庫中尋找相同的指紋。如果存在相同指紋,則表示已保存了相同的數(shù)據(jù)塊,ADM則不再保存此數(shù)據(jù)塊,而是引用已存在的數(shù)據(jù)塊,從而節(jié)省更多的備份空間。該算法還可以智能識別已修改的數(shù)據(jù)和未修改的數(shù)據(jù),從而避免因修改數(shù)據(jù)位移而導(dǎo)致的未修改數(shù)據(jù)切分到新數(shù)據(jù)塊中的問題,比較大限度地提升重刪性能和重刪率,為避免數(shù)據(jù)備份過程中冗余網(wǎng)絡(luò)傳輸與存儲開銷,在源端設(shè)置粗粒度前置數(shù)據(jù)校驗可以明顯縮小備份傳輸過程中的數(shù)據(jù)冗余,目的在于不備份任意一個冗余數(shù)據(jù)。敏捷數(shù)據(jù)管理平臺ADM可解決業(yè)務(wù)系統(tǒng),對備份數(shù)據(jù)進行合理利用提升備份數(shù)據(jù)使用價值。數(shù)據(jù)分發(fā)

數(shù)據(jù)分發(fā),上訊敏捷數(shù)據(jù)管理平臺ADM

ADM通過對管理人員、測試需求等內(nèi)容的不同進行分組劃分,將已經(jīng)數(shù)據(jù)進行分組管理,從測試數(shù)據(jù)管理的源頭管控數(shù)據(jù)資源的類別,做到從源頭劃分類別,使測試數(shù)據(jù)管理形成數(shù)據(jù)源----數(shù)據(jù)中轉(zhuǎn)----數(shù)據(jù)目標(biāo)的閉環(huán)式數(shù)據(jù)使用流程,規(guī)范化的數(shù)據(jù)流程使數(shù)據(jù)管理者成為數(shù)據(jù)的負責(zé)人,自動化的資源管理也更有效地為用戶提供安全的測試數(shù)據(jù)管理方案。敏捷數(shù)據(jù)管理平臺ADM提供對虛擬數(shù)據(jù)庫的樹狀拓撲結(jié)構(gòu)圖,可詳細了解測試數(shù)據(jù)的來源、所屬存儲池、掛載的測試服務(wù)器,以及虛擬數(shù)據(jù)庫快照的上下級關(guān)系,方便對系統(tǒng)全局的數(shù)據(jù)使用結(jié)構(gòu)進行預(yù)覽,幫助用戶了解測試網(wǎng)中測試數(shù)據(jù)的使用關(guān)系,完善測試數(shù)據(jù)的組織結(jié)構(gòu),優(yōu)化測試數(shù)據(jù)的資源分配。數(shù)據(jù)分發(fā)ADM主要由數(shù)據(jù)備份管理、備份校驗管理、數(shù)據(jù)副本管理、數(shù)據(jù)脫*管理四大功能模塊組成。

數(shù)據(jù)分發(fā),上訊敏捷數(shù)據(jù)管理平臺ADM

敏捷數(shù)據(jù)管理平臺ADM能夠?qū)⑸嫌蔚臄?shù)據(jù)收集、存儲,中游的數(shù)據(jù)處理、傳輸,下游的數(shù)據(jù)分發(fā)和交付全流程貫通,形成一套自動化、智能化的副本數(shù)據(jù)全生命周期管理解決方案,為銀行業(yè)實現(xiàn)測試業(yè)務(wù)多場景的數(shù)據(jù)覆蓋,實現(xiàn)業(yè)務(wù)版本的高質(zhì)量交付和快速迭代提供了行之有效的工具。ADM的數(shù)據(jù)庫虛擬化功能與GoldenDB高可用、高可靠的數(shù)據(jù)庫服務(wù)相結(jié)合,為該行提供了敏捷的副本數(shù)據(jù)交付能力與靈活的副本數(shù)據(jù)管理能力,對銀行測試數(shù)據(jù)管理體系的構(gòu)建起到了強有力的助推作用,助力打造數(shù)字化業(yè)務(wù)增長新模式.

ADM產(chǎn)品數(shù)據(jù)安全***ADM平臺支持靜態(tài)數(shù)據(jù)脫敏(涉及數(shù)據(jù)庫、格式化文件、數(shù)據(jù)庫對象、消息隊列等),內(nèi)置104條***算法、47條敏感信息類型匹配庫,覆蓋個人身份信息、組織機構(gòu)信息、資質(zhì)資格證信息、金融數(shù)據(jù)信息、醫(yī)療數(shù)據(jù)信息、車輛數(shù)據(jù)信息等眾多類別的敏感數(shù)據(jù)類型識別與仿真***。具備廣義的通用型***規(guī)則,包括字符替換、隨機生成、截短、加權(quán)生成、加密等;支持保留原有數(shù)據(jù)含義的仿真型***規(guī)則,支持中文字典庫與編碼字典庫,保證姓名、身份證號、證件號、地址、組織機構(gòu)代碼等***后數(shù)據(jù)的有效性、可用性。提供基于數(shù)據(jù)庫的庫內(nèi)***和基于ETL的抽取***,提供文件***添加水印功能,提供國產(chǎn)化操作系統(tǒng)的加密算法,滿足用戶多種***需求。敏捷數(shù)據(jù)管理平臺ADM產(chǎn)品數(shù)據(jù)信創(chuàng)產(chǎn)品,實現(xiàn)了國產(chǎn)數(shù)據(jù)庫的備份與國產(chǎn)操作系統(tǒng)的兼容。

數(shù)據(jù)分發(fā),上訊敏捷數(shù)據(jù)管理平臺ADM

上訊敏捷數(shù)據(jù)管理平臺(ADM)既可以封裝在敏捷數(shù)據(jù)管理流程的中間環(huán)節(jié),也可以單獨作為敏感數(shù)據(jù)處理的抽取平臺,兩種模式滿足了當(dāng)前用戶對數(shù)據(jù)處理的全部需求。 提供系統(tǒng)用戶角色權(quán)限的配置管理,負責(zé)系統(tǒng)角色用戶功能的劃分,操作權(quán)限的分配,負責(zé)處理任務(wù)向上級的申請,上級用戶負責(zé)審批、轉(zhuǎn)發(fā)、會簽或駁回以及復(fù)核工作的需求。當(dāng)前系統(tǒng)內(nèi)置豐富的算法,具備廣義的通用型規(guī)則,包括字符替換、隨機生成、截短、加權(quán)生成、加密等;支持保留原有數(shù)據(jù)含義的仿真型規(guī)則,支持中文字典庫與編碼字典庫,保證姓名、身份證號、證件號、地址、組織機構(gòu)代碼等數(shù)據(jù)的有效性、可用性,算法經(jīng)優(yōu)化已處理超長字符截斷和重復(fù)數(shù)據(jù)的問題。市面上的敏感數(shù)據(jù)管理產(chǎn)品有哪些?秘密

CDM主要應(yīng)用于金融、運營商、能源、交通、衛(wèi)生、事業(yè)單位等行業(yè)。數(shù)據(jù)分發(fā)

l異地數(shù)據(jù)容災(zāi)(遠程復(fù)制)數(shù)字化時代,企業(yè)進行數(shù)據(jù)保護,不僅希望能夠?qū)崿F(xiàn)本地數(shù)據(jù)保護,也要有災(zāi)備中心進行異地數(shù)據(jù)保護。如此,即便本地數(shù)據(jù)中心遭遇地震、火災(zāi)等重大自然災(zāi)害或人為操作失誤等事故,導(dǎo)致本地備份數(shù)據(jù)或生產(chǎn)數(shù)據(jù)發(fā)生損壞或丟失時,能夠通過異地數(shù)據(jù)災(zāi)備,確保數(shù)據(jù)可恢復(fù)。ADM支持通過遠程復(fù)制技術(shù),將本地數(shù)據(jù)同步到異地災(zāi)備中心,實現(xiàn)異地數(shù)據(jù)容災(zāi)?;趥浞萑蝿?wù),將生產(chǎn)數(shù)據(jù)備份到本地的存儲池,基于遠程復(fù)制任務(wù),將本地存儲池中的備份數(shù)據(jù)同步到異地存儲池中,從而為生產(chǎn)數(shù)據(jù)提供雙重保護,當(dāng)本地生產(chǎn)數(shù)據(jù)、或備份數(shù)據(jù)丟失、損壞時,通過預(yù)先設(shè)置的容災(zāi)策略,在容災(zāi)端進行應(yīng)急接管。數(shù)據(jù)分發(fā)