基于動(dòng)態(tài)可配置規(guī)格的數(shù)據(jù)清洗方法DRDCM

　　針對(duì)傳統(tǒng)數(shù)據(jù)清洗方法通過(guò)硬編碼方法來(lái)實(shí)現(xiàn)業(yè)務(wù)邏輯而導(dǎo)致系統(tǒng)的可重用性、可擴(kuò)展性與靈活性較差等問(wèn)題，提出了一種基于動(dòng)態(tài)可配置規(guī)則的數(shù)據(jù)清洗方法-DRDCM。該方法支持多種類型規(guī)則間的復(fù)雜邏輯運(yùn)算，并支持多種臟數(shù)據(jù)修復(fù)行為，集數(shù)據(jù)檢測(cè)、數(shù)據(jù)修復(fù)與數(shù)據(jù)轉(zhuǎn)換于一體，具有跨領(lǐng)域、可重用、可配置、可擴(kuò)展等特點(diǎn)。首先，對(duì)DRDCM方法中的數(shù)據(jù)檢測(cè)和數(shù)據(jù)修復(fù)的概念、實(shí)現(xiàn)步驟以及實(shí)現(xiàn)算法進(jìn)行描述；其次，闡述了DRDCM方法中支持的多種規(guī)則類型以及規(guī)則配置；最后，對(duì)DRDCM方法進(jìn)行實(shí)現(xiàn)，并通過(guò)實(shí)際項(xiàng)目數(shù)據(jù)集驗(yàn)證了該實(shí)現(xiàn)系統(tǒng)在臟數(shù)據(jù)修復(fù)中，丟棄修復(fù)行為具有很高的準(zhǔn)確率，尤其是對(duì)需遵守法定編碼規(guī)則的屬性（例如身份證號(hào)碼）處理時(shí)其準(zhǔn)確率可達(dá)1 00%。實(shí)驗(yàn)結(jié)果表明，DRDCM實(shí)現(xiàn)系統(tǒng)可以將動(dòng)態(tài)可配置規(guī)則無(wú)縫集成于多個(gè)數(shù)據(jù)源和多種不同應(yīng)用領(lǐng)域且該系統(tǒng)的性能并不會(huì)隨著規(guī)則條數(shù)增加而極速降低，這也進(jìn)一步驗(yàn)證了DRDCM方法在真實(shí)環(huán)境中的切實(shí)可行性。