當前位置:才華齋>企業管理>質量管理>

提高資料質量的步驟和措施

質量管理 閱讀(1.9W)

由於大多數系統和應用程式會持續不斷接收到新資料,資料量也在不斷增加,因此確保資料質量並不是一次就能完成的。所有企業都應該使用一種反覆進行的階段性過程來管理資料質量,此過程包括資料質量評估、規劃以及策略的選擇和實施。

提高資料質量的步驟和措施

第一步對資料質量進行評估。評估當前的資料質量狀態是第一步。對資料質量進行評估能幫助企業準確地瞭解資料的內容、質量和結構。主管人員參與資料質量評估以及分析在資料檢查過程中發現的問題對於資料質量評估來說都很重要。在最有效的資料質量評估中,所有問題都將按照對業務影響從大到小的順序列出,這將幫助IT機構節省專案成本。

第二步,制訂資料質量計劃。徹底瞭解企業資料的內容和質量後,接下來的步驟是制訂一個計劃,來修改當前的錯誤並避免未來錯誤的發生。有效的計劃不但可以提高企業當前所有應用程式中資料的質量,還將制定一些方式以確保新應用程式從一開始就遵循資料質量規則。

第三步,選擇和實施資料質量策略。選擇改善企業資料質量的策略,要求決策者權衡每個資料質量計劃的成本以及該策略產生的影響。目前的策略型別有兩種: 在企業輸入資料時提高資料質量的方法稱為“上游”方法,而從運營系統提取資料的應用程式(如資料倉庫)中改善資料質量的方法是“下游”方法。

上游策略研究當前應用程式的邏輯、資料和流程,解決檢查過程中發現的異常情況。此策略可能涉及到更改應用程式邏輯、新增更好的表驗證、改善與資料輸入相關的流程,它致力於企業資料的高準確性。另外,此策略還要求使用應用程式本身附帶的資料質量功能。

下游策略解決目標應用程式或資料倉庫(而非資料來源)中的資料質量問題。由於資料可以根據需要隨時進行修改,所以企業能夠在流程(尤其是資料轉換、名稱和地址清洗以及查詢驗證)中改善資料質量。下游策略僅為目標應用程式或資料倉庫改善資料質量,但與上游策略相比,它的實施過程更簡單,成本更低。

  1. 建立資料的標準,明確資料的定義。

通常,獨立的應用系統會有一個比較模糊的、有時也會有比較清晰的資料標準和資料定義。為了保證系統的正常執行,這些系統的使用者必須在資料的標準和資料的定義上達成一致。不過,這些標準和定義大多數時候與企業中其他系統中的資料標準和定義並不一致。因此,需要從整個企業的角度出發,建立統一的資料標準和資料定義,同時,整個企業必須就這個資料標準和資料定義達成共識。這一句話說起來容易做起來難。因為人通常本能地會拒絕改變,改變資料標準和定義並不是輕而易舉的。為此,強烈建立在企業中除了設立一個高管級別的資料質量管理委員會外,還需要選定一個執行能力強的專案負責人,需要他推動相關人員接受新的資料標準和定義。

在具體建立新的資料標準和資料定義時,需要仔細權衡,哪些定義和標準是出於企業內部的原因(比如出於方便、習慣等)制訂的,哪些定義和標準是因為要有效反映外部的真實世界而制訂的。相對而言,前者更容易執行一些。

  2. 建立一個可重複的資料收集、資料修改和資料維護流程。

資料管理面臨的兩個主要挑戰是企業本身的複雜性和身份資訊不斷變化。這兩個客觀原因的存在意味著企業的資料質量保證行動永遠沒有結束之日,因此,企業在制訂資料質量的保證措施和資料質量指標時,必須保證這些措施和指標能夠不斷重複。

  3. 在資料轉化流程中設立多個性能監控點。

資料的質量高低可以根據終端使用者的需求來評價,也可以通過與同類資料來源的比較來評價,還可以通過與前一階段的資料質量進行比較來評價。但在制訂資料質量的戰略時,比較理想的辦法還是根據終端使用者的需求來進行。不過這裡存在一個問題是,等到終端使用者拿到資料時再針對資料的問題進行修正已經太遲了。一個有效的資料質量保證辦法是在每當資料發生轉換後就與前一時期進行比較,從而對資料質量進行評估。如果此前所採用的資料質量改進方法有助於提高終端使用者的滿意度,那麼,這些中間指標的達標也預示著專案的最終成功。

  4. 對流程不斷進行改善和優化。

我們常常聽到有人說,他們制訂了很多辦法來迅速而且大幅度提升資料的質量,但很少聽說最後他們能真正得到滿意的結果。其原因就在於資料的質量改進絕非一朝一夕的事情,而是一個持續的過程。正確的辦法是通過一個不斷改進的流程,持續不斷地排除錯誤、對資料進行整合和標準化,最後達到流程的自動化,從而降低資料質量保證計劃的總體開銷。實際上,排除錯誤、資料整合和資料標準化從來就不是一件容易的事情。資料質量管理計劃的負責人將配合公司高管組成的資料質量管理委員會來保證這個流程的順利執行。要注意的是,作為該專案的負責人,不能墨守成規,僅僅因為自己以前一向採用某種方法,就要求別人也必須採用這一方法,特別是當發現這些方法成本高昂的時候,就應該考慮換一種方式了。

  5. 把責任落實到人。

通常,我們認為那些與資料的.產生、維護相關的人員是負責任的,但是,很有可能,他們有很多其他的工作要做,因此作為資料質量的負責人光有善良的想法是難以提高資料的質量,很有可能一輩子也達不到目標。對於那些負責資料的產生、資料的合理化以及對資料進行清理和維護的人,應該給他們的活動制訂明確的指標,這樣他們才能真正理解人們到底希望他們達到什麼目標。更重要的,他們還需要針對這些指標細化對他們自己的要求,當然,他們會因為達到或者超過這些指標而得到獎勵。其中,一個執行力強的負責人的價值體現出來,他會針對具體情況適時調整資料質量的目標。

最後,再次強調考慮與資料管理和資料質量的改進專案有關的人的因素,他們的行為是非常重要的。從某種程度上說,要比具體選擇什麼軟體要重要得多。上述5點有助於幫助組織規範資料質量管理中與人有關的流程。