Data Governance e Data Quality
- Scritto da Giancarlo Butti
- Add new comment
- dimensione font riduci dimensione font aumenta la dimensione del font
Data Governance e Data Quality
Le normative di Banca d’Italia così come quelle che riguardano gli enti pubblici sono molto spesso particolarmente interessanti allorquando entrano nel merito di questioni tecniche....
di Giancarlo Butti
Abbiamo già affrontato in questa sede alcuni aspetti relativi alla circolare 263 - 15° aggiornamento, la quale introduce interessanti indicazioni su diversi aspetti che riguardano il governo e la gestione dei sistemi informativi.
In questo articolo affronteremo più nel dettaglio il tema dalla data governance e più dettagliatamente della qualità dei dati.
La 263 cita: "è definito uno standard aziendale di data governance, che individua ruoli e responsabilità delle funzioni coinvolte nell’utilizzo e nel trattamento, a fini operativi e gestionali delle informazioni aziendali; in considerazione della loro rilevanza nel sistema informativo, sono definite le misure atte a garantire e a misurare la qualità, ad es. attraverso key quality indicator riportati periodicamente agli utenti di business, alle funzioni di controllo e all’organo con funzione di gestione;"
e ancora: "nel caso di ricorso a un data warehouse aziendale a fini di analisi e reporting, le procedure di estrazione dei dati, di trasformazione, controllo e caricamento negli archivi accentrati – così come le funzioni di sfruttamento dei dati sono dettagliatamente documentate, al fine di consentire la verifica sulla qualità dei dati; le procedure di gestione e aggregazione dei dati sono documentate, con specifica previsione delle circostanze in cui è ammessa l’immissione o la rettifica manuale di dati aziendali, registrando data, ora, autore e motivo dell’intervento, ambiente operativo interessato e i dati precedenti la modifica;"
Relativamente alla qualità dei dati la normativa individua i seguenti attributi:
TIPO |
ATTRIBUTO |
DATI (Qualità) |
Riservatezza Integrità Disponibilità Correttezza Completezza Accuratezza Tempestività |
OPERAZIONI |
Accountability Verificabilità |
Dei quali però non da una definizione precisa se non per i seguenti:
ATTRIBUTO |
DECLINAZIONE |
Completezza |
registrazione di tutti gli eventi, operazioni e informazioni con i pertinenti attributi necessari per le elaborazioni |
Accuratezza |
assenza di distorsione nei processi di registrazione, raccolta e di successivo trattamento dei dati |
E’ possibile rifarsi per una più chiara e corretta gestione della qualità dei dati a standard internazionali, quali la ISO 25012, che propone ad esempio le seguenti caratteristiche, declinandole opportunamente:
ISO 25012 DATA QUALITY |
Accuracy |
Completeness |
Consistency |
Credibility |
Currentness |
Accessibility |
Compliance |
Confidentiality |
Efficiency |
Precision |
Traceability |
Understandability |
Availability |
Portability |
Recoverability |
Tutti hanno sperimentato le conseguenze della mancata qualità dei dati (ad esempio ricevendo cartelle esattoriali che sollecitavano il pagamento di imposte non dovute o già pagate).
Un mancato presidio può portare a conflitti con clienti, utenti, fornitori (che successivamente devono essere gestiti) oppure a decisioni errate anche di natura strategica…
I rischi possono essere direttamente o indirettamente di natura legale, ad esempio in quanto sono errate le informazioni di natura contabile e fiscale ovvero perché è errato il dato relativo al consenso prestato per il trattamento dei dati personali di qualche interessato (dipendente, fornitore, cliente, prospect…).
Possono essere di natura operativa, in quanto ad esempio viene evaso in modo errato un ordine, una lavorazione, un pagamento…
Possono essere reputazionali, come conseguenza dirette ad esempio dei due precedenti.
In alcuni casi tali danni sono anche quantificabili, pur con un certo impegno, ad esempio calcolando il costo della gestione dei reclami dei clienti, delle rilavorazioni, della sanzioni…
E’ possibile in questo modo quantificare quanto la mancata qualità del dato incide sull’azienda e procurarsi in questo modo un valido parametro “quantitativo” per un’analisi costi/benefici relativi a possibili interventi tesi a migliorarne la qualità.
Ma dove è necessario intervenire per garantire la qualità del dato? Gli interventi sono molteplici, in funzione della complessità ed articolazione del sistema informativo aziendale, ma non solo. Spesso di dati sono trattati manualmente e riportati su moduli e documenti.
E’ evidente che il punto di partenza è legato al controllo del caricamento manuale dei dati, la dove questo avvenga ed alla corretta acquisizione dei flussi informativi dove invece il recupero dei dati avvenga mediante questa modalità operativa.
Altra area di controllo riguarderà la corretta elaborazione dei dati, sia questa svolta in modalità batch (più tipica dei grossi sistemi) od on line.
Le aree di potenziali errori si possono sinteticamente riassumere nella seguente tabella.
INPUT MANUALE
|
Caricamento dati errati
|
ELABORAZIONE DATI
|
Algoritmi errati Algoritmi incompleti Algoritmi non correttamente implementati Dati di partenza errati Risultati intermedi errati Malfunzionamenti hw/sw Modelli di verifica
|
INTERAZIONE APPLICAZIONI |
Estrazione dati errata Trasferimento dati errato o mancante Acquisizione dati errato o ripetuto |
Ma quali sono a questo punto gli interventi che è possibile mettere in atto per migliorare la qualità dei dati; quali i controlli?
Nella seguente tabella ho sintetizzato una serie di possibili interventi per gli ambiti precedentemente esaminati.
INPUT MANUALE
|
|
INTERAZIONE
|
|
ELABORAZIONE
|
|
E’ inoltre indispensabile mettere in atto una serie di controlli di natura tecnico organizzativa, quali ad esempio il controllo incrociato sui dati inseriti da parte di più operatori, la spunta dei tabulati…
Sistemi molto più complessi possono essere implementati nell’ambito di datawarehouse che sono derivano da un’aggregazione di dati provenienti da diversi applicativi settoriali, quali potrebbero esserlo un CRM. In questo caso infatti è possibile verificare l’attendibilità dei dati analizzando l’andamento nel tempo (definendo ad esempio soglie ragionevoli di scostamento), incrociando fra loro dati diversi…
Non va inoltre dimenticato che a causa della continua evoluzione dei sistemi informativi (sia di natura tecnica, sia ad esempio per l’implementazione di nuovi prodotti/servizi) la gestione della qualità del dato deve essere considerata come un processo continuo.
Non viene mai raggiunta una qualità definitiva ed assoluta, ma deve esistere un processo che ad ogni variazione introdotta consenta di valutare quali sono gli impatti possibili sulla qualità dei dati.
Troppo spesso la fretta porta a forzature e ad una mancata documentazione degli interventi fatti, con conseguenze che possono avere effetto sul lungo termine, quando il ricostruire la causa di un evento diventa particolarmente difficile.
E’ quindi necessario da subito, considerare il costo del mantenimento della qualità del dato come un elemento necessario ed indispensabile per la corretta gestione aziendale, definendo anche in questo caso la propria propensione al rischio.
Articoli correlati (da tag)
- La convergenza di Data Center e High Performance Computing (HPC) - parte 2
- Big Data Fabric: architettura e servizi Cloud
- Dai Big Data Lake alle Big Data Fabric
- Le migliori piattaforme per Big Data Fabric
- Data Center e High Performance Computing (HPC) convergono sotto la spinta di Cloud Computing, IoT e Big Data