lunes, marzo 14, 2005

¿Firewall para los datos de mala calidad?


Un informe reciente de Gartner predice que 'el 50% de los proyectos de DW fracasarán o tendrán una aceptación limitada, debido a la falta de atención en temas de calidad del dato', siendo la solución que propone Gartner, utilizar un 'data quality firewall'. Sin entrar en concreto en el porcentaje, es evidente que el motivo principal de éxito o fracaso de estos proyectos reside en la calidad del dato. Esta mañana he visitado un cliente que está en la fase de implantación de un DW comercial realizado por una gran consultora y ya están a tortas por los datos: el departamento de sistemas proporciona un fichero plano en el que van los datos base y esta consultora los combina y agrega para dar los informes a los usuarios. Cuando el usuario no está conforme con un dato, hay que rastrearlo hasta sus orígenes para ver de quien es el tema.
Respecto al 'Firewall', yo creo que todos los proyectos filtran los datos antes de meterlos en el DW y esto se hace con la herramienta ETL de turno (¡aunque sea PL/SQL!), el problema es que no es tan sencillo. En el artículo ponen como ejemplo rechazar los clientes que llegan con el campo email sin rellenar, pero este es un problema menor. Por poner un ejemplo real, en el reporting de mi área, me cargaron en enero un gasto que realmente correspondía a septiembre del año pasado, pero que se había imputado en enero en nuestra contabilidad. Muchas veces las decisiones de cálculo de las cifras que aparecen en el reporting corporativo son objeto de negociación política, ya que afectan a la evaluación y remuneración de departamentos y directivos y esto no creo que lo arregle el firewall que propone Gartner.