¿Ha escuchado colegas quejarse de la calidad de los datos en un informe, sistema o base de datos en particular?
La forma como a menudo describen los datos de baja calidad es como poco fiables o no confiables, y establecer exactamente como definir los datos de alta o baja calidad, por qué tienen un cierto nivel de calidad, cómo gestionarlos y mejorarlos no suele ser una tarea fácil.
Para la comunidad de gestión de datos, existe una opinión generalizada en cuanto que si se cumple con los requisitos mínimos definidos un conjunto de datos es de calidad. Estos requisitos son definidos por los gerentes a través de los resultados tales como mayores ventas, menores costos o menos defectos. Si bien esto es importante, no ayuda a los profesionales a codificar reglas y otras pruebas diseñadas para medir la calidad de un conjunto de datos. Para ello se requiere especificidad de los requisitos como los niveles de integridad o singularidad; un ejemplo de estos requisitos, podría se: dentro del CRM todos los campos de nombre y dirección deben estar diligenciados para todos los clientes.
Posibles problemas en reportes detallados, en cuanto a la calidad de los datos
Medición de la Calidad de Datos
Las dimensiones de calidad de datos a menudo son utilizadas por los profesionales para agrupar genéricamente diferentes tipos de pruebas que abarcan diferentes requisitos del proyecto. Si bien es cierto que existe desacuerdo sobre el número de dimensiones y los términos utilizados para estos, muchos profesionales usan definiciones como las siguientes:
- Integridad: no se deben presentar valores nulos o valores en lugar de nulos (por ejemplo, N / As) para una columna, elemento o clase de datos en particular.
- Consistencia: algo que prueba si un hecho es consistente con otro, por ejemplo, indicativo del teléfono y país género y título en una base de datos de CRM.
- Singularidad: ¿las entidades o atributos dentro de un conjunto de datos son únicas?
- Integridad: ¿se rellenan todas las relaciones para una entidad en particular, por ejemplo, sus entidades matrices o secundarias?
- Conformidad: ¿los datos se ajustan a las convenciones y estándares correctos? un valor puede ser correcto y seguir el formato incorrecto o el estándar reconocido.
- Precisión: la dimensión más difícil de probar, ya que esto a menudo requiere algún tipo de verificación manual por parte de un experto en la materia (PYME).
Las dimensiones a menudo se usan no solo como una lista de verificación, para comprobar que se haya implementado la mejor combinación de reglas en cuanto a la validez en la calidad de un conjunto de datos, sino que también se usan para agregar puntajes de calidad que rastrean tendencias y MIS. También existen muchos métodos de medición más complejos que ayudan a traducir los resultados individuales de aprobación/reprobación en cálculos de costos, riesgos e ingresos más amigables para el negocio.
Mejora de la Calidad de Datos
Frecuentemente se utiliza un conjunto diferente de habilidades y herramientas para mejorar la calidad de los datos después ser medidas. Un buen analista de calidad de datos tiende a exhibir una combinación de habilidades que generalmente se encuentran en analistas de datos, científicos de datos y analistas de negocios, entre otros. A nivel estratégico, una buena comprensión de la cultura corporativa, la arquitectura, la tecnología y otros factores es importante. Sin embargo, también se requieren una serie de habilidades técnicas esenciales cuando se trata de los datos en sí. Estos incluyen el análisis, la estandarización, la vinculación/coincidencia de registros, la depuración/limpieza, la elaboración de perfiles de datos y la auditoría/monitoreo de los mismos. Estas habilidades en muchas ocasiones se utilizan ampliamente cuando se llevan a cabo proyectos como migraciones de datos donde las mejoras en la calidad de los datos deben lograrse en escalas de tiempo exactas.
Procesos de Calidad de Datos
- Análisis sintáctico: determinar si una cadena de datos se ajusta a uno o pocos patrones principales. El análisis es un proceso fácil de automatizar si un conjunto de datos tiene un formato reconocible o predecible.
- Estandarización: una vez se reconocen los formatos principales y el análisis es finalizado, el siguiente paso es estandarizar el conjunto de datos. Esto se hace corrigiendo los datos de una manera predefinida que sea consistente y clara en todo el conjunto de datos.
- Vinculación/coincidencia de registros (fuzzy matching): es el proceso de identificación y vinculación de registros duplicados que pertenecen a una misma entidad del mundo real, pero que pueden no ser completamente idénticos en los conjuntos de datos. Por ejemplo, tener el mismo producto ingresado como «Silla de cuero – negro» y «Silla, Blk. – Cuero».
- Depuración/limpieza de datos: describe el proceso de modificación o eliminación de datos incorrectos, incompletos, con formato incorrecto o duplicados. Por lo general, una herramienta de software utiliza reglas y algoritmos para enmendar errores específicos, ahorrando al profesional de la calidad de los datos una cantidad significativa de tiempo.
- Elaboración de perfiles de datos, auditoría y supervisión: es el proceso de análisis y recopilación de información sobre los datos. Esta se puede utilizar para métricas de calidad de datos específicas y ayudar a determinar si los metadatos/atributos describen con precisión los datos de origen. Este perfil es una de las principales herramientas utilizadas para la auditoría de datos, puesto que ayuda a evaluar el ajuste de los datos para un propósito específico, que a su vez se vincula con el monitoreo de datos que a largo plazo ayuda a prevenir problemas graves.
Data Sheet Calidad de Datos
¿Cómo puedo obtener una Calidad de Datos óptima en mi empresa? Conózcalo aquí, descargue ahora de forma gratuita
¿Necesita ayuda para concretar esa idea? Comuníquese con nosotros y verá cómo podemos ayudarle a crear, combinar y preparar la calidad de sus datos.
