Hay un viejo dicho que dice "la información es poder" y hoy en día ese dicho se vuelve más y más real. La forma en que se mueve el mercado se basa en el equilibrio entre la oferta y la demanda, sin embargo hoy en día, las ofertas tienden a ser más precisas que hace unos años y esto se debe a que las empresas recopilan toneladas de datos para analizar y determinar cuál es el próximo gran paso.
Según NewVantage Venture Partners, Big Data está entregando el mayor valor a las empresas al reducir los gastos (49.2%) y al crear nuevas vías para la innovación y la interrupción (44.3%).
Dicho esto, una de las áreas de enfoque en estos días y en el futuro próximo para el control de calidad son las pruebas de Big Data. Conforme los propios datos se van procesando, así va a ser el desafío de crear scripts de prueba, evaluar y proporcionar información con las herramientas para Big Data.
El plano general
El plano general de las pruebas de Big Data se basa en tres pilares principales:
1- Validar la entrada de datos. En pocas palabras, significa, tomar todos los datos de los diferentes recursos que vienen con las “3 V”:
- Volumen - gran escala de datos
- Velocidad - Millones de transacciones / datos por segundo
- Variedad - múltiples fuentes, múltiples formatos, etc. Para asegurar y certificar con confianza que una vez que ingresen en los algoritmos de procesamiento de análisis, se tratarán de manera efectiva sin causar ningún problema, lo que eventualmente generará información valiosa.
2- Procesamiento de datos en sí: al validar los algoritmos que se utilizan y que deberían funcionar desde la fuente mínima de datos hasta los conjuntos de datos más complejos. Pueden incluir datos relacionales y no relacionales. Además de los resultados provenientes de esas funciones y métodos, el rendimiento permite manejar rápidamente una gran cantidad de información en un enfoque muy optimizado.
3- El último pilar, pero no menos importante, es la validación de la salida de datos:
¿Estamos obteniendo los resultados esperados? Esto puede sonar trivial, pero en este caso, no es tan simple como comparar el ingreso con el resultado. Se requiere un análisis más profundo. Habrá un rango de información esperada que saldrá de este ciclo de procesamiento de datos, que debe ser consumida por una herramienta experta y basada en el análisis exhaustivo.
El ingeniero de control de calidad puede certificar que realmente puede proporcionar valor al cliente.
Las pruebas de Big Data no se parecen en nada a la mayoría de las actividades de prueba tradicionales. Requieren de mucho conocimiento del negocio, de las herramientas y del valor esperado que se desprende de este esfuerzo. Aún así, la carrera de Aseguramiento de la Calidad consiste en certificar procesos, proporcionar valor adicional y compromiso con la calidad.
También es una gran oportunidad para aprender más sobre el mundo en que vivimos, un mundo en continuo cambio y lo más importante, lleno de datos.