Existen múltiples definiciones de Big Data de diversas fuentes. En síntesis, con dicho término se hace referencia al conjunto de tecnologías, algoritmos y sistemas empleados para recolectar datos a una escala y variedad no alcanzada hasta ahora y a la extracción de información de valor mediante sistemas analíticos avanzados soportados por computación en paralelo.
Al Big Data frecuentemente se le caracteriza mediante tres ‘v’: Volumen, Variedad y Velocidad:
- Volumen es la característica más obvia y que recoge el propio nombre de Big Data. Se pasa de manejar magnitudes de megabytes, gigabytes, como mucho Terabytes, a manejar Petabytes de forma cada vez más frecuente.
- Además de volumen de datos, su Variedad ha crecido exponencialmente, tanto por la tipología de datos como por sus fuentes. Se ha pasado de manejar datos estructurados en bases de datos procedentes, en su mayoría, de fuentes internas, a tratar datos estructurados, semiestructurados y esestructurados; de ser datos cuasi estáticos a datos dinámicos o en continuo cambio; de originarse en un número de fuentes limitadas a proceder de personas, máquinas,
sensores, etc. Esta variedad y volumen, requieren un tratamiento diferente para poder convertirse en información.
• El tiempo es clave así que la Velocidad es la tercera ‘v’. La captura, movimiento y proceso de los datos se hace a gran velocidad, llegando a ser en tiempo real en algunos casos.
La formación en Arquitectura Big Data y en particular el certificado de profesionalidad asociado al mismo el IFCT127PO se obtiene con los siguientes conocimientos:
- Hadoop & Batch Processing
- Apache Sparks & Streaming Processing
- Sistemas NoSQL
- Interactive Query
- Computacion hibrida
- Cloud Computing
- Administracion de sistemas Big Data
- CMI/CMO & KPI
Para realizar las correctas operaciones de auditoria sobre las arquitecturas de Big Data, existe una guía de de la AEPD – Agencia Española de Protección de Datos.