TECNOLOGÍAS BIG DATA (parte1)
#SLICEofDATA Tu porción diaria de Data Analytics en solo 15 minutos
Las tecnologías de Big Data pueden agruparse en tres categorías:
Infraestructura
· Recogida/almacenamiento de los datos
· Procesamiento de los datos
Analítica
· Extracción de conocimientos de los datos
· Visualización de los datos/conocimiento
Aplicaciones
Se requiere un perfil multidisciplinar (sistemas informáticos, estadística, IA, visualización...)
Recogida/almacenamiento de los datos
Es necesario recoger y almacenar adecuadamente la información
Han aparecido nuevas tecnologías que se adaptan mejor a la naturaleza de los problemas de Big Data
· Generación rápida de datos
· Volumen muy grande
· Fuentes heterogéneas y esquemas de datos complejos
NoSQL
Procesamiento de los datos
Hay que procesar los datos de forma eficiente.
Hay que aprovechar al máximo las técnicas distribuidas y paralelas.
Al mismo tiempo, es importante mantener el enfoque en los datos y su análisis.
Esto no es (necesariamente) HPC, por lo que tratamos de evitar que sea un problema de programación paralela.
MapReduce (y sus descendientes)
No son suficientes los RDBMS tradicionales?
Los RDBMS se utilizan con éxito en la mayoría de aplicaciones profesionales que requieren un manejo adecuado de los datos.
Proporcionan un alto rendimiento y las propiedades ACID (en español ya no queda tan perfecto) muy convenientes:
· Atomicidad
· Consistencia
· Aislamiento
· Durabilidad
Es generalmente aceptado que los RDBMS tradicionales no son suficientes por varias razones. Principalmente:
· Escalabilidad: No manejan bien conjuntos de datos extremadamente grandes.
· Flexibilidad: No se adaptan fácilmente a la complejidad y a los requisitos de algunas aplicaciones.
Aun así, hay algunas voces que sostienen que la mayoría de estas afirmaciones no han sido debidamente justificadas y que los RDBMS tradicionales son adecuados para muchas aplicaciones de Big Data (ejemplo: Oracle Exadata).
Es cuestión de decidir qué solución es mejor para cada problema.
Ref: X. Jin, B.W. Wah, X. Cheng, Y. Wang Significance and challenges of big data research - Big Data Research, 2 (2) (2015)
Continuara:
Parte2 - BBDD NoSQL
Prte3 - Procesado BBDD Map reduce