BIG DATA ET TRAITEMENT DE GRANDES MASSES DE DONNEES

INTRODUCTION

• Caractérisation du big data
• Enjeux du big data
• Problèmes d’acquisition, d’hétérogénéité, de qualité, de traitement…

Bases de données NoSQL

• Bases de données clés-valeurs
• Bases de données orientées colonne
• Bases de données orientées document
• Bases de données orientées graphe

Extraction d’informations du Web

• Reconnaissance d’entités nommées
• Désambiguation
• Notions de Web sémantique
• RDF et SPARQL

Traitement distribué

• Intégration de données massives: approches
• Principe de partitionnement et de la distribution des données, que ce soit dans un contexte (i) de données relationnelles gérées par une ou plusieurs instances de systèmes de gestion de bases de données et (ii) de données ’simplement’ stockées dans des fichiers;
• Problèmes de performance des traitements/requêtes distribués;
• Paradigme Map/Reduce et de ses dérivés (e.g. Spark);

Flux de données

• Acquisition
• Modélisation
• Filtrage
• Approches d’analyse de flux de données

Compétences ciblées

• Comprendre ce qui se cache derrière le mot BIG DATA
• Comprendre l’intérêt et les enjeux du BIG DATA
• Comprendre la différence entre NoSQL et les bases de données structurées
• Identifier les principales familles et caractéristiques des bases de données NoSQL
• Choisir la technologie NoSQL adaptée à un contexte
• Acquérir une expertise sur les technologies MongoDB, ElasticSearch, Redis et Neo4J
• Comprendre l’intérêt des plateformes de traitements parallélisés (Hadoop, Spark)
• Comprendre l’écosystème Hadoop
• Développer des traitements parallélisés sous forme de batch et de micro-batch avec SPARK