Apache Hadoop, développer des applications pour le Big Data

Objectifs

Construire un programme à base de Map Reduce

Intégrer Hadoop HBase dans un workflow d'entreprise

Travailler avec Apache Hive et Pig depuis HDFS

Utiliser un graphe de tâches avec Hadoop

Participants

Concepteurs, développeurs

Pré-requis

Bonne expérience en développement Java. Des connaissances en architecture Web constituent un plus

Moyens pédagogiques

1 poste par participant - 1 Vidéo projecteur - Support de cours fourni à chaque participant – Formation présentielle

Durée

4 jours

Les sessions inter-entreprises

Date Session
Du 16/04/2018
Au 19/04/2018
Paris
Formation standard
Du 16/04/2018
Au 19/04/2018
Caen
Formation standard
Du 16/04/2018
Au 19/04/2018
Lyon
Formation standard
Du 16/04/2018
Au 19/04/2018
Rennes
Formation standard
Du 16/04/2018
Au 19/04/2018
Lille
Formation standard
Du 16/04/2018
Au 19/04/2018
Rouen
Formation standard
Du 02/07/2018
Au 05/07/2018
Paris
Formation standard
Du 02/07/2018
Au 05/07/2018
Caen
Formation standard
Du 02/07/2018
Au 05/07/2018
Lyon
Formation standard
Du 02/07/2018
Au 05/07/2018
Rennes
Formation standard
Du 02/07/2018
Au 05/07/2018
Lille
Formation standard
Du 02/07/2018
Au 05/07/2018
Rouen
Formation standard
Ce plan de cours est établi à titre indicatif. Son contenu peut être adapté à chaque formation Télécharger la fiche pdfDemander un devis

Code

ApaHado

Description détaillée

Le Big Data 

Définition du périmètre du Big Data.

Le rôle du projet Hadoop.

Les concepts de base des projets Big Data.

Présentation du Cloud Computing.

Différence entre Cloud Computing privé et public.

Les architectures Big Data à base du projet Hadoop.

Démonstration

Usage d'Hadoop et de GoogleApp

 

Collecte de données et application de Map Reduce 

Analyse des flux de données dans l'entreprise.

Données structurées et non-structurées.

Les principes de l'analyse sémantique des données d'entreprise.

Graphe des tâches à base de MapReduce.

La granularité de cohérence des données.

Transfert de données depuis un système de persistance dans Hadoop.

Transfert de données d'un Cloud dans Hadoop.

Travaux pratiques 

Gérer la collecte d'informations clientèles par Map Reduce. Configuration de l'implémentation YARN. Développement d'une tâche basée sur Map Reduce.

 
Le stockage des données avec HBase 
Plusieurs types de base de données XML.
Patterns d'usages et application au Cloud.
Application de Hadoop database au sein d'un workflow.
Utilisation des projets Hive/Pig.
Utilisation du projet HCatalog.
L'API Java HBase.
Travaux pratiques 
Gérer les modifications d'un catalogue de données fournisseur
 
Le stockage des données sur HDFS 
Patterns d'usages et application au Cloud.
Architecture et installation d'un système HDFS, journal, NameNode, DataNode.
Opérations, commandes et gestion des commandes.
L'API HDFS Java.
Analyse de données avec Apache Pig.
Le langage Pig Latin. Utiliser Apache Pig avec Java.
Requêtage avec Apache Hive.
Réplication de données. Partage de données sur une architecture HDFS.
Travaux pratiques 
Administrer un référentiel client partagé sur Hadoop. Utilisation de la console de visualisation.
 
Spring Data Hadoo
Introduction à Spring et Spring Data.
Le namespace Hadoop pour Spring.
Utiliser Spring pour simplifier la configuration Hadoop.
Configuration du cache distribué.
Définition des Jobs et dépendance entre Jobs.
Intégration des outils (Pig, Hive...).
Travaux pratiques 
Refondre la gestion du catalogue de données fournisseur via Spring Data
 
 
 

Les dernières places disponibles

Aucune annonce pour le moment
Une erreur est survenue
Une erreur est survenue, l'administrateur a été contacté
Revenir à la première page