Accueil > Catalogue > Technologies de l’information > Big Data : architecture et technologies

Big Data : architecture et technologies

Prédire les intentions des clients, repérer les pannes avant qu’elles ne surviennent, identifier le candidat parfait, etc. Un rêve que les entreprises touchent désormais du doigt, grâce aux dernières techniques d’analyse des milliards de données disponibles. Le Big Data s’impose comme l’une des évolutions majeures des systèmes d’information, à la fois sur les plans métier, fonctionnels et technologiques. Le Big Data est un écosystème riche et complexe, que les DSI vont devoir maitriser rapidement pour accompagner les directions métier.
Cette formation présente les problèmes spécifiques du Big Data et les solutions techniques potentielles, de la gestion des données aux différents types de traitement, qui témoignent d’une rupture par rapport aux moyens usuels d’analyse du fait des quantités traitées.

A l’issue de la formation, vous saurez :

  • Identifier les concepts du Big Data
  • Appréhender les véritables enjeux d’un projet Big Data
  • Mener un projet Big Data en tenant compte de l’innovation technologique

Méthode pédagogique :

  • Cette formation pratique est illustrée de nombreux exemples et retours d’expérience.
Jour 1 - Haut

Introduction

  • Le besoin : volumes importants de données, traitements optimisés de flux de données au fil de l’eau, liés aux nouvelles technologies et aux nouveaux usages.
  • Domaines concernés : recherche scientifique, médical, e-commerce, sécurité, etc.
  • Développement des techniques sur différents aspects : stockage, indexation/recherche, calcul.
  • Définition ETL : Extract Transform Load.
  • Les acteurs.

Stockage

  • Caractéristiques NoSQL :
    • Structure de données proches des utilisateurs, développeurs
    • Données structurées et non structurées, documents, images, fichiers XML, JSON,CSV, etc.
  • Les différents modes et formats de stockage.
  • Stockage réparti : réplication, sharping, gossip protocl, hachage.
  • Systèmes de fichiers distribués : GFS, HDFS, BigTable, etc.
  • Les bases de données.
  • Quelques exemples de produits et leurs caractéristiques :
    • Cassandra
    • MongoDB
    • CouchDB
    • DynamoDB
Jour 2 - Haut

Indexation et recherche

  • Moteurs de recherche.
  • Principe de fonctionnement.
  • Méthodes d’indexation.
  • Exemple de Lucene, et mise en œuvre avec solr.
  • Recherche dans les bases de volumes importants :
    • Exemples de produits et comparaison :dremel, drill, elasticsearch, MapReduce

Calcul et restitution, integration

  • Différentes solutions : calculs en mode batch, ou en temps réel, sur des flux de données ou des données statiques.
  • Les produits :
    • Langage de calculs statistiques
    • R Statistics Language
  • Outils de calcul sur des volumes importants :
    • Storm en temps réel
    • Hadoop en mode batch
  • Zoom sur Hadoop : complémentarité de HDMS et MapReduce.

Evolutions

  • Les offres Saas BigData comme Google BigQuery.
  • Les limites.
  • Les nouveautés annoncées.
footer