Programmation R et intégration Big Data

1 - Présentation R

• Le projet R Programming
• Calculs statistiques et génération de graphiques
• Points forts de R Programming
• Besoins du BigData
• Positionnement R programming par rapport à Hadoop

2 - Mise en oeuvre de R

• Travaux pratiques : installation et tests sur une plate-forme CentOS
• Utilisation de R en mode commande
• Commandes de base. Syntaxe
• Opérations de base. Expressions
• Manipulations de nombres, vecteurs, tableaux, matrices.listes, etc.

3 - Tableaux et matrices

• Déclaration, dimensionnement, indexation
• Opérations de base : produit de tableaux, transposition, produits de matrices
• Matrices : équations linéaires, inversion, valeur propre, vecteur propre, déterminant, moindre carré, …

4 - Liste et DataFrames

• Définitions, cas d’utilisation
• Attachement, détachement. Chargement d’un dataframe. La fonction scan

5 - Statistiques

• Distributions embarquées : uniforme, normale, poisson, exponentielle, …
• Calculs statistiques. Modèles statistiques
• Affichage en graphes, histogrammes

6 - Import/export

• Formats texte, csv, xml, binaire, largeur fixe, images (jpeg, png). Encodage. Filtrage
• Importation SQL. Importation depuis un socket réseau
• Travaux pratiques : importation de données géodésiques et export au format Json

7 - Intégration Hadoop

• Association de la puissance du calcul distribué fourni par les outils hadoop
• Différents moyens d’intégration : sparkR, RHbase, RHDFS, RHadoop, rmr2 pour utiliser le système distribué hdfs depuis R, pour accéder à HBase depuis les programmes en R
• Transformation d’un dataframe R en un dataframe Spark
• Travaux pratiques avec Hadoop

8 - Fonctions spécifiques

• Définition de nouvelles fonctions. Appels. Passage d’argument
• Construction d’une bibliothèque
• Diffusion, installation avec R CMD INSTALL

9 - Evolutions

• Les acteurs : IBM avec BigInsights, Revolution R avec ScaleR