Introduction

Le cadre d'application Apache Spark est un moteur d'analyse unifié pour le traitement de données à grande échelle développer en Scala. Il contient les bibliothèques Spark SQL (SQL et DataFrame), Spark Streaming, MLib et GraphX. L'Apache Spark propose plus de 80 opérateurs de haut niveau facilitant la création d'applications parallèles. Il permet d'être utiliser de manière interactive à partir de l'interpréteur SQL, Scala, Python et R. L'Apache Spark se distingue par sa vitesse en atteignant des performances élevées pour les données par lots et en continu, à l'aide d'un planificateur DAG de pointe, d'un optimiseur de requêtes et d'un moteur d'exécution physique.

Remarque

• L'entreprise Microsoft propose .NET for Apache Spark contenant des API pour utiliser Apache Spark à partir des langages de programmation C# et F#.