Installer Apache Spark sur Ubuntu 20.04 LTS
Apache Spark open source est un système de traitement distribué conçu pour le traitement du big data. Il utilise la mise en cache en mémoire et l'exécution optimisée des requêtes pour effectuer rapidement des requêtes analytiques sur de grands ensembles de données. Ce framework propose des API de haut niveau en Java, Scala, Python et R. Vous pouvez accéder à HDFS, Cassandra, HBase, Hive, Tachyon et à toute source de données Hadoop. Il s'exécute sur les gestionnaires de clusters Standalone, YARN et Mesos.
Tout au long de cet article, vous apprendrez comment installer apache-spark sur Ubuntu 20.04
Étape 1 : Configurer le serveur cloud VPSie
- Connectez-vous à votre système ou enregistrez-en un nouvellement créé en vous connectant à votre compte VPSie.
- Connectez-vous par SSH en utilisant les identifiants que nous vous avons envoyés par e-mail.
- Une fois connecté à votre instance Ubuntu 20.04, mettez à jour votre système à l'aide de la commande suivante.
apt-get update && apt-get upgrade -y
Étape 2 : Installer Java.
Exécutez la commande suivante,
apt-get install openjdk-11-jdk
Vérifier l'installation de Java,
# java -version
Étape 3 : Installer Scala.
Exécutez la commande suivante,
apt-get install scalaVérifier la version de Scala,
# scala -version
Scala code runner version 2.11.12 -- Copyright 2002-2017, LAMP/EPFL
Saisissez « scala » dans la ligne de commande pour vous connecter à Scala,
Étape 4 : Installer Apache Spark
Téléchargez le fichier à l'aide de la commande suivante,
curl -O https://archive.apache.org/dist/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz
Vous devrez extraire le fichier téléchargé,
tar xvf spark-3.2.0-bin-hadoop3.2.tgz
Modifiez le site du fichier d'extraction téléchargé,
mv spark-3.1.1-bin-hadoop3.2/ /opt/spark
Ouvrez le fichier de configuration bashrc,
vim ~/.bashrc
Ajoutez les lignes suivantes :
export SPARK_HOME=/opt/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
Activez le fichier bashrc,
source ~/.bashrc
Lancez le serveur contrôleur,
start-master.sh
Ouvrez le port 8080 du pare-feu UFW,
ufw allow 8080/tcpVous pouvez accéder à l'interface web d'Apache Spark,
http://server-ip:8080/
Lancez le processus worker,
start-slave.sh spark://ubuntu:7077
Utilisez la console Spark,
/opt/spark/bin/spark-shell
Pour Python, utilisez Pyspark,
/opt/spark/bin/pyspark
J'espère que cet article vous a été utile et que vous y avez trouvé des informations intéressantes.
Configurer l'Instantané des dossiers partagés sur le serveur
Qu'est-ce qu'Apache Spark ?Apache Spark est un framework de calcul distribué utilisé pour le traitement de grands jeux de données en parallèle sur un cluster d'ordinateurs. Conçu pour être rapide et efficace, il peut être utilisé pour diverses tâches, notamment le traitement de données, l'apprentissage automatique et le traitement de graphes.
Comment installer Apache Spark sur Ubuntu ?Pour installer Apache Spark sur Ubuntu, vous pouvez suivre ces étapes :
Installer Java : Apache Spark nécessite l'installation de Java 8 ou d'une version ultérieure sur votre système. Vous pouvez installer Java en exécutant la commande suivante :
sudo apt install openjdk-8-jdkTélécharger Apache Spark : Vous pouvez télécharger la dernière version d'Apache Spark depuis le site officiel. Une fois le téléchargement terminé, extrayez les fichiers dans un répertoire de votre choix.
Configurer les variables d'environnement : Vous devez configurer des variables d'environnement pour pointer vers l'emplacement où vous avez installé Spark. Vous pouvez le faire en ajoutant les lignes suivantes à votre fichier ~/.bashrc :
bashexport SPARK_HOME=/path/to/spark export PATH=$SPARK_HOME/bin:$PATHVérifier l'installation : Vous pouvez vérifier que Spark est installé correctement en exécutant la commande suivante :
spark-shell
Il existe un certain nombre d'outils qui peuvent être utilisés avec Apache Spark, notamment :
- Spark SQL : Un module pour travailler avec des données structurées en utilisant une syntaxe similaire à SQL
- Spark Streaming : Un module pour le traitement de flux de données en temps réel
- Spark MLlib : Une bibliothèque d'algorithmes d'apprentissage automatique pour l'analyse de données
- Spark GraphX : Un module pour travailler avec des données de graphes
Pour commencer à utiliser Apache Spark, vous devez écrire une application Spark à l'aide de l'une des API fournies par le framework. Vous pouvez écrire des applications en Java, Scala ou Python, et de nombreux exemples et tutoriels sont disponibles en ligne pour vous aider à démarrer.
Puis-je utiliser Apache Spark avec Hadoop ?Oui, Apache Spark peut être utilisé avec Hadoop en tant que moteur de traitement de données. En fait, Spark est souvent utilisé comme remplacement de MapReduce dans les flux de travail de traitement de données basés sur Hadoop, car il est plus rapide et plus efficace.
Apache Spark peut-il être exécuté dans un environnement distribué ?Oui, Apache Spark est conçu pour s'exécuter dans un environnement distribué et peut fonctionner sur un cluster d'ordinateurs. Vous pouvez configurer un cluster Spark en installant Spark sur chaque nœud du cluster et en les configurant pour qu'ils fonctionnent ensemble.
Comment Apache Spark gère-t-il le partitionnement des données ?Apache Spark partitionne automatiquement les données sur un cluster d'ordinateurs pour permettre le traitement parallèle. Les données peuvent être partitionnées par clé ou par plage, et le nombre de partitions peut être défini manuellement ou calculé automatiquement en fonction de la taille des données et des ressources disponibles dans le cluster.
Comment Apache Spark gère-t-il la tolérance aux pannes ?Apache Spark est conçu pour être tolérant aux pannes et peut se rétablir automatiquement en cas d'échec. Si un nœud tombe en panne, Spark redistribue automatiquement les données et redémarre la tâche défaillante sur un autre nœud du cluster. Spark fournit également des mécanismes de réplication des données et de point de contrôle pour garantir que les données ne sont pas perdues en cas de panne.
Apache Spark peut-il être utilisé pour le traitement de données en temps réel ?Oui, Apache Spark peut être utilisé pour le traitement de données en temps réel grâce à son module Spark Streaming. Spark Streaming permet de traiter des flux de données en temps réel en utilisant la même API que le traitement par lots, et prend en charge les calculs par fenêtres et le traitement avec état.
Vues : 1 737Besoin d'aide sur ce sujet ? Posez une question à notre assistant IA !
L'assistant se concentre sur : Comment installer Apache Spark sur Ubuntu 20.04 LTS
Bonjour ! Comment puis-je vous aider avec « Comment installer Apache Spark sur Ubuntu 20.04 LTS » ?Partager sur
Facebook Twitter LinkedIn Imprimer Préc.PrécédentComment effectuer un scan de ports avec Nmap sur Ubuntu 20.04 SuivantComment installer Eclipse IDE sur Ubuntu 20.04SuivantEssayez VPSie
La solution de serveur cloud la plus rapide, gratuitement
Rechercher
Catégorie
Tags
- Apache spark, comment installer apache spark, comment installer apache spark sur ubuntu, Comment installer Apache Spark sur Ubuntu 20.04 LTS, Installer apache, Installer apache spark, Installer Apache spark sur linux, Ubuntu, Ubuntu 20, Ubuntu 20.04
Dernières mises à jour
SUN – Réseau unifié étendu
13 octobre 2026 Lire la suite »
Comment protéger SSH avec Fail2ban sur Ubuntu 24.04
6 octobre 2026 Lire la suite »
Comment configurer un pare-feu UFW sur Ubuntu 24.04
6 octobre 2026 Lire la suite »
Comment configurer Nginx en tant que proxy inverse sur Ubuntu 24.04
6 octobre 2026 Lire la suite »
Comment installer Docker et Docker Compose sur Ubuntu 24.04
6 octobre 2026 Lire la suite »
Comment installer Beszel sur Ubuntu et Debian
18 septembre 2026 Lire la suite »
Comment installer Pulumi sur Ubuntu et Debian
16 septembre 2026 Lire la suite »
Comment installer 1Panel sur Ubuntu et Debian
15 septembre 2026 Lire la suite »
Comment installer MinIO Server et Console sur Debian / Ubuntu
22 août 2026 Lire la suite »
Comment installer K9s sur Ubuntu / Debian
22 août 2026 Lire la suite »Articles précédents
Comment sécuriser votre VPS Linux – Durcissement SSH
17 novembre 2014 Lire la suite »Utilisation de SCP sous Linux – Guide
23 novembre 2014 Lire la suite »Déployez un serveur de gestion Ubiquiti tout-en-un (mFi – UniFi – AirControl) sur VPSie en quelques minutes.
12 février 2015 Lire la suite »Autorisations des utilisateurs du serveur MySql – Exemples pratiques
14 février 2015 Lire la suite »OpenSSL – Générer des certificats SSL sur VPS Linux
19 février 2015 Lire la suite »Comment déployer des serveurs Linux (CentOS, Debian, Ubuntu, etc.) sur VPSie en 40 secondes.
14 septembre 2017 Lire la suite »
Qu'est-ce que le cloud computing ? Un guide simple
17 février 2020 Lire la suite »Comment installer la pile LAMP sur Ubuntu 20.04
27 octobre 2020 Lire la suite »
Configuration de Gitlab sur VPSie
21 juin 2021 Lire la suite »
Configuration du serveur mysql. VPSie
21 juin 2021 Lire la suite »Lire plus d'articles
Parcourez d'autres guides, conseils et guides pratiques dans notre base de connaissances.
Tutoriels pratiquesComment installer Trace Route sous Linux
Tutoriels pratiquesCréer un utilisateur sudo sur CentOS
Tutoriels pratiquesCIDR, masques de sous-réseau et adresses IP utilisables : guide de référence rapide
Manuel du panneau de contrôlePanneau de contrôle – Sauvegardes globales
Manuel du panneau de contrôlePanneau de contrôle – Passerelles Internet
Tutoriels pratiques