Accueil VPSie

Retour à la base de connaissances

Installer Apache Spark sur Ubuntu 20.04 LTS

Apache Spark open source est un système de traitement distribué conçu pour le traitement du big data. Il utilise la mise en cache en mémoire et l'exécution optimisée des requêtes pour effectuer rapidement des requêtes analytiques sur de grands ensembles de données. Ce framework propose des API de haut niveau en Java, Scala, Python et R. Vous pouvez accéder à HDFS, Cassandra, HBase, Hive, Tachyon et à toute source de données Hadoop. Il s'exécute sur les gestionnaires de clusters Standalone, YARN et Mesos.

Tout au long de cet article, vous apprendrez comment installer apache-spark sur Ubuntu 20.04

Étape 1 : Configurer le serveur cloud VPSie

 
  1. Connectez-vous à votre système ou enregistrez-en un nouvellement créé en vous connectant à votre compte VPSie.
  2. Connectez-vous par SSH en utilisant les identifiants que nous vous avons envoyés par e-mail.
  3. Une fois connecté à votre instance Ubuntu 20.04, mettez à jour votre système à l'aide de la commande suivante.
apt-get update && apt-get upgrade -y

Étape 2 : Installer Java.

Exécutez la commande suivante,

apt-get install openjdk-11-jdk

Vérifier l'installation de Java,

# java -version

Étape 3 : Installer Scala.

Exécutez la commande suivante,

apt-get install scala

Vérifier la version de Scala,

# scala -version
Scala code runner version 2.11.12 -- Copyright 2002-2017, LAMP/EPFL

Saisissez « scala » dans la ligne de commande pour vous connecter à Scala,

Étape 4 : Installer Apache Spark

Téléchargez le fichier à l'aide de la commande suivante,

curl -O https://archive.apache.org/dist/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz

Vous devrez extraire le fichier téléchargé,

tar xvf spark-3.2.0-bin-hadoop3.2.tgz

Modifiez le site du fichier d'extraction téléchargé,

mv spark-3.1.1-bin-hadoop3.2/ /opt/spark

Ouvrez le fichier de configuration bashrc,

vim ~/.bashrc

Ajoutez les lignes suivantes :

export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

Activez le fichier bashrc,

source ~/.bashrc

Lancez le serveur contrôleur,

start-master.sh

Ouvrez le port 8080 du pare-feu UFW,

ufw allow 8080/tcp

Vous pouvez accéder à l'interface web d'Apache Spark,

http://server-ip:8080/

Lancez le processus worker,

start-slave.sh spark://ubuntu:7077

Utilisez la console Spark,

/opt/spark/bin/spark-shell

Pour Python, utilisez Pyspark,

/opt/spark/bin/pyspark

J'espère que cet article vous a été utile et que vous y avez trouvé des informations intéressantes.

Configurer l'Instantané des dossiers partagés sur le serveur

Qu'est-ce qu'Apache Spark ?

Apache Spark est un framework de calcul distribué utilisé pour le traitement de grands jeux de données en parallèle sur un cluster d'ordinateurs. Conçu pour être rapide et efficace, il peut être utilisé pour diverses tâches, notamment le traitement de données, l'apprentissage automatique et le traitement de graphes.

Comment installer Apache Spark sur Ubuntu ?

Pour installer Apache Spark sur Ubuntu, vous pouvez suivre ces étapes :

  1. Installer Java : Apache Spark nécessite l'installation de Java 8 ou d'une version ultérieure sur votre système. Vous pouvez installer Java en exécutant la commande suivante :

     sudo apt install openjdk-8-jdk
  2. Télécharger Apache Spark : Vous pouvez télécharger la dernière version d'Apache Spark depuis le site officiel. Une fois le téléchargement terminé, extrayez les fichiers dans un répertoire de votre choix.

  3. Configurer les variables d'environnement : Vous devez configurer des variables d'environnement pour pointer vers l'emplacement où vous avez installé Spark. Vous pouvez le faire en ajoutant les lignes suivantes à votre fichier ~/.bashrc :

    bashexport SPARK_HOME=/path/to/spark export PATH=$SPARK_HOME/bin:$PATH
  4. Vérifier l'installation : Vous pouvez vérifier que Spark est installé correctement en exécutant la commande suivante :

     spark-shell
Quels sont certains des outils qui peuvent être utilisés avec Apache Spark ?

Il existe un certain nombre d'outils qui peuvent être utilisés avec Apache Spark, notamment :

  • Spark SQL : Un module pour travailler avec des données structurées en utilisant une syntaxe similaire à SQL
  • Spark Streaming : Un module pour le traitement de flux de données en temps réel
  • Spark MLlib : Une bibliothèque d'algorithmes d'apprentissage automatique pour l'analyse de données
  • Spark GraphX : Un module pour travailler avec des données de graphes
Comment commencer à utiliser Apache Spark ?

Pour commencer à utiliser Apache Spark, vous devez écrire une application Spark à l'aide de l'une des API fournies par le framework. Vous pouvez écrire des applications en Java, Scala ou Python, et de nombreux exemples et tutoriels sont disponibles en ligne pour vous aider à démarrer.

Puis-je utiliser Apache Spark avec Hadoop ?

Oui, Apache Spark peut être utilisé avec Hadoop en tant que moteur de traitement de données. En fait, Spark est souvent utilisé comme remplacement de MapReduce dans les flux de travail de traitement de données basés sur Hadoop, car il est plus rapide et plus efficace.

Apache Spark peut-il être exécuté dans un environnement distribué ?

Oui, Apache Spark est conçu pour s'exécuter dans un environnement distribué et peut fonctionner sur un cluster d'ordinateurs. Vous pouvez configurer un cluster Spark en installant Spark sur chaque nœud du cluster et en les configurant pour qu'ils fonctionnent ensemble.

Comment Apache Spark gère-t-il le partitionnement des données ?

Apache Spark partitionne automatiquement les données sur un cluster d'ordinateurs pour permettre le traitement parallèle. Les données peuvent être partitionnées par clé ou par plage, et le nombre de partitions peut être défini manuellement ou calculé automatiquement en fonction de la taille des données et des ressources disponibles dans le cluster.

Comment Apache Spark gère-t-il la tolérance aux pannes ?

Apache Spark est conçu pour être tolérant aux pannes et peut se rétablir automatiquement en cas d'échec. Si un nœud tombe en panne, Spark redistribue automatiquement les données et redémarre la tâche défaillante sur un autre nœud du cluster. Spark fournit également des mécanismes de réplication des données et de point de contrôle pour garantir que les données ne sont pas perdues en cas de panne.

Apache Spark peut-il être utilisé pour le traitement de données en temps réel ?

Oui, Apache Spark peut être utilisé pour le traitement de données en temps réel grâce à son module Spark Streaming. Spark Streaming permet de traiter des flux de données en temps réel en utilisant la même API que le traitement par lots, et prend en charge les calculs par fenêtres et le traitement avec état.

Vues : 1 737

Besoin d'aide sur ce sujet ? Posez une question à notre assistant IA !

L'assistant se concentre sur : Comment installer Apache Spark sur Ubuntu 20.04 LTS

Bonjour ! Comment puis-je vous aider avec « Comment installer Apache Spark sur Ubuntu 20.04 LTS » ?
Partager sur
Facebook Twitter LinkedIn Imprimer Préc.PrécédentComment effectuer un scan de ports avec Nmap sur Ubuntu 20.04 SuivantComment installer Eclipse IDE sur Ubuntu 20.04Suivant

Essayez VPSie
La solution de serveur cloud la plus rapide, gratuitement

Rechercher

Catégorie

Tags

Dernières mises à jour

Trois datacenters regroupés en un seul segment Layer-2 via SUN

SUN – Réseau unifié étendu

13 octobre 2026 Lire la suite »

Comment protéger SSH avec Fail2ban sur Ubuntu 24.04

6 octobre 2026 Lire la suite »

Comment configurer un pare-feu UFW sur Ubuntu 24.04

6 octobre 2026 Lire la suite »

Comment configurer Nginx en tant que proxy inverse sur Ubuntu 24.04

6 octobre 2026 Lire la suite »

Comment installer Docker et Docker Compose sur Ubuntu 24.04

6 octobre 2026 Lire la suite » Beszel sur vpsie

Comment installer Beszel sur Ubuntu et Debian

18 septembre 2026 Lire la suite » Pulumi sur vpsie

Comment installer Pulumi sur Ubuntu et Debian

16 septembre 2026 Lire la suite » Installer 1Panel sur Ubuntu et Debian

Comment installer 1Panel sur Ubuntu et Debian

15 septembre 2026 Lire la suite » Comment installer MINIO

Comment installer MinIO Server et Console sur Debian / Ubuntu

22 août 2026 Lire la suite » Comment installer K9s

Comment installer K9s sur Ubuntu / Debian

22 août 2026 Lire la suite »

Articles précédents

QLOUD

Comment sécuriser votre VPS Linux – Durcissement SSH

17 novembre 2014 Lire la suite »

Utilisation de SCP sous Linux – Guide

23 novembre 2014 Lire la suite »

Déployez un serveur de gestion Ubiquiti tout-en-un (mFi – UniFi – AirControl) sur VPSie en quelques minutes.

12 février 2015 Lire la suite »

Autorisations des utilisateurs du serveur MySql – Exemples pratiques

14 février 2015 Lire la suite »

OpenSSL – Générer des certificats SSL sur VPS Linux

19 février 2015 Lire la suite »

Comment déployer des serveurs Linux (CentOS, Debian, Ubuntu, etc.) sur VPSie en 40 secondes.

14 septembre 2017 Lire la suite »

Qu'est-ce que le cloud computing ? Un guide simple

17 février 2020 Lire la suite »

Comment installer la pile LAMP sur Ubuntu 20.04

27 octobre 2020 Lire la suite »

Configuration de Gitlab sur VPSie

21 juin 2021 Lire la suite »

Configuration du serveur mysql. VPSie

21 juin 2021 Lire la suite »

Lire plus d'articles

Parcourez d'autres guides, conseils et guides pratiques dans notre base de connaissances. Comment installer Trace Route sous Linux Tutoriels pratiques

Comment installer Trace Route sous Linux

Tutoriels pratiques

Créer un utilisateur sudo sur CentOS

CIDR, masques de sous-réseau et adresses IP utilisables : Guide de référence rapide Tutoriels pratiques

CIDR, masques de sous-réseau et adresses IP utilisables : guide de référence rapide

Manuel du panneau de contrôle

Panneau de contrôle – Sauvegardes globales

Manuel du panneau de contrôle

Panneau de contrôle – Passerelles Internet

Tutoriels pratiques

Comment installer MediaWiki sur un VPSie

Retour à la base de connaissances