Página inicial da VPSie

Voltar para a base de conhecimento

Como instalar Apache Spark no Ubuntu 20.04 LTS

O Apache Spark de código aberto é um sistema de processamento distribuído projetado para processamento de big data. Ele usa cache em memória e execução de consultas otimizada para realizar consultas analíticas rápidas em grandes conjuntos de dados. Este framework oferece APIs de alto nível em Java, Scala, Python e R. Você pode acessar HDFS, Cassandra, HBase, Hive, Tachyon e qualquer fonte de dados Hadoop. Ele é executado nos gerenciadores de cluster Standalone, YARN e Mesos.

Ao longo deste artigo, você aprenderá como instalar o apache-spark no Ubuntu 20.04

Etapa 1: Configure o servidor em nuvem VPSie

 
  1. Faça login no seu sistema ou registre um recém-criado acessando suaconta VPSie.
  2. Conecte-se via SSH usando as credenciais que enviamos por e-mail.
  3. Após entrar na sua instância Ubuntu 20.04, atualize seu sistema usando o comando a seguir.
apt-get update && apt-get upgrade -y

Etapa 2: Instale o Java.

Execute o seguinte comando,

apt-get install openjdk-11-jdk

Verifique a instalação do Java,

# java -version

Etapa 3: Instale o Scala.

Execute o seguinte comando,

apt-get install scala

Verifique a versão do Scala,

# scala -version
Scala code runner version 2.11.12 -- Copyright 2002-2017, LAMP/EPFL

Digite “scala” na linha de comando para entrar no Scala,

Etapa 4: Instale o Apache Spark

Baixe o arquivo usando o seguinte comando,

curl -O https://archive.apache.org/dist/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz

Você precisará extrair o arquivo baixado,

tar xvf spark-3.2.0-bin-hadoop3.2.tgz

Altere a localização do arquivo extraído do download,

mv spark-3.1.1-bin-hadoop3.2/ /opt/spark

Abra o arquivo de configuração bashrc,

vim ~/.bashrc

Adicione as seguintes linhas:

export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

Ative o arquivo bashrc,

source ~/.bashrc

Inicie o servidor controlador,

start-master.sh

Abra a porta 8080 no firewall UFW,

ufw allow 8080/tcp

Você pode acessar a interface web do Apache Spark,

http://server-ip:8080/

Inicie o processo de worker,

start-slave.sh spark://ubuntu:7077

Use o shell do Spark,

/opt/spark/bin/spark-shell

Para Python, use Pyspark,

/opt/spark/bin/pyspark

Espero que você tenha encontrado este artigo útil e que tenha obtido algumas informações dele.

Configure a Cópia Sombra de Pastas Compartilhadas no Servidor

O que é Apache Spark?

O Apache Spark é um framework de computação distribuída usado para processar grandes conjuntos de dados em paralelo em um cluster de computadores. Ele foi projetado para ser rápido e eficiente e pode ser usado para uma variedade de tarefas, incluindo processamento de dados, aprendizado de máquina e processamento de grafos.

Como instalo o Apache Spark no Ubuntu?

Para instalar o Apache Spark no Ubuntu, você pode seguir estas etapas:

  1. Instale o Java: o Apache Spark requer que o Java 8 ou uma versão posterior esteja instalado no seu sistema. Você pode instalar o Java executando o seguinte comando:

     sudo apt install openjdk-8-jdk
  2. Baixe o Apache Spark: você pode baixar a versão mais recente do Apache Spark no site oficial. Após o download, extraia os arquivos para um diretório de sua escolha.

  3. Configure as variáveis de ambiente: você precisará configurar variáveis de ambiente para apontar para a localização onde instalou o Spark. Você pode fazer isso adicionando as seguintes linhas ao seu arquivo ~/.bashrc:

    bashexport SPARK_HOME=/path/to/spark export PATH=$SPARK_HOME/bin:$PATH
  4. Verifique a instalação: você pode verificar se o Spark foi instalado corretamente executando o seguinte comando:

     spark-shell
Quais são algumas das ferramentas que podem ser usadas com o Apache Spark?

Existem várias ferramentas que podem ser usadas com o Apache Spark, incluindo:

  • Spark SQL: um módulo para trabalhar com dados estruturados usando sintaxe semelhante à SQL
  • Spark Streaming: um módulo para processar fluxos de dados em tempo real
  • Spark MLlib: uma biblioteca de algoritmos de aprendizado de máquina para análise de dados
  • Spark GraphX: um módulo para trabalhar com dados de grafos
Como começo a usar o Apache Spark?

Para começar a usar o Apache Spark, você precisa escrever um aplicativo Spark usando uma das APIs fornecidas pelo framework. Você pode escrever aplicativos em Java, Scala ou Python, e há vários exemplos e tutoriais disponíveis online para ajudá-lo a começar.

Posso usar o Apache Spark com o Hadoop?

Sim, o Apache Spark pode ser usado com o Hadoop como um motor de processamento de dados. Na verdade, o Spark é frequentemente usado como substituto do MapReduce em fluxos de trabalho de processamento de dados baseados em Hadoop, pois é mais rápido e eficiente.

O Apache Spark pode ser executado em um ambiente distribuído?

Sim, o Apache Spark foi projetado para ser executado em um ambiente distribuído e pode ser executado em um cluster de computadores. Você pode configurar um cluster Spark instalando o Spark em cada nó do cluster e configurando-os para trabalhar juntos.

Como o Apache Spark lida com a particionamento de dados?

O Apache Spark particiona automaticamente os dados em um cluster de computadores para permitir o processamento paralelo. Os dados podem ser particionados por chave ou por intervalo, e o número de partições pode ser definido manualmente ou calculado automaticamente com base no tamanho dos dados e nos recursos disponíveis no cluster.

Como o Apache Spark lida com a tolerância a falhas?

O Apache Spark foi projetado para ser tolerante a falhas e pode se recuperar de falhas automaticamente. Se um nó falhar, o Spark redistribuirá automaticamente os dados e reiniciará a tarefa falha em um nó diferente do cluster. O Spark também fornece mecanismos de replicação de dados e checkpointing para garantir que os dados não sejam perdidos em caso de falha.

O Apache Spark pode ser usado para processamento de dados em tempo real?

Sim, o Apache Spark pode ser usado para processamento de dados em tempo real por meio do módulo Spark Streaming. O Spark Streaming permite processar fluxos de dados em tempo real usando a mesma API do processamento em lote e oferece suporte a computações em janelas e processamento com estado.

Visualizações: 1,737

Precisa de ajuda com este tópico? Pergunte ao nosso Assistente de IA!

O assistente foca em: Como Instalar o Apache Spark no Ubuntu 20.04 LTS

Olá! Como posso ajudar você com "Como Instalar o Apache Spark no Ubuntu 20.04 LTS"?
Compartilhar em
Facebook Twitter LinkedIn Imprimir AnteriorAnteriorComo executar varredura de portas usando Nmap no Ubuntu 20.04 PróximoComo Instalar o Eclipse IDE no Ubuntu 20.04Próximo

Experimente a VPSie
Solução de Servidor em Nuvem Mais Rápida Gratuitamente

Buscar

Categoria

Tags

Últimas Atualizações

Três datacenters unidos em um único segmento Layer-2 por meio do SUN

SUN – Stretched Unified Network

13 de outubro de 2026 Leia Mais »

Como Proteger o SSH com Fail2ban no Ubuntu 24.04

6 de outubro de 2026 Leia Mais »

Como Configurar um Firewall UFW no Ubuntu 24.04

6 de outubro de 2026 Leia Mais »

Como Configurar o Nginx como Proxy Reverso no Ubuntu 24.04

6 de outubro de 2026 Leia Mais »

Como instalar o Docker e o Docker Compose no Ubuntu 24.04

6 de outubro de 2026 Leia Mais » Beszel no vpsie

Como instalar o Beszel no Ubuntu e no Debian

18 de setembro de 2026 Leia Mais » Pulumi no vpsie

Como instalar o Pulumi no Ubuntu e no Debian

16 de setembro de 2026 Leia Mais » Instalar o 1Panel no Ubuntu e no Debian

Como instalar o 1Panel no Ubuntu e no Debian

15 de setembro de 2026 Leia Mais » Como instalar o MINIO

Como instalar o MinIO Server e o Console no Debian / Ubuntu

22 de agosto de 2026 Leia Mais » Como instalar o K9s

Como instalar o K9s no Ubuntu / Debian

22 de agosto de 2026 Leia Mais »

Posts anteriores

QLOUD

Como proteger seu VPS Linux – endurecimento de SSH

17 de novembro de 2014 Leia Mais »

Usando SCP no Linux – Guia

23 de novembro de 2014 Leia Mais »

Implante um servidor de gerenciamento Ubiquiti All-In-One (mFi – UniFi – AirControl) na VPSie em minutos.

12 de fevereiro de 2015 Leia Mais »

Permissões de usuário do servidor MySql – Exemplos práticos

14 de fevereiro de 2015 Leia Mais »

OpenSSL – Gerar certificados SSL em VPS Linux

19 de fevereiro de 2015 Leia Mais »

Como implantar servidores Linux (CentOS, Debian, Ubuntu etc.) na VPSie em 40 segundos.

14 de setembro de 2017 Leia Mais »

O que é computação em nuvem? Um guia simples

17 de fevereiro de 2020 Leia Mais »

Como instalar a pilha LAMP no Ubuntu 20.04

27 de outubro de 2020 Leia Mais »

Configurando o Gitlab na VPSie

21 de junho de 2021 Leia Mais »

Configurando o servidor mysql. VPSie

21 de junho de 2021 Leia Mais »

Ler mais posts

Navegue por mais guias úteis, dicas e guias práticos em nossa base de conhecimento. Como instalar o Trace Route no Linux Guias práticos

Como Instalar o Trace Route no Linux

Guias práticos

Como criar um usuário sudo no CentOS

CIDR, Máscaras de Sub-rede e Endereços IP Utilizáveis: Guia de Referência Rápida Guias práticos

CIDR, Máscaras de Sub-rede e Endereços IP Utilizáveis: Guia de Referência Rápida

Manual do painel de controle

Painel de Controle – Backups Globais

Manual do painel de controle

Painel de Controle – Gateways de Internet

Guias práticos

Como instalar o MediaWiki em um VPSie

Voltar para a base de conhecimento