الرئيسية في VPSie

العودة إلى قاعدة المعرفة

كيفية تثبيت Apache Spark على Ubuntu 20.04 LTS

Apache Spark مفتوح المصدر هو نظام معالجة موزع مصمم لمعالجة البيانات الضخمة. يستخدم التخزين المؤقت في الذاكرة وتنفيذ الاستعلامات المحسّن لإجراء استعلامات تحليلية سريعة على مجموعات بيانات كبيرة. يوفر هذا الإطار واجهات برمجة تطبيقات عالية المستوى في Java وScala وPython وR. يمكنك الوصول إلى HDFS وCassandra وHBase وHive وTachyon وأي مصدر بيانات Hadoop. يعمل في مديري العناقيد Standalone وYARN وMesos.

على مدار هذا المقال، ستتعلم كيفية تثبيت apache-spark على Ubuntu 20.04

الخطوة 1: تكوين خادم VPSie السحابي

 
  1. سجّل الدخول إلى نظامك أو سجّل نظامًا جديدًا تم إنشاؤه حديثًا عن طريق تسجيل الدخول إلى حسابVPSie الخاص بك.
  2. اتصل عبر SSH باستخدام بيانات الاعتماد التي أرسلناها إليك عبر البريد الإلكتروني.
  3. بعد تسجيل الدخول إلى مثيل Ubuntu 20.04 الخاص بك، قم بتحديث نظامك باستخدام الأمر التالي.
apt-get update && apt-get upgrade -y

الخطوة 2: تثبيت Java.

نفّذ الأمر التالي،

apt-get install openjdk-11-jdk

تحقق من تثبيت Java،

# java -version

الخطوة 3: تثبيت Scala.

نفّذ الأمر التالي،

apt-get install scala

تحقق من إصدار Scala،

# scala -version
Scala code runner version 2.11.12 -- Copyright 2002-2017, LAMP/EPFL

أدخل "scala" في سطر الأوامر لتسجيل الدخول إلى Scala،

الخطوة 4: تثبيت Apache Spark

حمّل الملف باستخدام الأمر التالي،

curl -O https://archive.apache.org/dist/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz

ستحتاج إلى استخراج الملف المحمّل،

tar xvf spark-3.2.0-bin-hadoop3.2.tgz

غيّر موقع ملف الاستخراج المحمّل،

mv spark-3.1.1-bin-hadoop3.2/ /opt/spark

افتح ملف تكوين bashrc،

vim ~/.bashrc

أضف الأسطر التالية:

export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

فعّل ملف bashrc،

source ~/.bashrc

شغّل خادم المتحكم،

start-master.sh

افتح منفذ 8080 في جدار الحماية UFW،

ufw allow 8080/tcp

يمكنك الوصول إلى واجهة الويب الخاصة ب Apache Spark،

http://server-ip:8080/

شغّل عملية العامل،

start-slave.sh spark://ubuntu:7077

استخدم Spark shell،

/opt/spark/bin/spark-shell

بالنسبة إلى Python، استخدم Pyspark،

/opt/spark/bin/pyspark

آمل أن تكون قد وجدت هذا المقال مفيداً، وأن تكون قد حصلت على بعض المعلومات منه.

اضبط النسخ الظلي لل مجلدات المشتركة في الخادم

ما هو Apache Spark؟

Apache Spark هو إطار عمل للحوسبة الموزعة يُستخدم لمعالجة مجموعات البيانات الكبيرة بالتوازي عبر مجموعة من الحواسيب. صُمم ليكون سريعًا وفعالًا، ويمكن استخدامه لمهام متنوعة تشمل معالجة البيانات، والتعلم الآلي، ومعالجة الرسوم البيانية.

كيف أقوم بتثبيت Apache Spark على Ubuntu؟

لتثبيت Apache Spark على Ubuntu، يمكنك اتباع الخطوات التالية:

  1. تثبيت Java: يتطلب Apache Spark تثبيت Java 8 أو أحدث على نظامك. يمكنك تثبيت Java بتشغيل الأمر التالي:

     sudo apt install openjdk-8-jdk
  2. تنزيل Apache Spark: يمكنك تنزيل أحدث إصدار من Apache Spark من الموقع الرسمي. بعد التنزيل، قم باستخراج الملفات إلى الموقع الذي تختاره.

  3. إعداد متغيرات البيئة: ستحتاج إلى إعداد متغيرات البيئة للإشارة إلى الموقع الذي ثبّت فيه Spark. يمكنك القيام بذلك بإضافة الأسطر التالية إلى ملف ~/.bashrc الخاص بك:

    bashexport SPARK_HOME=/path/to/spark export PATH=$SPARK_HOME/bin:$PATH
  4. التحقق من التثبيت: يمكنك التحقق من أن Spark تم تثبيته بشكل صحيح بتشغيل الأمر التالي:

     spark-shell
ما هي بعض الأدوات التي يمكن استخدامها مع Apache Spark؟

هناك عدد من الأدوات التي يمكن استخدامها مع Apache Spark، بما في ذلك:

  • Spark SQL: وحدة للعمل مع البيانات المهيكلة باستخدام صياغة مشابهة ل SQL
  • Spark Streaming: وحدة لمعالجة تدفقات البيانات في الوقت الفعلي
  • Spark MLlib: مكتبة لخوارزميات التعلم الآلي لتحليل البيانات
  • Spark GraphX: وحدة للعمل مع بيانات الرسوم البيانية
كيف أبدأ استخدام Apache Spark؟

للبدء في استخدام Apache Spark، ستحتاج إلى كتابة تطبيق Spark باستخدام إحدى واجهات API التي يوفرها الإطار. يمكنك كتابة التطبيقات بلغة Java أو Scala أو Python، وهناك العديد من الأمثلة والدروس التعليمية المتاحة على الإنترنت لمساعدتك على البدء.

هل يمكنني استخدام Apache Spark مع Hadoop؟

نعم، يمكن استخدام Apache Spark مع Hadoop كمحرك لمعالجة البيانات. في الواقع، يُستخدم Spark غالبًا كبديل ل MapReduce في سير عمل معالجة البيانات المعتمدة على Hadoop، لأنه أسرع وأكثر كفاءة.

هل يمكن تشغيل Apache Spark في بيئة موزعة؟

نعم، صُمم Apache Spark للعمل في بيئة موزعة ويمكن تشغيله على مجموعة من الحواسيب. يمكنك إعداد مجموعة Spark عن طريق تثبيت Spark على كل عقدة في المجموعة وإعدادها للعمل معًا.

كيف يتعامل Apache Spark مع تقسيم البيانات؟

يقسم Apache Spark البيانات تلقائيًا عبر مجموعة من الحواسيب لتمكين المعالجة المتوازية. يمكن تقسيم البيانات بالمفتاح أو بالنطاق، ويمكن تحديد عدد الأقسام يدويًا أو حسابها تلقائيًا بناءً على حجم البيانات والموارد المتاحة في المجموعة.

كيف يتعامل Apache Spark مع تحمل الأعطال؟

صُمم Apache Spark ليكون متحملاً للأعطال، ويمكنه التعافي من الأعطال تلقائيًا. إذا تعطلت عقدة، سيعيد Spark توزيع البيانات تلقائيًا ويعيد تشغيل المهمة المعطلة على عقدة أخرى في المجموعة. كما يوفر Spark آليات لنسخ البيانات ونقاط التفتيش للتأكد من عدم فقدان البيانات في حالة حدوث عطل.

هل يمكن استخدام Apache Spark لمعالجة البيانات في الوقت الفعلي؟

نعم، يمكن استخدام Apache Spark لمعالجة البيانات في الوقت الفعلي باستخدام وحدة Spark Streaming. تتيح لك Spark Streaming معالجة تدفقات البيانات في الوقت الفعلي باستخدام نفس واجهة API المستخدمة في المعالجة الدفعية، وتوفر دعمًا للحسابات النافذية والمعالجة ذات الحالة.

عدد المشاهدات: 1,737

هل تحتاج إلى مساعدة في هذا الموضوع؟ اسأل مساعدنا الذكي!

يركّز المساعد على: كيفية تثبيت Apache Spark على Ubuntu 20.04 LTS

مرحبًا! كيف يمكنني مساعدتك فيما يتعلق ب "كيفية تثبيت Apache Spark على Ubuntu 20.04 LTS"؟
شارك على
Facebook Twitter LinkedIn طباعة السابقالسابقكيفية إجراء مسح للموانئ باستخدام Nmap على Ubuntu 20.04 التاليكيفية تثبيت Eclipse IDE على Ubuntu 20.04التالي

جرّب VPSie
أسرع حل لخادم سحابي مجاناً

بحث

الفئة

الوسوم

أحدث التحديثات

ثلاثة مراكز بيانات مدمجة في مقطع Layer-2 واحد عبر SUN

SUN – الشبكة الموحدة الممتدة

13 أكتوبر 2026 اقرأ المزيد »

كيفية حماية SSH باستخدام Fail2ban على Ubuntu 24.04

6 أكتوبر 2026 اقرأ المزيد »

كيفية إعداد جدار حماية UFW على Ubuntu 24.04

6 أكتوبر 2026 اقرأ المزيد »

كيفية إعداد Nginx كوكيل عكسي على Ubuntu 24.04

6 أكتوبر 2026 اقرأ المزيد »

كيفية تثبيت Docker و Docker Compose على Ubuntu 24.04

6 أكتوبر 2026 اقرأ المزيد » Beszel على vpsie

كيفية تثبيت Beszel على Ubuntu و Debian

18 سبتمبر 2026 اقرأ المزيد » Pulumi على vpsie

كيفية تثبيت Pulumi على Ubuntu و Debian

16 سبتمبر 2026 اقرأ المزيد » تثبيت 1Panel على Ubuntu وDebian

كيفية تثبيت 1Panel على Ubuntu و Debian

15 سبتمبر 2026 اقرأ المزيد » كيفية تثبيت MINIO

كيفية تثبيت خادم MinIO ولوحة التحكم على Debian / Ubuntu

22 أغسطس 2026 اقرأ المزيد » كيفية تثبيت K9s

كيفية تثبيت K9s على Ubuntu / Debian

22 أغسطس 2026 اقرأ المزيد »

منشورات أقدم

QLOUD

كيفية تأمين خادم VPS الخاص بنظام Linux – تقوية SSH

17 نوفمبر 2014 اقرأ المزيد »

استخدام SCP في Linux – دليل

23 نوفمبر 2014 اقرأ المزيد »

انشر خادم إدارة Ubiquiti الشامل (mFi – UniFi – AirControl) على VPSie في دقائق.

12 فبراير 2015 اقرأ المزيد »

صلاحيات مستخدم خادم MySql – أمثلة عملية

14 فبراير 2015 اقرأ المزيد »

OpenSSL – توليد شهادات SSL في VPS Linux

19 فبراير 2015 اقرأ المزيد »

كيفية نشر خوادم Linux (CentOS، Debian، Ubuntu إلخ) على VPSie في 40 ثانية.

14 سبتمبر 2017 اقرأ المزيد »

ما هو الحوسبة السحابية؟ دليل بسيط

17 فبراير 2020 اقرأ المزيد »

كيفية تثبيت مجموعة LAMP على Ubuntu 20.04

27 أكتوبر 2020 اقرأ المزيد »

إعداد Gitlab على VPSie

21 يونيو 2021 اقرأ المزيد »

إعداد خادم mysql. VPSie

21 يونيو 2021 اقرأ المزيد »

اقرأ المزيد من المقالات

تصفح المزيد من الأدلة المفيدة والنصائح ومقالات إرشادية في قاعدة معرفتنا. كيفية تثبيت Trace Route في Linux دروس إرشادية

كيفية تثبيت Trace Route في Linux

دروس إرشادية

كيفية إنشاء مستخدم Sudo على CentOS

CIDR، أقنعة الشبكة الفرعية، وعناوين IP المتاحة: دليل مرجعي سريع دروس إرشادية

CIDR، وأقنعة الشبكة الفرعية، وعناوين IP القابلة للاستخدام: دليل مرجعي سريع

دليل لوحة التحكم

لوحة التحكم – النسخ الاحتياطي الشامل

دليل لوحة التحكم

لوحة التحكم – بوابات الإنترنت

دروس إرشادية

كيفية تثبيت MediaWiki على VPSie

العودة إلى قاعدة المعرفة