كيفية تثبيت Apache Spark على Ubuntu 20.04 LTS
Apache Spark مفتوح المصدر هو نظام معالجة موزع مصمم لمعالجة البيانات الضخمة. يستخدم التخزين المؤقت في الذاكرة وتنفيذ الاستعلامات المحسّن لإجراء استعلامات تحليلية سريعة على مجموعات بيانات كبيرة. يوفر هذا الإطار واجهات برمجة تطبيقات عالية المستوى في Java وScala وPython وR. يمكنك الوصول إلى HDFS وCassandra وHBase وHive وTachyon وأي مصدر بيانات Hadoop. يعمل في مديري العناقيد Standalone وYARN وMesos.
على مدار هذا المقال، ستتعلم كيفية تثبيت apache-spark على Ubuntu 20.04
الخطوة 1: تكوين خادم VPSie السحابي
- سجّل الدخول إلى نظامك أو سجّل نظامًا جديدًا تم إنشاؤه حديثًا عن طريق تسجيل الدخول إلى حسابVPSie الخاص بك.
- اتصل عبر SSH باستخدام بيانات الاعتماد التي أرسلناها إليك عبر البريد الإلكتروني.
- بعد تسجيل الدخول إلى مثيل Ubuntu 20.04 الخاص بك، قم بتحديث نظامك باستخدام الأمر التالي.
apt-get update && apt-get upgrade -y
الخطوة 2: تثبيت Java.
نفّذ الأمر التالي،
apt-get install openjdk-11-jdk
تحقق من تثبيت Java،
# java -version
الخطوة 3: تثبيت Scala.
نفّذ الأمر التالي،
apt-get install scalaتحقق من إصدار Scala،
# scala -version
Scala code runner version 2.11.12 -- Copyright 2002-2017, LAMP/EPFL
أدخل "scala" في سطر الأوامر لتسجيل الدخول إلى Scala،
الخطوة 4: تثبيت Apache Spark
حمّل الملف باستخدام الأمر التالي،
curl -O https://archive.apache.org/dist/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz
ستحتاج إلى استخراج الملف المحمّل،
tar xvf spark-3.2.0-bin-hadoop3.2.tgz
غيّر موقع ملف الاستخراج المحمّل،
mv spark-3.1.1-bin-hadoop3.2/ /opt/spark
افتح ملف تكوين bashrc،
vim ~/.bashrc
أضف الأسطر التالية:
export SPARK_HOME=/opt/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
فعّل ملف bashrc،
source ~/.bashrc
شغّل خادم المتحكم،
start-master.sh
افتح منفذ 8080 في جدار الحماية UFW،
ufw allow 8080/tcpيمكنك الوصول إلى واجهة الويب الخاصة ب Apache Spark،
http://server-ip:8080/
شغّل عملية العامل،
start-slave.sh spark://ubuntu:7077
استخدم Spark shell،
/opt/spark/bin/spark-shell
بالنسبة إلى Python، استخدم Pyspark،
/opt/spark/bin/pyspark
آمل أن تكون قد وجدت هذا المقال مفيداً، وأن تكون قد حصلت على بعض المعلومات منه.
اضبط النسخ الظلي لل مجلدات المشتركة في الخادم
ما هو Apache Spark؟Apache Spark هو إطار عمل للحوسبة الموزعة يُستخدم لمعالجة مجموعات البيانات الكبيرة بالتوازي عبر مجموعة من الحواسيب. صُمم ليكون سريعًا وفعالًا، ويمكن استخدامه لمهام متنوعة تشمل معالجة البيانات، والتعلم الآلي، ومعالجة الرسوم البيانية.
كيف أقوم بتثبيت Apache Spark على Ubuntu؟لتثبيت Apache Spark على Ubuntu، يمكنك اتباع الخطوات التالية:
تثبيت Java: يتطلب Apache Spark تثبيت Java 8 أو أحدث على نظامك. يمكنك تثبيت Java بتشغيل الأمر التالي:
sudo apt install openjdk-8-jdkتنزيل Apache Spark: يمكنك تنزيل أحدث إصدار من Apache Spark من الموقع الرسمي. بعد التنزيل، قم باستخراج الملفات إلى الموقع الذي تختاره.
إعداد متغيرات البيئة: ستحتاج إلى إعداد متغيرات البيئة للإشارة إلى الموقع الذي ثبّت فيه Spark. يمكنك القيام بذلك بإضافة الأسطر التالية إلى ملف ~/.bashrc الخاص بك:
bashexport SPARK_HOME=/path/to/spark export PATH=$SPARK_HOME/bin:$PATHالتحقق من التثبيت: يمكنك التحقق من أن Spark تم تثبيته بشكل صحيح بتشغيل الأمر التالي:
spark-shell
هناك عدد من الأدوات التي يمكن استخدامها مع Apache Spark، بما في ذلك:
- Spark SQL: وحدة للعمل مع البيانات المهيكلة باستخدام صياغة مشابهة ل SQL
- Spark Streaming: وحدة لمعالجة تدفقات البيانات في الوقت الفعلي
- Spark MLlib: مكتبة لخوارزميات التعلم الآلي لتحليل البيانات
- Spark GraphX: وحدة للعمل مع بيانات الرسوم البيانية
للبدء في استخدام Apache Spark، ستحتاج إلى كتابة تطبيق Spark باستخدام إحدى واجهات API التي يوفرها الإطار. يمكنك كتابة التطبيقات بلغة Java أو Scala أو Python، وهناك العديد من الأمثلة والدروس التعليمية المتاحة على الإنترنت لمساعدتك على البدء.
هل يمكنني استخدام Apache Spark مع Hadoop؟نعم، يمكن استخدام Apache Spark مع Hadoop كمحرك لمعالجة البيانات. في الواقع، يُستخدم Spark غالبًا كبديل ل MapReduce في سير عمل معالجة البيانات المعتمدة على Hadoop، لأنه أسرع وأكثر كفاءة.
هل يمكن تشغيل Apache Spark في بيئة موزعة؟نعم، صُمم Apache Spark للعمل في بيئة موزعة ويمكن تشغيله على مجموعة من الحواسيب. يمكنك إعداد مجموعة Spark عن طريق تثبيت Spark على كل عقدة في المجموعة وإعدادها للعمل معًا.
كيف يتعامل Apache Spark مع تقسيم البيانات؟يقسم Apache Spark البيانات تلقائيًا عبر مجموعة من الحواسيب لتمكين المعالجة المتوازية. يمكن تقسيم البيانات بالمفتاح أو بالنطاق، ويمكن تحديد عدد الأقسام يدويًا أو حسابها تلقائيًا بناءً على حجم البيانات والموارد المتاحة في المجموعة.
كيف يتعامل Apache Spark مع تحمل الأعطال؟صُمم Apache Spark ليكون متحملاً للأعطال، ويمكنه التعافي من الأعطال تلقائيًا. إذا تعطلت عقدة، سيعيد Spark توزيع البيانات تلقائيًا ويعيد تشغيل المهمة المعطلة على عقدة أخرى في المجموعة. كما يوفر Spark آليات لنسخ البيانات ونقاط التفتيش للتأكد من عدم فقدان البيانات في حالة حدوث عطل.
هل يمكن استخدام Apache Spark لمعالجة البيانات في الوقت الفعلي؟نعم، يمكن استخدام Apache Spark لمعالجة البيانات في الوقت الفعلي باستخدام وحدة Spark Streaming. تتيح لك Spark Streaming معالجة تدفقات البيانات في الوقت الفعلي باستخدام نفس واجهة API المستخدمة في المعالجة الدفعية، وتوفر دعمًا للحسابات النافذية والمعالجة ذات الحالة.
عدد المشاهدات: 1,737هل تحتاج إلى مساعدة في هذا الموضوع؟ اسأل مساعدنا الذكي!
يركّز المساعد على: كيفية تثبيت Apache Spark على Ubuntu 20.04 LTS
مرحبًا! كيف يمكنني مساعدتك فيما يتعلق ب "كيفية تثبيت Apache Spark على Ubuntu 20.04 LTS"؟شارك على
Facebook Twitter LinkedIn طباعة السابقالسابقكيفية إجراء مسح للموانئ باستخدام Nmap على Ubuntu 20.04 التاليكيفية تثبيت Eclipse IDE على Ubuntu 20.04التاليجرّب VPSie
أسرع حل لخادم سحابي مجاناً
بحث
الفئة
الوسوم
- Apache spark, كيفية تثبيت apache spark, كيفية تثبيت apache spark على ubuntu, كيفية تثبيت Apache Spark على Ubuntu 20.04 LTS, تثبيت apache, تثبيت apache spark, تثبيت Apache spark على linux, Ubuntu, Ubuntu 20, Ubuntu 20.04
أحدث التحديثات
SUN – الشبكة الموحدة الممتدة
13 أكتوبر 2026 اقرأ المزيد »
كيفية حماية SSH باستخدام Fail2ban على Ubuntu 24.04
6 أكتوبر 2026 اقرأ المزيد »
كيفية إعداد جدار حماية UFW على Ubuntu 24.04
6 أكتوبر 2026 اقرأ المزيد »
كيفية إعداد Nginx كوكيل عكسي على Ubuntu 24.04
6 أكتوبر 2026 اقرأ المزيد »
كيفية تثبيت Docker و Docker Compose على Ubuntu 24.04
6 أكتوبر 2026 اقرأ المزيد »
كيفية تثبيت Beszel على Ubuntu و Debian
18 سبتمبر 2026 اقرأ المزيد »
كيفية تثبيت Pulumi على Ubuntu و Debian
16 سبتمبر 2026 اقرأ المزيد »
كيفية تثبيت 1Panel على Ubuntu و Debian
15 سبتمبر 2026 اقرأ المزيد »
كيفية تثبيت خادم MinIO ولوحة التحكم على Debian / Ubuntu
22 أغسطس 2026 اقرأ المزيد »
كيفية تثبيت K9s على Ubuntu / Debian
22 أغسطس 2026 اقرأ المزيد »منشورات أقدم
كيفية تأمين خادم VPS الخاص بنظام Linux – تقوية SSH
17 نوفمبر 2014 اقرأ المزيد »استخدام SCP في Linux – دليل
23 نوفمبر 2014 اقرأ المزيد »انشر خادم إدارة Ubiquiti الشامل (mFi – UniFi – AirControl) على VPSie في دقائق.
12 فبراير 2015 اقرأ المزيد »صلاحيات مستخدم خادم MySql – أمثلة عملية
14 فبراير 2015 اقرأ المزيد »OpenSSL – توليد شهادات SSL في VPS Linux
19 فبراير 2015 اقرأ المزيد »كيفية نشر خوادم Linux (CentOS، Debian، Ubuntu إلخ) على VPSie في 40 ثانية.
14 سبتمبر 2017 اقرأ المزيد »
ما هو الحوسبة السحابية؟ دليل بسيط
17 فبراير 2020 اقرأ المزيد »كيفية تثبيت مجموعة LAMP على Ubuntu 20.04
27 أكتوبر 2020 اقرأ المزيد »
إعداد Gitlab على VPSie
21 يونيو 2021 اقرأ المزيد »
إعداد خادم mysql. VPSie
21 يونيو 2021 اقرأ المزيد »اقرأ المزيد من المقالات
تصفح المزيد من الأدلة المفيدة والنصائح ومقالات إرشادية في قاعدة معرفتنا.
دروس إرشاديةكيفية تثبيت Trace Route في Linux
دروس إرشاديةكيفية إنشاء مستخدم Sudo على CentOS
دروس إرشاديةCIDR، وأقنعة الشبكة الفرعية، وعناوين IP القابلة للاستخدام: دليل مرجعي سريع
دليل لوحة التحكملوحة التحكم – النسخ الاحتياطي الشامل
دليل لوحة التحكملوحة التحكم – بوابات الإنترنت
دروس إرشادية