خلفية عن elasticsearch و logstash و kibana
هذا هو الجزء الأول من سلسلة شروحات حول تثبيت elasticsearch و logstash و kibana وتكوينها وإعدادها على Debian Jessie باستخدام خدمة VPSie SSD VPS.
Elastic هي الشركة التي تقف وراء المشاريع الثلاثة مفتوحة المصدر – Elasticsearch و Logstash و Kibana – والمصممة لجلب البيانات من أي مصدر والبحث فيها وتحليلها وتصورها في الوقت الفعلي، وتسعى Elastic إلى مساعدة الناس على فهم البيانات. من أسعار الأسهم إلى تدفقات Twitter وسجلات Apache إلى مدونات WordPress، توسّع منتجاتنا ما هو ممكن مع البيانات، وتفي بالوعد بأن الأشياء الجيدة تأتي من ربط النقاط ببعضها.
التوقعات
أفترض أنك تمتلك بالفعل خدمة VPS ولديك معرفة بكيفية نشر VPS. في هذه السلسلة التعليمية، سأستخدم VPSie كخدمة وسأشير إلى VPS أيضاً باسم vpvisits. لن يغطي هذا الشرح تثبيت Debian Jessie على vpsie. لهذا، يمكنك الاطلاع على مدونتهم. بعد توضيح كل هذا، أفترض أيضاً أنك تعرف كيفية الدخول إلى VPS الخاص بك عبر SSH. وهذا يعني أن VPS الخاص بك سيأتي مع شبكة عاملة بالكامل ومُعدّة.
ELASTICSEARCH
أولاً، نحتاج إلى تثبيت التبعيات. يجب تثبيت Java على نظامك قبل تثبيت Elasticsearch نفسه. على Debian/Ubuntu، ستحتاج إلى تنفيذ ما يلي:
#echo "deb http://ppa.launchpad.net/webupd8team/java/ubuntu trusty main" > /etc/apt/sources.list.d/webupd8team-java.list
#echo "deb-src http://ppa.launchpad.net/webupd8team/java/ubuntu trusty main" >> /etc/apt/sources.list.d/webupd8team-java.list
#apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-keys EEA14886
#apt-get update
#apt-get install -y oracle-java8-installerعلى Centos/Fedora، يمكنك تنفيذ الأوامر التالية:
#yum install -y http://download.oracle.com/otn-pub/java/jdk/8u65-b17/jdk-8u65-linux-x64.rpmاستخدم هذا الأمر لإضافة مفتاح apt وإضافة مستودع apt إلى خادم VPSie على Debian/Ubuntu:
#wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
OK
#echo "deb http://packages.elastic.co/elasticsearch/2.x/debian stable main" | sudo tee -a /etc/apt/sources.list.d/elasticsearch-2.x.list
ثم حدّث القائمة المؤهلة لقراءة التخزين وتثبيت elasticsearch.
#apt-get update
#apt-get install -y elasticsearch
على Centos/Fedora:
#rpm --import https://packages.elastic.co/GPG-KEY-elasticsearchأنشئ ملفًا باسم elasticsearch.repo في المجلد /etc/yum.repos.d/ بالمحتوى التالي:
[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1ثبّت elasticsearch من خلال تشغيل:
#yum install elasticsearch
دعنا نحرر ملف إعدادات elasticsearch ونضيف اسمًا للوحدة.
ملاحظة: سيتم استخدام الاسم الافتراضي إذا لم يتم تحديد اسم الوحدة.
ملاحظة: إذا كنت ترغب في وجود وحدات elasticsearch منفصلة لخدمات مختلفة، فيُوصى بشدة باستخدام أسماء وحدات منفصلة، وإلا فإن العقد ستنتقل تلقائيًا إلى المجموعات الموجودة بالاسم الافتراضي.
الآن دعنا نضبط اسم وحدة elasticsearch من خلال تحرير /etc/elasticsearch/elasticsearch.yml وتحديد اسم للوحدة. الاسم كما في هذا المثال:
cluster.name: vpsie.io
يمكنك أيضًا تحديد متغير node.name، وإلا فإن وحدة elasticsearch ستسند اسمًا عشوائيًا من قائمة الأبطال الخارقين. للقيام بذلك في نفس ملف الإعدادات، تحتاج إلى تعيين متغير node.name.
node.name: "Superman"
يمكن تعيين العديد من المتغيرات الأخرى، لكننا سنغطي فقط الإعداد الأساسي. احفظ ملف الإعدادات الخاص بك، ثم اضبط elasticsearch للبدء التلقائي عند التشغيل وبدء الخدمة.
#systemctl enable elasticsearch
#systemctl start elasticsearch
إذا تم تشغيل elasticsearch بشكل صحيح عبر تنفيذ netstat -ntl، فسترى أن elasticsearch يعمل على منفذين مختلفين، أحدهما 9200 والآخر 9300. المنفذ 9200 هو الذي ستستخدمه للاستعلام عن البيانات من مجموعة elasticsearch الخاصة بك.
قد يكون مفيداً أيضاً تثبيت إضافات مثل head وbig desk في elasticsearch.
cd /usr/share/elasticsearch
#cd /usr/share/elasticsearch
#bin/plugin -install mobz/elasticsearch-head
أعد تشغيل elasticsearch لتطبيق التغييرات
#systemctl restart elasticsearch
يمكنك الوصول إلى الإضافات عن طريق تصفح عنوان IP الخاص ب elasticsearch على المنفذ 9200، على سبيل المثال:
http://:9200/_plugin/plugin_name
بالنسبة إلى head، ستحصل على صفحة مماثلة للآتي:
لعرض عقدة bigdesk:
bigdesk-nodeview ولعرض مجموعة bigdesk:
عرض مكتب كبير
LOGSTASH
نحتاج إلى إنشاء المستودع لتثبيت logstash على Debian/Ubuntu:
#echo "deb http://packages.elastic.co/logstash/2.1/debian stable main" | sudo tee -a /etc/apt/sources.list
لنحدّث المستودع ونثبّت logstash
#apt-get update
#apt-get install -y logstash
على أنظمة Centos/Fedora، نفّذ:
#cat > /etc/yum.repos.d/logstash.repo << EOF
[logstash-2.1]
name=Logstash repository for 2.1.x packages
baseurl=http://packages.elastic.co/logstash/2.1/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
EOFيتكون ملف تكوين Logstash من ثلاثة أجزاء رئيسية، الأول هو الإدخال (input) حيث تحدد مصدر المعلومات الذي تريد تحميل البيانات منه إلى elasticsearch.
المرشحات هي مشفّرات حيث تضبط المرشحات التي تريد تشغيلها على المعلومات التي قمت بتحميلها، والمخرجات هي المكان الذي تضبط فيه المعلومات المحمّلة والمحللة لإرسالها.
بما أننا سنقوم بإعداد logstash لقراءة المعلومات من خادم بعيد للمدخلات، سنستخدم إضافة مدخلات تسمى lumberjack.
لنقم بإنشاء شهادة ssl باستخدام الأمر التالي:
#cd /etc/pki/tls
#openssl req -x509 -batch -nodes -newkey rsa:2048 -keyout private/vpsie.io.key -out certs/vpsie.io.crt -subj /CN=*.vpsie.io
ملاحظة: يمكنك استخدام اسم النطاق الكامل أو عنوان IP أو نطاق برمز برّي ك CN. من المهم أنه إذا استخدمت عنوان IP ك CN، فستضطر لاستخدام عنوان IP الخاص بالخادم الافتراضي (VPS) الذي يعمل عليه logstash. إذا كان logstash خلف NAT (ترجمة عناوين الشبكة)، فأنا أقترح بشدة استخدام نطاق كامل أو نطاقات برية، وإلا فسيقوم logstash بإسقاط جميع الاتصالات. في هذا الدليل، سنقوم بإعداد elasticsearch لتخزين السجلات من سجلات وصول nginx.
ملف الإعداد الأساسي ل logstash موجود في /etc/logstash/conf.d/.
سنسمي الملف logstash.conf لتقليل الالتباس قدر الإمكان.
input {
lumberjack {
port => 5000
type => "logs"
ssl_certificate => "/etc/pki/tls/certs/vpsie.io.crt"
ssl_key => "/etc/pki/tls/private/vpsie.io.key"
}
}
filter {
if [type] == "nginx-access" {
grok {
match => { 'message' => '%{IPORHOST:clientip} %{NGUSER:indent} %{NGUSER:agent} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{URIPATHPARAM:request}(?: HTTP/%{NUMBER:httpversion})?|)\" %{NUMBER:answer} (?:%{NUMBER:byte}|-) (?:\"(?:%{URI:referrer}|-))\" (?:%{QS:referree}) %{QS:agent}' }
}
}
}
output {
stdout {
codec => rubydebug
}
elasticsearch {
hosts => ["127.0.0.1:9200"]
cluster => "vpsie.io"
flush_size => 2000
}
}
توجد أنماط ل nginx يمكن العثور عليها على الإنترنت، لكن المعلومات من السجلات قد تختلف اعتمادًا على إعدادات nginx. يمكنك استخدام نمط grok لإنشاء أنماطك الخاصة التي ستعمل مع ملفات السجلات التي تقوم بإنشائها.
توجد أداتان رائعتان لإنشاء أنماط grok أو التحقق من نمط grok إذا كان سيعمل مع ملفات السجلات الخاصة بك. الأولى تسمى Grok Debugger والثانية Grok Incremental Constructor، وهي رائعة لبناء أنماطك الخاصة بشكل تدريجي.
بالنظر إلى logstash.conf
يحتوي قسم الإدخال على إضافة lumberjack، والتي تتضمن:
المنفذ – المنفذ الذي سيعمل به logstash-forwarder للاتصال ب logstash. النوع – نوع المعلومات التي سيتم تقديمها إلى logstash. شهادة SSL – الشهادة المولّدة للاتصال ب logstash. ملف silky – المفتاح الخاص بالشهادة المولّدة للاتصال ب logstash. في قسم المرشّح، نتحقق من أن النوع هو nginx-access، وإذا كان الأمر كذلك، نطبّق نمط grok على السجل.
في المخرجات، أولاً، ننفّذ codec ruby-debug، كسجل تصحيح أخطاء، كما نرسل النتائج إلى elasticsearch على localhost مع اسم العنقود vpsie.io.
عندما يتم تكوين logstash بشكل صحيح، يجب عليك ضبطه ليبدأ عند الإقلاع ثم تشغيله.
#systemctl enable logstash
#systemctl start logstash
بمجرد بدء تشغيل logstash netstat -ntlp، ستلاحظ أنه يستمع على المنفذ 5000.
logstash
KIBANA
الآن، بما أن logstash وelasticsearch يعملان، حان الوقت لتثبيت kibana.
نحتاج إلى تنزيل kibana إلى خادمنا باستخدام الأمر التالي:
#wget https://download.elastic.co/kibana/kibana/kibana-4.1.1-linux-x64.tar.gz
بعد تنزيل kibana، نحتاج إلى استخراجه في المسار /opt:
#tar -xzvf kibana-4.1.1-linux-x64.tar.gz -C /opt
الآن نحتاج إلى إعادة تسمية المجلد وإعداد init لتشغيله كخدمة.
#mv /opt/kibana-* /opt/kibana
#wget https://gist.githubusercontent.com/thisismitch/8b15ac909aed214ad04a/raw/bce61d85643c2dcdfbc2728c55a41dab444dca20/kibana4
#chmod +x /etc/init.d/kibana4
#sed -i '/^NAME/d' /etc/init.d/kibana4
#sed -i '/^KIBANA_BIN/a NAME=kibana4' /etc/init.d/kibana4
بما أن كل شيء في مكانه، نحتاج إلى تعديل ملف تكوين kibana لضبط عنوان IP الذي يستمع عليه elasticsearch. إذا كنت تشغّل kibana من نفس الخادم الذي يعمل عليه elasticsearch، فلا تحتاج إلى القيام بأي شيء. يقع ملف التكوين في /opt/kibana/config/kibana.yml، وعدّل السطر التالي بتغيير localhost إلى عنوان IP الخاص ب elasticsearch:
elasticsearch_url: "http://localhost:9200"
لنفعّل سكربت الإقلاع ونبدأ خدمة kibana4.
#update-rc.d kibana4 defaults
#service kibana4 start
يمكنك الوصول إلى kibana عن طريق تصفح العنوان التالي
http://{your IP address}:5601
دعونا نثبّت logstash-forwarder على الخادم الذي يعمل عليه nginx ونقوم بإعداده لإرسال السجلات إلى logstash.
LOGSTASH-FORWARDER
اتصل بخادمك عن بُعد وقم بتنزيل logstash-forwarder.crt من خادم logstash وضعه في /etc/pki/tls/certs
#scp root@{logstash server IP}:/etc/pki/tls/certs/logstash-forwarder.crt /etc/pki/tls/certs/
قم بتنزيل حزمة logstash-forwarder الخاصة بالتوزيع الذي تستخدمه من هنا. نتوقع أن يعمل خادم nginx على Debian، لذا سأقوم بتنزيل ملف deb. أما بالنسبة إلى centos، فقم بتنزيل ملف RPM
بالنسبة إلى Debian، قم بتشغيل الأمر التالي:
#wget https://download.elastic.co/logstash-forwarder/binaries/logstash-forwarder_0.4.0_amd64.deb
#dpkg -i logstash-forwarder_0.4.0_amd64.deb
بالنسبة إلى Centos، قم بتشغيل الأمر التالي:
#wget https://download.elastic.co/logstash-forwarder/binaries/logstash-forwarder-0.4.0-1.x86_64.rpm
#yum install -y logstash-forwarder-0.4.0-1.x86_64.rpm
أو يمكنك استخدام الأمر مباشرة:
#yum install -y https://download.elastic.co/logstash-forwarder/binaries/logstash-forwarder-0.4.0-1.x86_64.rpm
يقع ملف الإعداد في /etc/logstash-forwarder.conf.
حان الوقت الآن لإعداده لالتقاط الملفات من سجلات nginx وإرسالها إلى logstash.
{
"network": {
"servers": [ "elk.vpsie.io:5000" ],
"ssl ca": "/etc/pki/tls/certs/vpsie.io.crt",
"timeout": 15
},
"files": [
{
"paths": [ "/var/log/nginx/access.log" ],
"fields": { "type": "nginx-access" }
}
]
}
كما ذكرت في قسم logstash، قمت بإنشاء الشهادات كنطاق wildcard لأن مجموعة elk تقع خلف NAT ولا يمكن الوصول إليها مباشرة من الخادم الذي يعمل عليه nginx.
الآن قمت بتشغيل logstash-forwarder باستخدام nohup
#nohup /opt/logstash-forwarder/bin/logstash-forwarder -c "/etc/logstash-forwarder" -spool-size=100 -t=true &
وقمت بإعداد crontab لتشغيله عند بدء التشغيل.
#crontab -e
@reboot nohup /opt/logstash-forwarder/bin/logstash-forwarder -c "/etc/logstash-forwarder" -spool-size=100 -t=true &
الآن بعد أن قمنا بإعداد logstash forwarder لقراءة access.log وإرسال ملفات السجلات إلى logstash، حان الوقت لإعداد kibana لإنشاء رسوم بيانية من تلك السجلات.
يمكنك البدء في تصفح kibana باستخدام http://IP_address:5601
إعداد Kibana
تأكد من اختيار @timestamp في حقل اسم Time_field ثم انقر على create لمؤشر السجلات في elasticsearch.
بعد فترة، ستظهر السجلات في قائمة Discover:
kibana discover
ستضيف هذه الإعدادات الأساسية لمكدس ELK تصاميم أكثر تقدماً خلال الأيام القليلة القادمة، مثل خرائط GEO وإنشاء التصورات ولوحات المعلومات على Kibana. سأعرض عليك أيضاً قريباً كيفية جعل مكدس elk يحمي سجلات mysql العامة.
كيفية تثبيت Nmap على Ubuntu 20.04
الأسئلة الشائعة
ما هو Elasticsearch وLogstash وKibana؟تُعرف أدوات Elasticsearch وLogstash وKibana مجتمعة باسم مكدس ELK، وهي أدوات مفتوحة المصدر تُستخدم للبحث وتحليل السجلات والتصوير. Elasticsearch هو محرك بحث يخزن البيانات ويؤشرها، وLogstash هو خط معالجة بيانات يستقبل البيانات ويحوّلها، وKibana هي منصة تصوير تتيح لك التفاعل مع البيانات وتحليلها.
ما هي التوزيعات المتوافقة مع مكدس ELK؟يمكن تثبيت مكدس ELK وإعداده على مجموعة متنوعة من التوزيعات بما في ذلك Ubuntu وDebian وCentOS وRed Hat Enterprise Linux (RHEL) وAmazon Linux.
كيف أقوم بتثبيت Elasticsearch؟قد تختلف خطوات تثبيت Elasticsearch قليلاً اعتماداً على التوزيع الذي تستخدمه، ولكن إليك الخطوات العامة:
- حمّل حزمة Elasticsearch من الموقع الرسمي.
- فك ضغط الحزمة وانقلها إلى المجلد الذي تختاره.
- شغّل Elasticsearch بتنفيذ سكربت
bin/elasticsearch.
يأتي Elasticsearch مع إعداد افتراضي يعمل لمعظم المستخدمين، لكن يمكنك أيضًا تخصيص الإعدادات لتناسب احتياجاتك. فيما يلي الخطوات الأساسية:
- انتقل إلى مجلد
configداخل مجلد تثبيت Elasticsearch. - عدّل ملف
elasticsearch.ymlلتحديد اسم العنقود واسم العقدة وإعدادات الشبكة. - عدّل ملف
jvm.optionsلتحديد إعدادات JVM.
يستخدم Logstash ملف إعدادات لتعريف المدخلات والمرشحات والمخرجات لخط أنابيب البيانات. فيما يلي الخطوات الأساسية:
- انتقل إلى مجلد
configداخل مجلد تثبيت Logstash. - أنشئ ملف إعدادات جديدًا بامتداد
.conf. - عرّف المدخلات والمرشحات والمخرجات في ملف الإعدادات باستخدام الصياغة المناسبة.
يستخدم Logstash ملف إعدادات لتعريف المدخلات والمرشحات والمخرجات لخط أنابيب البيانات. فيما يلي الخطوات الأساسية:
- انتقل إلى مجلد
configداخل مجلد تثبيت Logstash. - أنشئ ملف إعدادات جديدًا بامتداد
.conf. - عرّف المدخلات والمرشحات والمخرجات في ملف الإعدادات باستخدام الصياغة المناسبة.
قد تختلف خطوات تثبيت Kibana قليلاً اعتمادًا على التوزيع الذي تستخدمه، لكن فيما يلي الخطوات العامة:
- حمّل حزمة Kibana من الموقع الرسمي.
- فك ضغط الحزمة وانقلها إلى المجلد الذي تختاره.
- شغّل Kibana بتنفيذ سكربت
bin/kibana.
يستخدم Kibana ملف إعدادات لتحديد الإعدادات مثل مضيف الخادم والمنفذ وخيارات SSL. فيما يلي الخطوات الأساسية:
- انتقل إلى مجلد
configداخل مجلد تثبيت Kibana. - عدّل ملف
kibana.ymlلتحديد مضيف الخادم والمنفذ وخيارات SSL.
لدمج Elasticsearch وLogstash وKibana، ستحتاج إلى إعداد Logstash لإرسال البيانات إلى Elasticsearch ثم استخدام Kibana لتصور البيانات. فيما يلي الخطوات الأساسية:
- في ملف إعدادات Logstash، حدد Elasticsearch كوجهة للإخراج.
- شغّل Logstash وElasticsearch.
- في Kibana، أنشئ نمط فهرسة يتطابق مع البيانات التي يرسلها Logstash.
- استخدم أدوات التصور في Kibana لإنشاء التصورات ولوحات المعلومات
