وبيفر هو شيطان بيثون أن munches على السجلات ويرسل محتوياتها إلى logstash.
تركيب
باستخدام PIP:
من جيثب:
PIP تثبيت بوابة + بوابة: //github.com/josegonzalez/beaver.git#egg=beaver
من PyPI:
PIP تثبيت سمور == 1
استعمال
الاستعمال:
سمور [-h] [-r {عامل وتفاعلية}] [-m {مأزق، وربط}] [PATH -p]
على & nbsp؛ [- FILES و [FILES ...]] [النقل -t]
سيطات اختيارية:
-h، --help إظهار هذه الرسالة مساعدة والخروج
-r {عامل، التفاعلية}، {--run عامل وتفاعلية}
على & nbsp؛ تشغيل عامل أو طريقة تفاعلية
-m {مأزق، وربط}، {--mode مأزق، وربط}
على & nbsp؛ مأزق أو واسطة اتصال
-p PATH، --path مسار PATH لتسجيل ملفات
الملفات -f [FILES ...]، --files FILES [FILES ...]
على & nbsp؛ FILELIST مفصولة الفضاء لمشاهدة. يتجاوز --path
على & nbsp؛ حجة
-t {amqp، رديس، المعياري}، {--transport amqp، رديس، المعياري}
على & nbsp؛ تسجيل طريقة النقل
خلفية
يوفر سمور طريقة الشحن خفيفة الوزن لملفات السجل المحلية لLogstash. وهي تفعل ذلك باستخدام إما رديس، ستدين، zeromq كما نقل. هذا يعني أنك سوف تحتاج إلى رديس، ستدين، zeromq المدخلات في مكان ما على الطريق للحصول على الأحداث.
وترسل الأحداث في شكل json_event logstash ل. ويمكن أيضا تعيين خيارات كما متغيرات البيئة.
أمثلة
مثال 1: استمع إلى كافة الملفات في المسار الافتراضي / فار / تسجيل الدخول المعيار من:
سمور
مثال 2: إرسال السجلات من / فار / السجل الملفات إلى قائمة رديس:
REDIS_URL = "رديس: // المضيف المحلي: 6379/0" رديس سمور -t
مثال 3: استخدام متغيرات البيئة لإرسال السجلات من / فار / تسجيل الملفات إلى قائمة رديس:
REDIS_URL = "رديس: // المضيف المحلي: 6379/0" BEAVER_PATH = "/ فار / السجل" BEAVER_TRANSPORT = رديس سمور
مثال 4: Zeromq الاستماع على منفذ 5556 (كافة الواجهات):
ZEROMQ_ADDRESS = "برنامج التعاون الفني: // *: 5556" مأزق سمور -m
# التكوين logstash:
المدخلات {{zeromq
على & nbsp؛ نوع => 'الشاحن المدخلات "
على & nbsp؛ وضع => 'العميل'
على & nbsp؛ طوبولوجيا => 'pushpull "
على & nbsp؛ عنوان => 'برنامج التعاون الفني: // shipperhost: 5556 "
على & nbsp؛}}
الناتج {{المعياري التصحيح => صحيح}}
مثال 5: Zeromq الاتصال بمنفذ عن بعد 5556 على مفهرس:
ZEROMQ_ADDRESS = "برنامج التعاون الفني: // مفهرس: 5556" القندس -m اتصال
# التكوين logstash:
المدخلات {{zeromq
على & nbsp؛ نوع => 'الشاحن المدخلات "
على & nbsp؛ وضع => 'الخادم'
على & nbsp؛ طوبولوجيا => 'pushpull "
على & nbsp؛ عنوان => 'برنامج التعاون الفني: // *: 5556 "
على & nbsp؛}}
الناتج {{المعياري التصحيح => صحيح}}
ما هو الجديد في هذا الإصدار:
تأكد من يتم إضافة ملفات جديدة إلى وسائل النقل التكوين. يغلق # 96. يغلق # 101. [خوسيه دياز جونزاليس]
السماح أرقام تعويم لupdate_file_mapping_time. [خوسيه دياز جونزاليس]
إصلاح الصب غير صالح للقيم منطقية. [خوسيه دياز جونزاليس]
أداء جميع التحويلات في config.py. يغلق # 99. [خوسيه دياز جونزاليس]
ما هو جديد في الإصدار 16:
تحديد حجم قائمة انتظار أقصى 100 للحد من اجتياح الذاكرة. [خوسيه دياز جونزاليس]
استخدام المعالجة المتعددة للتعامل مع أحجام طابور أكبر. [خوسيه جونزاليس Diaz-]
في السابق كانت هناك قضايا حيث الملفات التي تم تحديثها مثل كثير من الأحيان كما الورنيش أو خادم السجلات سوف تطغى على تنفيذ ساذج من file.readlines () داخل بيفر. وهذا من شأنه أن يسبب بيفر لقراءة ببطء أجزاء أكبر وأكبر من ملف قبل معالجة أي من خطوط، مما تسبب في نهاية المطاف Beaver الى اتخاذ إلى الأبد لمعالجة خطوط السجل.
ويضيف هذا التصحيح القدرة على استخدام قائمة انتظار العمل الداخلي لخطوط السجل. كلما file.readlines () يسمى، يتم وضع خطوط في قائمة الانتظار، والتي يتم مشاركتها مع عملية طفل. عملية طفل يخلق النقل الخاص بها، مما يسمح لنا يحتمل إنشاء تجمع العملية في المستقبل للتعامل مع أكبر حجم قائمة انتظار.
لاحظ أن الحد من file.readlines () القراءة في العديد من خطوط لا تزال في الوجود، وربما لا تزال تسبب مشاكل لملفات السجل معينة.
إضافة redis_password الافتراضي إلى الصف BeaverConfig. [خوسيه دياز جونزاليس]
إصلاح عداد المفقودين تسطير مما تسبب في وسائل النقل لكسر. [نورمان جوينر]
تنفيذ رديس دعم المصادقة. [نورمان جوينر]
إضافة سمور النصي الحرف الأول لوضع daemonization. [خوسيه دياز جونزاليس]
استخدام الثعبان مسجل عند استخدام StdoutTransport. [خوسيه دياز جونزاليس]
إضافة الأعلام ARG قصيرة لاسم المضيف والشكل. [خوسيه دياز جونزاليس]
إضافة القدرة على daemonize. يغلق # 79. [خوسيه دياز جونزاليس]
تمرير حول مثيل مسجل لكافة وسائل النقل. [خوسيه دياز جونزاليس]
تعود ومثل، واضاف فئة الحدث خفيفة الوزن ومثل. [خوسيه دياز جونزاليس]
بعد المداولة، ومن المفترض أن تكون سمور ومثل، خفيفة الوزن ومثل ؛. يتيح ترك ضرب ثقيلة إلى الكبار.
هذا يعود ارتكاب 1619d33ef4803c3fe910cf4ff197d0dd0039d2eb.
وأضاف فئة الحدث خفيفة الوزن. [خوسيه دياز جونزاليس]
وحدها المسؤولية هذه الفئة ستكون تجهيز خط معين كما حدث. انها المستقبل سوف يكون هدف ليكون بمثابة تنفيذ خفيفة الوزن لنظام التصفية داخل Logstash
إزالة شرط argparse لالثعبان 2.7 وما فوق. [خوسيه جونزاليس Diaz-]
ما هو جديد في النسخة 13:
الثابتة بعض متغيرات البيئة. [خوسيه دياز جونزاليس]
SSH نفق الدعم. [خوسيه دياز جونزاليس]
هذا الرمز يجب أن تسمح لنا لإنشاء نفق سه بين اثنين من الخوادم متميزة لأغراض إرسال واستقبال البيانات.
وهذا مفيد في بعض الحالات حيث كنت تحتاج إلا إلى القائمة البيضاء في جدار الحماية أو إيبتبلس الإعداد، مثل عند التشغيل في منطقتين مختلفتين على AWS.
السماح لتأخر الاتصال الأولي. مفيدة عند انتظار وكيل SSH للاتصال. [خوسيه دياز جونزاليس]
إصلاح مشكلة حيث كانت بعض الافتراضات التكوين من قيمة غير سليمة. [خوسيه دياز جونزاليس]
السماح تحديد المضيف عبر العلم. يغلق # 70. [خوسيه دياز جونزاليس]
المتطلبات:
بيثون
لم يتم العثور على التعليقات