وmrjob هو وحدة بيثون التي تساعدك على كتابة وتشغيل وظائف Hadoop الجري.
mrjob يدعم الخدمة تماما الأمازون مطاطا مابريديوس (EMR)، والذي يسمح لك لشراء الوقت على كتلة Hadoop على مدار الساعة. كما أنها تعمل مع مجموعة Hadoop الخاصة بك.
التركيب:
بيثون setup.py تثبيت
إنشاء إقليم شرق المتوسط على الأمازون
ونبسب؛ * خلق الأمازون خدمات ويب حساب: http://aws.amazon.com/
ونبسب؛ * الاشتراك في مطاطا مابريديوس: http://aws.amazon.com/elasticmapreduce/
على & nbsp؛ * احصل على وصولك والمفاتيح السرية (اذهب إلى http://aws.amazon.com/account/ وانقر على "وثائق تفويض الأمن") وتعيين متغيرات البيئة $ AWS_ACCESS_KEY_ID وAWS_SECRET_ACCESS_KEY $ وفقا لذلك
جربه!
# محليا
الثعبان mrjob / أمثلة / mr_word_freq_count.py README.md> التهم
# على EMR
الثعبان mrjob / أمثلة / mr_word_freq_count.py README.md -r إقليم شرق المتوسط> التهم
# على كتلة Hadoop الخاص بك
الثعبان mrjob / أمثلة / mr_word_freq_count.py README.md -r hadoop> التهم
التكوين المتقدم
لتشغيل في المناطق AWS أخرى، وتحميل شجرة المصدر، تشغيل جعل، واستخدام غيرها من الميزات المتقدمة mrjob، فسوف تحتاج إلى إعداد mrjob.conf. mrjob يبدو لملف أسيوط في:
ونبسب؛ * ~ / .mrjob
ونبسب؛ * mrjob.conf في أي مكان في حياتك $ PYTHONPATH
ونبسب؛ * /etc/mrjob.conf
انظر mrjob.conf.example لمزيد من المعلومات
الميزات:.
وظائف تشغيل على EMR، الخاص بك مجموعة Hadoop الخاصة، أو محليا (للاختبار).
إرسال ظيفة متعددة الخطوات (خريطة واحدة-تقليل خطوة تغذي التالي)
تكرار بيئة الإنتاج داخل Hadoop
تحميل شجرة المصدر الخاص ووضعها بالدولار PYTHONPATH العمل الخاص بك
تشغيل جعل والكتابات الإعداد الأخرى
تعيين متغيرات البيئة (مثل $ TZ)
بسهولة تثبيت حزم الثعبان من جذر (EMR فقط)
الإعداد التعامل معها بشفافية من قبل ملف التكوين mrjob.conf
تفسير سجلات الخطأ من EMR تلقائيا
SSH نفق لتعقب وظيفة hadoop على EMR
الإعداد الحد الأدنى
لتشغيل على EMR، $ يقع AWS_ACCESS_KEY_ID و $ AWS_SECRET_ACCESS_KEY
لتشغيل على كتلة Hadoop الخاص بك، $ يقع HADOOP_HOME
المتطلبات:
بيثون
لم يتم العثور على التعليقات