Apache Hadoop

كان

أباتشي Hadoop وضعت في البداية من قبل ياهو والمشروع هو مزيج بين اتفاقيات إعادة الشراء المشتركة السابقة أباتشي Hadoop الأساسية و Apache Hadoop.

لقد اكتسب المشروع Hadoop الكثير من الشهرة بفضل نتائج كبيرة في تنفيذ توزيع نظام الحوسبة متعددة الخادم للتعامل مع كميات ضخمة من البيانات.

ويتكون المشروع نفسه في الواقع من أربعة أجزاء. واحد هو Hadoop المشتركة، ما يسمى الأساسية التي تسمح للجميع وحدات أخرى للعمل، والثاني هو نظام الملفات الخاص جدا - HDFS (Hadoop نظام الملفات الموزعة)، والثالث هو إطار الغزل جدولة Hadoop، وأخيرا هناك نظام Hadoop مابريديوس لدعم الحوسبة المتوازية.

وباستخدام هذه النظام الرائد، تمكنت أباتشي لإنشاء العديد من المشاريع الجانبية الأخرى، مثل:

- أباتشي امباري

- أباتشي أفرو

- أباتشي كاساندرا

- أباتشي HBase

- أباتشي خلية

- أباتشي محوت

- أباتشي الخنزير

- أباتشي سبارك

- أباتشي تيز

- أباتشي حارس الحديقة

وكل هذه تعتمد على محرك قوي معالجة البيانات Hadoop أو ميزات الحوسبة الموزعة، وتدمجها واحدة من وحدات في الأساسية الخاصة بهم بطريقة أو أخرى.

ما هو الجديد في هذا الإصدار :

دعم المحفوظات التخزين
بيانات شفافة في التشفير بقية (بيتا)
تعمل DataNode آمنة دون الحاجة إلى الوصول إلى الجذر
محرك الساخنة مبادلة: دعم إضافة / إزالة كميات عقدة البيانات دون إعادة تشغيل عقدة البيانات (بيتا)
دعم AES للتشفير سلك أسرع
الدعم للخدمات تشغيل طويلة في الغزل
تسميات الدعم عقدة خلال جدولة
الدعم للحجز الموارد على أساس الوقت في جدولة القدرات (بيتا)
، مخبأ المشتركة العالمي للالتحف تطبيق (بيتا)
دعم تشغيل التطبيقات أصلا في حاويات عامل الميناء (ألفا)

ما هو الجديد في النسخة 2.7.1:

دعم المحفوظات التخزين
بيانات شفافة في التشفير بقية (بيتا)
تعمل DataNode آمنة دون الحاجة إلى الوصول إلى الجذر
محرك الساخنة مبادلة: دعم إضافة / إزالة كميات عقدة البيانات دون إعادة تشغيل عقدة البيانات (بيتا)
دعم AES للتشفير سلك أسرع
الدعم للخدمات تشغيل طويلة في الغزل
تسميات الدعم عقدة خلال جدولة
الدعم للحجز الموارد على أساس الوقت في جدولة القدرات (بيتا)
، مخبأ المشتركة العالمي للالتحف تطبيق (بيتا)
دعم تشغيل التطبيقات أصلا في حاويات عامل الميناء (ألفا)

ما هو الجديد في النسخة 2.7.0:

دعم المحفوظات التخزين
بيانات شفافة في التشفير بقية (بيتا)
تعمل DataNode آمنة دون الحاجة إلى الوصول إلى الجذر
محرك الساخنة مبادلة: دعم إضافة / إزالة كميات عقدة البيانات دون إعادة تشغيل عقدة البيانات (بيتا)
دعم AES للتشفير سلك أسرع
الدعم للخدمات تشغيل طويلة في الغزل
تسميات الدعم عقدة خلال جدولة
الدعم للحجز الموارد على أساس الوقت في جدولة القدرات (بيتا)
، مخبأ المشتركة العالمي للالتحف تطبيق (بيتا)
دعم تشغيل التطبيقات أصلا في حاويات عامل الميناء (ألفا)

ما هو الجديد في النسخة 2.6.0:

دعم المحفوظات التخزين
بيانات شفافة في التشفير بقية (بيتا)
تعمل DataNode آمنة دون الحاجة إلى الوصول إلى الجذر
محرك الساخنة مبادلة: دعم إضافة / إزالة كميات عقدة البيانات دون إعادة تشغيل عقدة البيانات (بيتا)
دعم AES للتشفير سلك أسرع
الدعم للخدمات تشغيل طويلة في الغزل
تسميات الدعم عقدة خلال جدولة
الدعم للحجز الموارد على أساس الوقت في جدولة القدرات (بيتا)
، مخبأ المشتركة العالمي للالتحف تطبيق (بيتا)
دعم تشغيل التطبيقات أصلا في حاويات عامل الميناء (ألفا)

ما هو الجديد في النسخة 2.5.0:

التحسينات مصادقة عند استخدام ملقم وكيل HTTP.
بالوعة Hadoop القياسات الجديد الذي يسمح بالكتابة مباشرة إلى الجرافيت.
مواصفات Hadoop جهد متوافق نظام الملفات.
تقديم الدعم لنظام الملفات على غرار POSIX الصفات.
OfflineImageViewer لتصفح وfsimage عبر API WebHDFS.
تحسينات إمكانية دعم وإصلاح الأخطاء إلى العبارة NFS.
تحديث الويب معهد اليونسكو للإحصاء (HTML5 وجافا سكريبت) عن الشياطين HDFS.
دعم بقية واجهات برمجة التطبيقات الغزل في تقديم وقتل التطبيقات.
التكامل Kerberos للتخزين جدول زمني للغزل و.

ما هو الجديد في النسخة 2.4.0:

الدعم للتحكم في الوصول قوائم في HDFS
الوطنية لدعم ترقيات المتداول في HDFS
استخدام بروتوكول مخازن للHDFS FSImage للترقيات التشغيلية السلسة
دعم HTTPS الكامل في HDFS
دعم لتجاوز الفشل التلقائي للغزل ResourceManager
تعزيز الدعم لتطبيقات جديدة على الغزل مع خادم التاريخ التطبيق وتطبيق الجدول الزمني خادم
الدعم لاتفاقيات مستوى الخدمة قوية في الغزل CapacityScheduler عبر الشفعة

ما هو الجديد في النسخة 2.3.0:

دعم التسلسل الهرمي غير المتجانسة التخزين في HDFS.
في ذاكرة التخزين المؤقت للبيانات HDFS مع الإدارة المركزية والإدارة.
تبسيط توزيع ثنائيات مابريديوس عبر HDFS في الغزل الموزعة ذاكرة التخزين المؤقت.

ما هو الجديد في النسخة 2.2.0:

غزل - نظام إدارة الموارد أغراض العامة Hadoop للسماح مابريديوس وغيرها من الأطر وخدمات تجهيز البيانات الأخرى
التوفر العالي للHDFS
الاتحاد HDFS
HDFS لقطات
NFSv3 الوصول إلى البيانات في HDFS

ما هو الجديد في النسخة 2.1.0 بيتا:

HDFS لقطات
دعم لتشغيل Hadoop على مايكروسوفت ويندوز
استقرار API الغزل

ما هو الجديد في النسخة 2.0.3 ألفا:

QJM لHDFS HA ​​لNameNode
جدولة الموارد متعددة (وحدة المعالجة المركزية والذاكرة) للغزل
الغزل ResourceManager إعادة تشغيل
استقرار كبير على نطاق واسع للغزل والنسيج (أكثر من 30،000 العقد و 14 مليون طلب حتى الآن، في وقت الإفراج)

ما هو الجديد في النسخة 1.0.0:

أفضل الأمن.
HBase (إلحاقي / hsynch / hflush، والأمن).
webhdfs (مع الدعم الكامل للأمن).
أداء تعزيز الوصول إلى الملفات المحلية لHBase.
غيرها من التحسينات الأداء وتصحيح الأخطاء، والميزات.

ما هو الجديد في النسخة 0.20.2: عازلة الإرسال

ملقم RPC يحتفظ حجم أكبر رد أرسل من أي وقت مضى.
مكتبات C ++ لا تبني على ديبيان ليني.
لا chmodded بعض ج + + مخطوطات قبل تنفيذ النمل.
الجري: رسائل الحالة توفير عملية تتم الكتابة فوق كل 10 seoncds.
IllegalArgumentException عند استخدام CombineFileInputFormat كما InputFormat العمل.
البق متعددة ث / المحفوظات Hadoop.
السماح بالتخزين المؤقت للحالات الملفات ليتم تعطيل على أساس لكل مثيل.
المفقودين تزامن لdefaultResources في Configuration.addResource.
يجب GzipCodec لا تمثل BuiltInZlibInflater كما decompressorType.
HttpServer NameNode لا يمكن مثيل InetSocketAddress: يتم طرح IllegalArgumentException.
HttpServer ينام مع القيم السلبية.
يدير Namenode نفاد الذاكرة بسبب تسرب الذاكرة في خادم IPC.
قد يسبب IPC علة العميل استدعاء RPC معلقة.
اختبارات عدم منع بقية أهداف الاختبار من التنفيذ.
اختبارات Contrib تفشل بناء Clover'ed.
الاختبارات لا تعمل على 0.20 فرع.
TestStreamingStatus فشل على 0.20 فرع.