وقد تم تصميم أباتشي سبارك لتحسين سرعة تجهيز لبرامج تحليل البيانات والتعامل معها.
وكان مكتوب في جاوة وسكالا وتوفر ميزات لا توجد في غيرها من النظم، ومعظمهم لأنهم لا السائد ولا أن من المفيد لتطبيقات معالجة البيانات غير.
تم إنشاء
والشرارة الأولى في جامعة كاليفورنيا في بيركلي AMP مختبر وتبرعت في وقت لاحق لمؤسسة أباتشي برامج
ما هو الجديد في هذا الاصدار:.
إدارة الذاكرة الموحدة - الذاكرة المشتركة لتنفيذ والتخزين المؤقت بدلا من تقسيم الحصري من المناطق.
أداء النيابة العامة - النيابة العامة تحسين أداء المسح عند استخدام المخططات مسطحة.
تحسين مخطط الاستعلام عن الاستفسارات وجود تجمعات متميزة - خطط سؤال لتجميع وحدات متميزة وأكثر قوة عندما تكون الأعمدة متميزة أصل عالية.
تنفيذ الاستعلام على التكيف - الدعم المبدئي لاختيار تلقائيا عدد من مخفضات للينضم والمجموعات.
تجنب المرشحات مزدوجة في API مصدر البيانات - عند تنفيذ مصدر بيانات مع فلتر تصميم التوسيع لأسفل، يمكن للمطورين الآن اقول SQL سبارك لتجنب ضعف تقييم مرشح دفع إلى أسفل.
سريع خالية آمنة ينضم - ينضم باستخدام المساواة خالية آمنة (& # x3c؛ = & # x3e.) والآن تنفيذ باستخدام SortMergeJoin بدلا من الحوسبة منتج cartisian.
في ذاكرة التخزين المؤقت عمودي الأداء - الهامة (حتى 14X) تسريع عندما التخزين المؤقت البيانات التي تحتوي على أنواع معقدة في DataFrames أو SQL.
SQL تنفيذ طريق خارج كومة الذاكرة - تقديم الدعم لتكوين تنفيذ الاستعلام تحدث باستخدام الذاكرة خارج كومة لتجنب GC النفقات العامة
ما هو الجديد في النسخة 1.5.2:
واجهة برمجة التطبيقات الأساسية الآن يدعم الأشجار تجميع متعدد المستويات للمساعدة على تسريع عمليات خفض تكلفة.
تمت إضافة تحسين الإبلاغ عن الأخطاء لبعض العمليات مسكتك.
مظللة جيتي الاعتماد سبارك الآن للمساعدة في تجنب الصراعات مع برامج المستخدم.
شرارة الآن يدعم التشفير SSL لبعض النقاط النهائية الاتصالات.
تم إضافة الوقت الحقيقي المقاييس GC وتعول التسجيلة الى واجهة المستخدم.
ما هو الجديد في النسخة 1.4.0:
واجهة برمجة التطبيقات الأساسية الآن يدعم الأشجار تجميع متعدد المستويات للمساعدة على تسريع عمليات خفض تكلفة.
تمت إضافة تحسين الإبلاغ عن الأخطاء لبعض العمليات مسكتك.
مظللة جيتي الاعتماد سبارك الآن للمساعدة في تجنب الصراعات مع برامج المستخدم.
شرارة الآن يدعم التشفير SSL لبعض النقاط النهائية الاتصالات.
تم إضافة الوقت الحقيقي المقاييس GC وتعول التسجيلة الى واجهة المستخدم.
ما هو الجديد في النسخة 1.2.0:
المشغل نوع PySpark يدعم الآن إراقة الخارجي لمجموعات البيانات الكبيرة.
PySpark الآن يدعم المتغيرات البث أكبر من 2GB ويقوم إراقة الخارجي أثناء عمليات الفرز.
شرارة يضيف صفحة على مستوى العمل التقدم في واجهة المستخدم شرارة، واجهة برمجة تطبيقات مستقر للإبلاغ عن التقدم، وتحديث الديناميكي للمقاييس الناتج عن وظائف كاملة.
شرارة لديها الآن الدعم لقراءة الملفات الثنائية للصور والأشكال ثنائية أخرى.
ما هو الجديد في النسخة 1.0.0:
هذا الإصدار يوسع المكتبات القياسية سبارك، وتقديم حزمة SQL جديدة (سبارك SQL) التي تسمح للمستخدمين دمج استعلامات SQL في سير العمل سبارك القائمة.
MLlib، مكتبة تعلم آلة شرارة، ويتم توسيع مع دعم ناقلات متفرق والعديد من خوارزميات جديدة.
ما هو الجديد في النسخة 0.9.1:
الثابت تجزئة علة تصادم في سفك الخارجي
الصراع ثابت مع log4j سبارك للمستخدمين الاعتماد على الخلفيات قطع الأشجار الأخرى
راكب Graphx المفقودين من جرة التجمع سبارك في مخضرم يبني
ثابت فشل صامتة بسبب تعيين الوضع الناتج تتجاوز عكا حجم الإطار
التبعية المباشرة غير الضرورية إزالة سبارك على ASM
إزالة المقاييس، العقد من البناء الافتراضي بسبب الصراع رخصة LGPL
علة ثابتة في كتل القطران التوزيع لا تحتوي على شرارة التجمع جرة
ما هو الجديد في النسخة 0.8.0: انتقلت
التنمية لمؤسسة أباتشي Sowftware كمشروع الحاضنة.
ما هو الجديد في النسخة 0.7.3:
أداء بيثون: تم تحسين آلية سبارك لوضع البيض بيثون نظام رصد السفن للقيام بذلك بشكل أسرع عندما يكون على JVM حجم كومة كبيرة، وتسريع وAPI بيثون.
Mesos إصلاحات: سوف الجرار إضافة إلى عملك يكون الآن على CLASSPATH عندما deserializing نتائج مهمة في Mesos.
الإبلاغ عن الأخطاء: أفضل تقرير عن الخطأ للحصول على استثناءات غير قابل للتسلسل والنتائج مهمة كبيرة للغاية.
أمثلة: واضاف مثال على تجهيز تيار جليل مع updateStateByKey.
بناء: شرارة الجري لم يعد يعتمد على الريبو Twitter4J، والتي ينبغي أن يسمح لها بناء في الصين.
إصلاح الأخطاء في foldByKey، تدفق عدد، أساليب الإحصاء والتوثيق واجهة المستخدم على شبكة الإنترنت.
ما هو الجديد في النسخة 0.7.2:
نسخة سكالا تحديث إلى 2.9.3.
العديد من التحسينات إلى الخبز، بما في ذلك إصلاحات الأداء ومستوى التخزين شكلي.
أساليب جديدة API: subtractByKey، foldByKey، mapWith، filterWith، foreachPartition، وغيرها.
ومقاييس جديدة الإبلاغ عن واجهة، SparkListener، لجمع معلومات حول كل مرحلة الحساب: أطوال المهمة، بايت تعديلا، الخ
عدة أمثلة جديدة باستخدام API جافا، بما في ذلك وسائل K وبي الحوسبة.
ما هو الجديد في النسخة 0.7.0:
سبارك 0.7 يضيف API بيثون دعا PySpark.
وظائف شرارة الآن إطلاق لوحة القيادة على شبكة الإنترنت لرصد استخدام الذاكرة من كل مجموعة بيانات وزعت (نشر الإشعاعات) في البرنامج.
شرارة يمكن الآن أن يبنى باستخدام مخضرم بالإضافة إلى SBT.
ما هو الجديد في النسخة 0.6.1: مهلات
الثابتة رسالة العدوانية التي يمكن أن تسبب العمال إلى قطع من المجموعة.
إصلاح الخلل في وضع نشر مستقل لم يعرض أسماء مضيفين إلى جدولة، مما يؤثر على HDFS محلة.
تحسين إعادة استخدام الاتصال في المراوغة، والتي يمكن أن سرعة كبيرة تصل المراوغات الصغيرة.
إصلاح بعض المآزق المحتملة في إدارة كتلة.
إصلاح الخلل الحصول على هويات الجنود الفاشلة من Mesos.
العديد من التحسينات النصي EC2، مثل تحسين التعامل مع الحالات الفور.
جعل عنوان IP المحلي أن شرارة بربط قابلة للتخصيص.
دعم Hadoop 2 التوزيعات.
دعم لتحديد موقع سكالا على توزيعات ديبيان.
ما هو الجديد في النسخة 0.6.0:
نشر أبسط.
وقد تم توسيع وثائق شرارة مع دليل جديد بداية سريعة، إرشادات النشر إضافية، دليل التكوين، دليل ضبط، وتحسين وثائق Scaladoc API.
وقال مدير الاتصالات جديد باستخدام غير المتزامن جافا NIO يتيح عمليات خلط تشغيل أسرع، وخاصة عند إرسال كميات كبيرة من البيانات أو عندما عمل لديها العديد من المهام.
وقال مدير التخزين الجديد يدعم إعدادات مستوى تخزين لكل مجموعة بيانات (على سبيل المثال ما إذا كان للحفاظ على مجموعة البيانات في الذاكرة، وإلغاء تسلسل، على القرص، الخ، أو حتى تكرارها في العقد).
تعزيز التصحيح.
لم يتم العثور على التعليقات