وقد تم تصميم سبارك لتحسين سرعة المعالجة لتحليل البيانات وبرامج التلاعب.
كانت مكتوبة بلغة جافا وسكالا وتوفر ميزات لا توجد في غيرها من النظم، ومعظمهم لأنهم ليسوا التيار ولا أن من المفيد لتطبيقات معالجة البيانات غير
ما هو الجديد في هذا الإصدار:
وAPI الأساسية الآن يدعم الأشجار تجميع متعدد المستويات للمساعدة في تسريع خفض تكلفة العمليات.
تمت إضافة تحسين الإبلاغ عن الأخطاء لبعض العمليات مسكتك.
مظللة جيتي التبعية سبارك الآن للمساعدة في تجنب الصراعات مع برامج المستخدم.
شرارة الآن يدعم التشفير SSL لبعض نهايات الاتصالات.
وقد أضيفت الحقيقي المقاييس GC وتعول التسجيلة الى واجهة المستخدم.
ما هو الجديد في الإصدار 1.3.0:
وAPI الأساسية الآن يدعم الأشجار تجميع متعدد المستويات للمساعدة على تسريع الحد من العمليات باهظة الثمن.
تمت إضافة تحسين الإبلاغ عن الأخطاء لبعض العمليات مسكتك.
مظللة جيتي التبعية سبارك الآن للمساعدة في تجنب الصراعات مع برامج المستخدم.
شرارة الآن يدعم التشفير SSL لبعض نهايات الاتصالات.
وقد أضيفت الحقيقي المقاييس GC وتعول التسجيلة الى واجهة المستخدم.
ما هو الجديد في الإصدار 1.2.1:
مشغل النوع PySpark يدعم الآن إراقة الخارجي للمجموعات البيانات الكبيرة.
PySpark الآن يدعم المتغيرات البث أكبر من 2GB ويقوم إراقة الخارجي أثناء عمليات الفرز.
شرارة يضيف صفحة مستوى العمل التقدم في واجهة المستخدم شرارة، وهو API مستقر للإبلاغ عن التقدم، وتحديث الديناميكي للمقاييس الناتج عن وظائف كاملة.
شرارة لديها الآن دعم لقراءة الملفات الثنائية للصور والأشكال ثنائية أخرى.
ما هو الجديد في الإصدار 1.0.0:
هذا الإصدار يوسع المكتبات سبارك القياسية، وإدخال حزمة SQL جديدة (سبارك SQL) التي تسمح للمستخدمين دمج الاستفسارات SQL في سير العمل سبارك القائمة.
MLlib، مكتبة تعلم آلة شرارة، ويتم توسيع بدعم ناقلات متفرق والعديد من خوارزميات جديدة.
ما هو الجديد في الإصدار 0.9.1:
الثابت تجزئة تصادم خطأ في إراقة الخارجي
الصراع ثابت مع log4j سبارك للمستخدمين الاعتماد على الخلفيات قطع الأشجار الأخرى
ثابت Graphx المفقودين من جرة التجمع سبارك في مخضرم يبني
فشل الصامتة ثابتة بسبب وضع خريطة الانتاج تزيد عكا حجم الإطار
تبعية مباشرة لا لزوم لها سبارك إزالتها على ASM
إزالة المقاييس-العقد من البناء الافتراضي بسبب الصراع رخصة LGPL
علة ثابتة في كتل القطران التوزيع التي لا تحتوي على شرارة التجمع جرة
ما هو الجديد في الإصدار 0.8.0: انتقلت
التنمية لمؤسسة أباتشي Sowftware كمشروع الحاضنة.
ما هو الجديد في الإصدار 0.7.3:
أداء بيثون: تم تحسين آلية سبارك لتفريخ بيثون نظام رصد السفن للقيام بذلك بشكل أسرع عندما يكون لدى JVM حجم كومة كبيرة، وتسريع وAPI بيثون.
Mesos الإصلاحات: والجرار وأضاف أن وظيفتك أن يكون الآن على CLASSPATH عندما deserializing نتائج مهمة في Mesos.
الإبلاغ عن الأخطاء: التقرير عن الخطأ أفضل للاستثناءات غير قابل للتسلسل والنتائج مهمة كبيرة للغاية.
الأمثلة على ذلك: واضاف مثال على تجهيز تيار جليل مع updateStateByKey.
بناء: شرارة الجري لم يعد يعتمد على الريبو Twitter4J، والتي ينبغي أن يسمح لها بناء في الصين.
إصلاحات الشوائب في foldByKey، وتدفق عدد، أساليب الإحصاء والتوثيق واجهة المستخدم على شبكة الإنترنت.
ما هو الجديد في الإصدار 0.7.2:
سكالا إصدار تحديث ل2.9.3.
العديد من التحسينات على الخبز، بما في ذلك إصلاحات الأداء ومستوى التخزين شكلي.
أساليب جديدة API: subtractByKey، foldByKey، mapWith، filterWith، foreachPartition، وغيرها.
A مقاييس جديدة الإبلاغ عن واجهة، SparkListener، لجمع معلومات حول كل مرحلة الحساب: أطوال المهمة، بايت تعديلا، الخ
عدة أمثلة جديدة باستخدام API جافا، بما في ذلك وسائل K وبي الحوسبة.
ما هو الجديد في الإصدار 0.7.0:
سبارك 0.7 يضيف API بيثون دعا PySpark.
وظائف شرارة إطلاق الآن لوحة القيادة على شبكة الإنترنت لرصد استخدام الذاكرة من كل مجموعة بيانات وزعت (RDD) في البرنامج.
ويمكن الآن أن يبنى شرارة باستخدام مخضرم بالإضافة إلى SBT.
ما هو الجديد في الإصدار 0.6.1:
الثابتة رسالة العدوانية مهلات التي يمكن أن تسبب العمال إلى قطع من المجموعة.
إصلاح الخلل في وضع مستقل نشر التي لم تعرض أسماء المضيفين لجدولة، مما يؤثر على HDFS محلة.
تحسين إعادة استخدام الاتصال في خلط ورق اللعب، والتي يمكن أن تصل سرعة كبيرة المراوغات الصغيرة.
إصلاح بعض المآزق المحتملة في إدارة كتلة.
إصلاح الخلل الحصول على هويات الجنود الفاشلة من Mesos.
العديد من التحسينات النصي EC2، مثل تحسين التعامل مع الحالات الفور.
جعل عنوان IP المحلي الذي سبارك بربط تخصيص.
دعم Hadoop 2 التوزيعات.
دعم لتحديد موقع سكالا على توزيعات ديبيان.
ما هو الجديد في الإصدار 0.6.0:
نشر أبسط.
وقد تم توسيع ثائق شرارة مع دليل جديد البداية السريعة، إرشادات النشر إضافية، دليل التكوين، وضبط الدليل، وتحسين وثائق API Scaladoc.
وقال مدير الاتصالات الجديد باستخدام غير المتزامن جافا NIO يتيح عمليات خلط تعمل بشكل أسرع، وخاصة عند إرسال كميات كبيرة من البيانات أو عند وظيفة لديها العديد من المهام.
وقال مدير التخزين الجديد يدعم إعدادات مستوى تخزين لكل مجموعة البيانات (على سبيل المثال ما إذا كان للحفاظ على مجموعة البيانات في الذاكرة، وإلغاء تسلسل، على القرص، الخ، أو حتى تكرارها عبر العقد).
تعزيز التصحيح.
لم يتم العثور على التعليقات