DataCleaner

DataCleaner هو مفتوح المصدر وحل خالية تماما بالنسبة للمؤسسات والشركات الراغبة في زيادة وقياس جودة البيانات الخاصة بهم.
مع DataCleaner، سوف يكون المستخدمون قادرين على البيانات الشخصية، ومقارنة والتحقق من صحة البيانات ضد قواعد العمل، ورصد تطور هذه القياسات على مر الزمن.
بين معالمه، ويمكن أن نذكر رصد البيانات، والتنميط البيانات وتحليلها DQ، والتطهير البيانات والإثراء، كشف ودمج مكررة، جودة بيانات العملاء، فضلا عن ETLightweight بسرعة فائقة (استخراج-تحويل-تحميل).
لمعرفة المزيد عن وظائف DataCleaner وقدراتها، وكذلك كيفية العمل معها، يرجى الرجوع إلى http://eobjects.dk/docs

What هو جديد في هذا الإصدار:

التحسينات والميزات الجديدة:
لقد جعلت من الممكن لخلق وإسقاط الجداول عن طريق واجهة المستخدم سطح المكتب من DataCleaner. يرجى ملاحظة أن مصطلح ومثل؛ الجدول ومثل؛ هنا في الواقع يغطي أكثر من جداول قاعدة البيانات العلائقية فقط. ويشمل أيضا الأوراق في مخازن البيانات MS Excel و المجموعات في MongoDB، وأنواع وثيقة في CouchDB وElasticSearch وهلم جرا ... أساسا كل أنواع مخزن البيانات التي تساعد على عمليات الكتابة، باستثناء مخازن البيانات جدول واحد مثل مخازن البيانات CSV، ودعم هذه الوظيفة! تتعرض وظيفة عن طريق:
ومثل؛ إنشاء الجدول ومثل؛ تمكين عبر بزر الماوس الأيمن فوق القائمة من المخططات في الشجرة على الجانب الأيسر من التطبيق.
ومثل؛ إنشاء الجدول ومثل؛ تمكين أيضا عن طريق مدخلات جدول الاختيار في مكونات مثل إدراج في جدول، جدول البحث وتحديث الجدول.
ومثل؛ إسقاط الجدول ومثل؛ تمكين عبر بزر الماوس الأيمن فوق القائمة الجداول في الشجرة على الجانب الأيسر من التطبيق.
لقد أضاف (اختياري) القدرة على تحديد الخاصة بك خدمة الإنترنت Salesforce.com نقطة النهاية URL. هذا يتيح لك استخدام DataCleaner للاتصال بيئات رمل من Salesforce.com بالإضافة إلى النهاية المخصصة الخاصة بك.
تم تحسين دعم ElasticSearch، مما يسمح للتعيينات مخصص فضلا عن إعادة استخدام تعريفات مخزن البيانات ElasticSearch الآن أيضا للبحث والفهرسة.
تم تحسين أخذ عينات من سجلات واختيار التكرارات المحتملة في وظيفة الكشف مكررة، مما يؤدي إلى تكوين أسرع لأن القرارات التي اتخذت خلال الدورة التدريبية هي أكثر تمثيلا.
تم تحديث تنسيق الملف نموذج الكشف المكررة التي تمت إزالة الحاجة إلى "مرجعية" ملف منفصل من أجل إنقاذ التدريب القرارات الماضية. وقد تم الاحتفاظ التوافق مع الشكل القديم، ولكن باستخدام الشكل الجديد يضيف الكثير من الفوائد للتجربة المستخدم.
بوجفيكسيس:
تم إصلاح المشكلة موضوع المجاعة في DataCleaner الشاشة. تأثير هذه القضية كبيرة، ولكن حدث ما حدث إلا في حالات نادرة ومخصصة للغاية. إذا كائنات المستمع الجمركية على الشاشة DataCleaner أن رمي خطأ، فإن ذلك يؤدي إلى الموارد التي لم حررت وتناول موضوع من تجمع الكوارتز جدولة على الخادم. إذا كان هذا سيحدث عدة مرات الخادم يمكن تشغيل في نهاية المطاف من المواضيع في هذا التجمع.
القائمة العمودية على الشاشة نتيجة تبذل الآن على وظيفة مناسبة لعرض التسميات من المكونات التي لها نتائج. هذا يجعل من السهل التعرف على العنصر الذي القائمة نقطة ليصل الى ما البند النتيجة.

ما هو الجديد في الإصدار 3.5.7:

والتحول "مرادف بحث 'لديها الآن خيار للبحث عن كل رمز من المدخلات. وهذا مفيد إذا كنت تفعل استبدال مرادفات ضمن قيم حقل نص طويل.
يمكن عرقلة تنفيذ وظائف DataCleaner من خلال خدمة الويب ورصد لهذا تفشل أحيانا مع خلل الناجم عن موضوع حظر. تم إصلاح هذه المشكلة.
تم إجراء تحسين في طريقة عمل وغلقت سلسلة من مكونات / تنظيف بعد التنفيذ.
تعرضت للJNLP / جافا webstart ونسخة من DataCleaner بسبب خطأ في وقت التشغيل جافا مما تسبب في بعض الملفات JAR لا بد من الاعتراف بها قاذفة webstart و، في ظل ظروف معينة. تم إصلاح هذه المشكلة عن طريق إجراء تعديلات طفيفة على تلك الملفات JAR.
تم إصلاح عدد قليل من الروابط الميتة في الوثائق.

ما هو الجديد في الإصدار 3.5.4:

ومن الممكن الآن لإخفاء أعمدة الإخراج من التحولات. سوف الاختباء لن يؤثر على تدفق المعالجة في كل شيء، ولكن ببساطة إخفائها من واجهة المستخدم، وبالتالي قد يجعل التجربة أكثر نظافة، عند التعامل مع المكونات الأخرى.
تمت إضافة خدمة جديدة على الشبكة العالمية لتطبيقات الويب والرصد، والذي يوفر وسيلة لاستطلاع الوضع القائم في تنفيذ وظيفة معينة.
تم إصلاح الخلل، مما تسبب في تقرير HTML الفشل لأنواع معينة عند تحليل قد تم تجهيزها أية سجلات.
وتم adressed 6 آخرين علة القصر.

ما هو الجديد في الإصدار 3.5.1: تغيير

التقاط تسجيلات:
وأضاف مرشح جديد لتمكين معالجة تدريجي من السجلات التي لم يتم معالجتها من قبل، على سبيل المثال لالتنميط أو نسخ السجلات المعدلة فقط. تم تغيير اسم القبض على المرشحات الجديدة السجلات، في اشارة الى مفهوم التقاط تغيير البيانات.
إعدام في قائمة الانتظار وظائف:
ورصد سوف DataCleaner الآن طابور تنفيذ نفس العمل، إذا تم تشغيله عدة مرات. هذا يضمن لك لا بطريق الخطأ تشغيل نفس الوظيفة في وقت واحد مما قد يؤدي إلى جميع أنواع القضايا، وهذا يتوقف على ما تفعله هذه المهمة.
بوجفيكسيس الصغرى:
تم تنفيذ عدة بوجفيكسيس.

ما هو الجديد في الإصدار 3.5:

عدة المعالجات متوفرة الآن لتسجيل مخازن البيانات. بما في ذلك ملف التحميل إلى خادم للملفات CSV، دخول اتصال قاعدة البيانات، وتسجيل الموجهة من أوراق اعتماد Salesforce.com وأكثر من ذلك.
كما تم تمديد مهمة بناء المعالجات مع العديد من الميزات المحسنة. اختيار توزيع قيمة ونمط إيجاد الحقول في المعالج تحليل سريع، معالج جديد تماما لخلق فرص عمل EasyDQ أساس التطهير العملاء والمعالج الوظيفي الجديد لاطلاق النار وظائف Pentaho تكامل البيانات (اقرأ المزيد أدناه).
يمكنك الآن مخصصة الاستعلام أي مخزن البيانات مباشرة في واجهة المستخدم على شبكة الإنترنت. وهذا يجعل من السهل الحصول على رؤى سريعة أو متفرقة في البيانات دون تحديد وظائف أو النهج تمكنت الأخرى من معالجة البيانات.
مرة واحدة يتم توفير فرص العمل أو مخازن البيانات، ويسترشد المستخدم على اتخاذ إجراء مع الكائن الذي بني حديثا. على سبيل المثال، يمكنك بسرعة تشغيل وظيفة مباشرة بعد انها بنيت، أو الاستعلام عن مخزن البيانات بعد تسجيله.
يمكن للمسؤولين الآن تحميل مباشرة وظائف للمستودع، وهو مفيد خاصة إذا كنت تريد باليد تحرير محتوى XML من الملفات المهمة.
وهناك الكثير من الغبار المتراكم تحت السرير الفني مخفيا الآن بعيدا في صالح يظهر الحوارات البسيطة. على سبيل المثال، عندما يتم تشغيل وظيفة يظهر مؤشر التحميل كبير، وسوف تنتهي عندما يتم عرض النتيجة. شاشة تسجيل المتقدمة التي كانت في السابق لا يمكن أن لا يزال يتم عرض عند النقر على الرابط للاطلاع على تفاصيل إضافية.

ما هو الجديد في الإصدار 3.1.2:

واضاف لدينا خدمة ويب في تطبيق الرصد من أجل الحصول على (قائمة) القيم متري. وهذا ما يجعل رصد أكثر صالحة للاستعمال كأحد مكونات البنية التحتية الرئيسية، باعتبارها وسيلة لرصد البيانات (جودة) وكشف النتائج إلى تطبيقات الطرف الثالث.
تم تحسين المكون "جدول البحث" عن طريق إضافة الانضمام دلالات كخاصية شكلي. باستخدام انضمام دلالات يمكنك قرص إذا كنت ترغب في البحث للعمل لغويا مثل LEFT JOIN أو INNER JOIN.
تم ترقية مكونات EasyDQ، مضيفا المزيد من خيارات التكوين وثراء واجهة نتيجة إلغاء البيانات المكررة.
وقد تحسن الأداء التركيز بشكل خاص من هذا الإصدار. أدخلت تحسينات في محرك DataCleaner لزيادة الاستفادة من نهج المعالجة المتدفقة في حالات معينة الزاوية التي لم تشملها سابقا.

ما هو الجديد في الإصدار 3.1.1:

وقد تم توسيع التاريخ وخيارات تحليل الوقت ذات الصلة، مضيفا تحليل توزيع أرقام الأسابيع والشهور والسنوات. يتم تجميع كل تحليل المتعلقة التاريخ والوقت الآن ضمن قائمة فرعية تسمى ومثل؛ تاريخ ووقت ومثل؛ تحت ومثل؛ تحليل ومثل ؛.
اختياري ومثل؛ الإحصاء الوصفي ومثل؛ تمت إضافة خيار للمحلل عدد ومحلل التاريخ / الوقت. ويضيف هذا الخيار مقاييس إضافية لنتائج هذه المحللات، مثل الوسيط، الإلتواء، والتفرطح المئوية. هذه المقاييس اختيارية منذ البصمة ذاكرتهم أكبر إلى حد ما من المقاييس الحالية.
الخطوط في المخططات جدول زمني لتطبيق ويب الرصد لديها الآن النقاط الصغيرة فيها. وهذا مفيد خصوصا للمخططات مع بعض (أو حتى واحد فقط) الملاحظات في نفوسهم - أن نشير بالضبط أين هي نقاط المراقبة.
محلل استعلام عندما تم أيضا تحسين استدعاء الاستفسارات مخصصة بشكل كبير. الآن الاستفسارات يمكن أن تحتوي على فقرات متميزة، * -wildcards، الاستعلامات الفرعية وهي المتسامحة تجاه القضايا نص على حدة.
تم إضافة محولين جديدة لتوليد UUIDs والطوابع توليد.

ما هو الجديد في الإصدار 3.1:

الصيغ متري - وضعت جودة مؤشرات الأداء الرئيسية البيانات:
أصبح من الممكن الآن لبناء أكثر من ذلك بكثير وضع جودة مؤشرات الأداء الرئيسية البيانات في رصد تطبيق DataCleaner على شبكة الإنترنت. واجهة المستخدم يسمح لك لبناء الصيغ المعقدة بأسلوب صيغة مثل جداول البيانات. استخدام المتغيرات التي جمعتها وظائف DataCleaner.
يمكن الصيغ متري الجمع بين أي عدد من المقاييس، والثوابت والعمليات، طالما أنه يمكن التعبير عنها في معادلة رياضية.
على سبيل المثال - قياس معدل سجلات مكررة في نسبة من إجمالي عدد السجلات. أو قياس كمية من رموز المنتجات التي تتوافق مع مجموعة من أنماط سلسلة متعددة.
الاستعلام عن المخصص - من أي مخزن البيانات:
مع DataCleaner 3.1 يمكنك الآن تنفيذ استعلامات مخصصة لأي مخزن البيانات! ويمكن التعبير عن الاستعلامات في SQL عادي وسيتم تطبيق لقواعد البيانات وكذلك الملفات وقواعد البيانات NoSQL وأكثر من ذلك، وتوفير آلية الاستعلام مفيدة حقا لتمتد إلى الخاص بك اكتشاف والتنميط البيانات الخبرة.
خيار الاستعلام متاحة أيضا من خلال خدمة الإنترنت لمراقبة المستخدمين مع دور ADMIN. يتم توفير الاستعلام كمعلمة HTTP أو هيئة POST، ويتم توفير النتيجة كما جدول XHTML.
قيمة المنظر - خيار تحليل جديد:
في كثير من الأحيان لديك فكرة الشركة التي ينبغي أن يسمح القيم والمتوقع لحقل معين. في DataCleaner كان هناك دائما خيار تحليل القيمة التوزيع التي من شأنها أن تساعدك على تأكيد الافتراضات الخاصة بك. في DataCleaner 3.1 الرغم من ذلك، لديك عرض أكثر دقة - والمنظر القيمة. يسمح هذا الخيار تحليل لك لتحديد مجموعة من القيم المتوقعة ثم إجراء توزيع قيمة مثل التحليل، وتحديدا للتحقق من صحة وتحديد قيم غير متوقعة.
نسخ وحذف وإدارة وظائف:
تم تحسين إدارة الوظائف والنتائج في تطبيق رصد DataCleaner إلى حد كبير. يمكنك الآن انقر على وظيفة في الصفحة جدولة من الشاشة، والعثور على خيارات الإدارة المتوافرة لعمليات مثل إعادة تسمية، نسخ، حذف وأكثر من ذلك. كل عملية تحترم الروابط مع غيرها من الأعمال الفنية في العرض، مثل تحليل النتائج والجداول وأكثر من ذلك. وهذا يعني أن إدارة المستودع الرصد أصبح أسهل كثيرا وناضجة.
إدارة التاريخ جودة البيانات:
أحيانا كنت تواجه حالات حيث كنت فعلا تريد أن تفعل الرصد مع البيانات التاريخية! قد يكون لديك مقالب التاريخية أو نسخ احتياطية من قواعد البيانات، التي ترغب في إظهار ويحكي قصة. يمكنك أن تفعل الآن تحليل هذه البيانات التاريخية، تحميله على جهاز العرض DataCleaner، وذلك باستخدام خدمة جديدة على الشبكة العالمية، وتحديد البيانات التاريخية لتلك النتيجة تحليل معينة. وهذا يعني أن الجدول الزمني الخاص بك وسوف مؤامرة صحيح النتائج باستخدام تاريخ المقصود منها، ولكن مع النتائج التي كنت قد جمعت ربما في مرحلة لاحقة في الوقت المناسب.
دعم جدولة عنقودية (EE فقط):
تم تخريجها جدولة من DataCleaner رصد، بحيث يمكن استبدالها من قبل وسائل بسيطة التكوين. في الطبعة المؤسسة (EE) من DataCleaner، ونحن نقدم جدولة متفاوت، وتوفير القدرة على تحميل التوازن وتوزيع الإعدام عبر مجموعة من الآلات.
واحد يشترك (SSO) باستخدام CAS (EE فقط):
في الطبعة المؤسسة (EE) من DataCleaner نحن الآن توفير خيار واحد يشترك لتطبيق الشاشة. الآن DataCleaner يمكن أن تكون جزءا لا يتجزأ من البنية التحتية لتكنولوجيا المعلومات الخاصة بك، وأيضا من الناحية الأمنية.
... وأكثر من ذلك بكثير:
ما سبق هو مجرد ملخص. تم حل أكثر من ثلاثين القضايا في هذا الإصدار. لدينا حل العديد من الطلبات الواردة من المنتديات والمجتمع، ونحن نشجع الجميع على استخدام هذه الوسيلة كوسيلة للتغيير. نحن سعداء جدا لجعل تطوير DataCleaner تتأثر بشكل كبير من قبل تيارات في المجتمع.

ما هو الجديد في الإصدار 3.0.3:

ويضيف خدمة لإعادة تسمية الوظائف في مستودع الرصد.
يمكنك الوصول إلى هذا كخدمة ويب مريحة أو بشكل تفاعلي في واجهة المستخدم.
تم إضافة خدمة ويب لتغيير تاريخ التاريخي لنتيجة التحليل في مستودع الرصد.
أحرز تطبيق ويب متوافق مع حاويات إرث JSF.
التخزين المؤقت للتكوين في تطبيق ويب وتحسنت إلى حد كبير، مما يؤدي إلى سرعة تحميل الصفحة، وتهيئة فرص العمل مرات.

ما هو الجديد في الإصدار 3.0.2:

وعندما اثار على وظيفة في تطبيق ويب رصد و-بالتحديث التلقائي لوحة كل ثانية للحصول على أحدث حالة من التنفيذ.
يتم الآن حل مخازن البيانات المستندة إلى ملف (مثل CSV أو جداول البيانات إكسل) مع مسارات مطلقة بشكل صحيح في تطبيق المراقبة على شبكة الإنترنت.
و& مثل؛ اختر من مفتاح / قيمة خريطة ومثل؛ محول يدعم الآن تحديد تعبيرات متداخلة، مثل & quot Address.Street ومثل؛ أو & مثل؛ orderlines [0] .product.name & مثل ؛.
وقد تم تحسين آلية جدول بحث عن الأداء، وذلك باستخدام البيانات المعدة عند تشغيل ضد قواعد البيانات JDBC.
يمكن للمسؤولين الآن تحميل مخازن البيانات المستندة إلى الملفات مباشرة من ومثل؛ مخازن البيانات ومثل؛ الصفحة.
معالجة في تطبيق ويب رصد استثناء قد تحسنت قليلا، مما يجعل من رسائل الخطأ أكثر دقة وسهولة.