DataCleaner

DataCleaner هو مفتوح المصدر وحل خالية تماما للمؤسسات والشركات الراغبة في زيادة وقياس نوعية البيانات الخاصة بهم.

ومع DataCleaner، سوف يكون المستخدمون قادرين على البيانات الشخصية والمقارنة والتحقق من صحة البيانات ضد قواعد العمل، ورصد تطور هذه القياسات مع مرور الوقت.

وبين معالمه، ويمكن أن نذكر رصد البيانات، والتنميط البيانات وتحليلها DQ، والتطهير البيانات والإثراء، كشف ودمج مكررة، جودة بيانات العملاء، وكذلك ETLightweight بسرعة فائقة (استخراج-تحويل-تحميل).

لمعرفة المزيد عن وظائف DataCleaner وقدراتها، وكذلك كيفية العمل معها، يرجى الرجوع إلى http://eobjects.dk/docs

What هو جديد في هذا الإصدار :

التحسينات والميزات الجديدة:
لقد جعلت من الممكن لخلق وإسقاط الجداول عن طريق واجهة المستخدم سطح المكتب من DataCleaner. يرجى ملاحظة أن مصطلح ومثل، الجدول ومثل. هنا يغطي في الواقع أكثر من جداول قاعدة البيانات فقط العلائقية. ويشمل أيضا الأوراق في مخازن البيانات MS Excel و المجموعات في MongoDB، أنواع الوثائق في كاوتش دي بي وElasticSearch وهلم جرا ... أساسا كل أنواع مخزن البيانات التي تدعم-عمليات الكتابة، إلا مخازن البيانات جدول واحد مثل مخازن البيانات CSV، ودعم هذه الوظيفة! تتعرض وظيفة عن طريق:
ومثل؛ إنشاء الجدول ومثل. تمكين عبر بزر الماوس الأيمن فوق القائمة من المخططات في الشجرة على الجانب الأيسر من التطبيق.
ومثل؛ إنشاء الجدول ومثل. تمكين أيضا عن طريق المدخلات الجدول التحديد في مكونات مثل إدراج في جدول، بحث الجدول والجدول تحديث.
ومثل؛ إسقاط الجدول ومثل. تمكين عبر بزر الماوس الأيمن فوق القائمة من الجداول في الشجرة على الجانب الأيسر من التطبيق.
قمنا بإضافة (اختياري) القدرة على تحديد الخاصة بك خدمة الإنترنت Salesforce.com نقطة النهاية URL. هذا يتيح لك استخدام DataCleaner للاتصال بيئات رمل من Salesforce.com بالإضافة إلى النهاية المخصصة الخاصة بك.
تم تحسين دعم ElasticSearch، مما يسمح للتعيينات المخصص وكذلك إعادة استخدام تعريفات مخزن البيانات ElasticSearch الآن أيضا للبحث والفهرسة.
تم تحسين أخذ عينات من السجلات واختيار من التكرارات المحتملة في وظيفة الكشف مكررة، مما أدى إلى أسرع التكوين لأن القرارات التي اتخذت خلال الدورة التدريبية أكثر تمثيلا.
تم تحديث تنسيق الملف نموذج الكشف المكررة التي تمت إزالة الحاجة إلى ملف منفصل "مرجعية" من أجل إنقاذ التدريب القرارات الماضية. وقد تم الاحتفاظ التوافق مع الشكل القديم، ولكن باستخدام الشكل الجديد يضيف العديد من الفوائد لتجربة المستخدم.
بوجفيكسيس:
تم إصلاح والمسألة موضوع المجاعة في رصد DataCleaner. وكان أثر هذه القضية كبيرة، ولكن ذلك لم يحدث الا في حالات نادرة وتفصيلها جدا. إذا اعترض المستمع العرف على الشاشة DataCleaner سوف رمي خطأ، فإن ذلك يؤدي إلى الموارد أبدا أن يطلق سراحه حتى وتناول الموضوع من تجمع الكوارتز جدولة على الخادم. إذا كان هذا يمكن أن يحدث عدة مرات يمكن تشغيل الخادم في نهاية المطاف من المواضيع في هذا التجمع.
القائمة العمودية على الشاشة نتيجة يقوم به الآن على وظيفة مناسبة لعرض التسميات من المكونات التي لها نتائج. هذا يجعل من السهل على الاعتراف الذي نقاط عنصر القائمة لماذا البند نتيجة.

ما هو الجديد في النسخة 3.5.5:

و"مرادف بحث" التحول لديها الآن خيار للبحث عن كل رمز من المدخلات. وهذا مفيد إذا كنت تفعل استبدال مرادفات ضمن قيم حقل نص طويل.
يمكن عرقلة تنفيذ وظائف DataCleaner من خلال خدمة الويب ورصد لهذا تفشل أحيانا مع خلل الناجم عن موضوع حظر. تم إصلاح هذه المشكلة.
تم إجراء تحسين في طريقة عمل وسلسلة من مكونات مغلقة / تنظيف بعد التنفيذ.
تعرضت للJNLP / جافا webstart ونسخة من DataCleaner بسبب خطأ في وقت التشغيل جافا مما تسبب في بعض الملفات JAR لا بد من الاعتراف بها قاذفة webstart و، في ظل ظروف معينة. تم إصلاح هذه المشكلة عن طريق إجراء تعديلات طفيفة على تلك الملفات JAR.
تم إصلاح عدد قليل من الروابط الميتة في الوثائق.

ما هو الجديد في النسخة 3.5.4:

ومن الممكن الآن لإخفاء أعمدة الإخراج من التحولات. سوف الاختباء لن يؤثر على تدفق المعالجة في كل شيء، ولكن ببساطة إخفائها من واجهة المستخدم، وبالتالي يحتمل أن يجعل تجربة أكثر نظافة، عند التعامل مع المكونات الأخرى.
تمت إضافة خدمة جديدة على الشبكة العالمية لتطبيقات الويب والرصد، والذي يوفر وسيلة لاستطلاع الوضع على تنفيذ وظيفة معينة.
تم إصلاح الخلل، مما تسبب في تقرير HTML الفشل لأنواع التحليل معينة عندما تم معالجة أية سجلات.
وتم adressed 6 الخلل البسيط الآخرين.

ما هو الجديد في النسخة 3.5.1: تغير

التقاط تسجيلات:
تم إضافة فلتر جديد لتمكين معالجة تدريجية من السجلات التي لم يتم معالجتها من قبل، على سبيل المثال، لالتنميط أو النسخ المعدلة فقط السجلات. اسم المرشحات الجديدة يتم تغيير القبض على السجلات، في اشارة الى مفهوم التقاط تغيير البيانات.
إعدام في قائمة الانتظار وظائف:
ورصد سوف DataCleaner الآن طابور تنفيذ نفس المهمة، إذا تم تشغيله عدة مرات. هذا يضمن لك لا قصد تشغيل بنفس العمل في نفس الوقت مما قد يؤدي إلى جميع أنواع القضايا، وهذا يتوقف على ما تفعله هذه المهمة.
بوجفيكسيس الصغرى:
تم تنفيذ عدة بوجفيكسيس.

ما هو جديد في الإصدار 3.5:

العديد من المعالجات متوفرة الآن لتسجيل مخازن البيانات. بما في ذلك الملفات تحميل إلى خادم للملفات CSV، دخول اتصال قاعدة البيانات، وتسجيل الموجهة من أوراق اعتماد Salesforce.com وأكثر من ذلك.
كما تم تمديد مهمة بناء المعالجات مع العديد من الميزات المحسنة. اختيار من توزيع قيمة وحقول نمط العثور في المعالج تحليل سريع، وهو المعالج الجديد تماما لخلق EasyDQ أساس وظيفة التطهير العملاء والمعالج الوظيفي الجديد لاطلاق النار وظائف Pentaho تكامل البيانات (اقرأ المزيد أدناه).
يمكنك الآن مخصصة الاستعلام أي مخزن البيانات مباشرة في واجهة المستخدم على شبكة الإنترنت. وهذا يجعل من السهل الحصول على رؤى سريعة أو متفرقة في البيانات دون تحديد وظائف أو مناهج أخرى تمكنت من معالجة البيانات.
مرة واحدة يتم توفير فرص العمل أو مخازن البيانات، ويسترشد المستخدم على اتخاذ إجراء مع الكائن الذي بني حديثا. على سبيل المثال، يمكنك بسرعة تشغيل وظيفة مباشرة بعد انها بنيت، أو الاستعلام عن مخزن البيانات بعد تسجيله.
يمكن للمسؤولين تحميل الآن مباشرة وظائف للمستودع، وهو مفيد خاصة إذا كنت تريد يدويا تحرير محتوى XML من الملفات المهمة.
مخفيا وهناك الكثير من العناصر غير المرغوب فيها التقنيين الآن بعيدا في صالح تظهر الحوارات البسيطة. على سبيل المثال، عندما يتم تشغيل وظيفة يظهر مؤشر التحميل كبير، وسوف عند الانتهاء يتم عرض النتيجة. شاشة تسجيل المتقدمة التي كانت في السابق لا يمكن أن لا يزال يتم عرض عند النقر على الرابط للاطلاع على تفاصيل إضافية.

ما هو الجديد في النسخة 3.1.2:

واضاف لدينا خدمة ويب في تطبيق المراقبة من أجل الحصول على (قائمة) القيم متري. وهذا ما يجعل رصد أكثر صالحة للاستعمال كأحد مكونات البنية التحتية الرئيسية، باعتبارها وسيلة لرصد البيانات (جودة) وكشف النتائج إلى تطبيقات الطرف الثالث.
تم تحسين المكون "جدول البحث" عن طريق إضافة الانضمام دلالات كخاصية شكلي. باستخدام انضمام دلالات يمكنك قرص إذا كنت ترغب في البحث للعمل غويا مثل LEFT JOIN أو داخلية JOIN.
تم ترقية مكونات EasyDQ، مضيفا المزيد من خيارات التكوين وثراء واجهة نتيجة إلغاء البيانات المكررة.
وقد تحسن الأداء التركيز بوجه خاص من هذا الإصدار. وقد تم إدخال تحسينات في محرك DataCleaner لزيادة الاستفادة من نهج المعالجة المتدفقة في الحالات زاوية معينة والتي لم تشملها سابقا.

ما هو الجديد في النسخة 3.1.1:

وقد تم توسيع التاريخ وخيارات تحليل الوقت ذات الصلة، مضيفا تحليل توزيع أرقام الأسابيع والشهور والسنوات. يتم تجميع كل تحليل المتعلقة التاريخ والوقت الآن ضمن قائمة فرعية تسمى ومثل، تاريخ ووقت ومثل. تحت ومثل؛ تحليل ومثل ؛.
اختياري ومثل، الإحصاء الوصفي ومثل. تمت إضافة خيار للمحلل عدد ومحلل التاريخ / الوقت. ويضيف هذا الخيار مقاييس إضافية لنتائج هذه المحللات، مثل الوسيط، الإلتواء، النسب المئوية والتفرطح. هذه المقاييس اختيارية منذ البصمة ذاكرتهم أكبر إلى حد ما من المقاييس الحالية.
الخطوط في المخططات جدول زمني لتطبيق ويب الرصد لديها الآن النقاط الصغيرة فيها. هذا هو مفيدة بشكل خاص للمخططات مع بعض الملاحظات (أو حتى واحد فقط) فيها - أن نشير بالضبط أين هي نقاط المراقبة.
محلل استعلام عندما حدث تحسن في الاحتجاج الاستفسارات مخصصة بشكل كبير. الآن يمكن الاستفسارات يحتوي على فقرات متميزة، * -wildcards، الاستعلامات الفرعية ووالمتسامحة تجاه القضايا نص على حدة.
تم إضافة محولين جديدة لتوليد UUIDs والطوابع توليد.

ما هو جديد في الإصدار 3.1:

الصيغ متري - وضعت جودة البيانات مؤشرات الأداء الرئيسية:
أصبح من الممكن الآن لبناء أكثر من ذلك بكثير وضع بيانات الجودة مؤشرات الأداء الرئيسية في تطبيق ويب DataCleaner والرصد. واجهة المستخدم يسمح لك لبناء الصيغ المعقدة في صيغة أسلوب مثل جداول البيانات. استخدام المتغيرات التي جمعتها وظائف DataCleaner.
يمكن الصيغ متري الجمع بين أي عدد من المقاييس، والثوابت والعمليات، طالما أنه يمكن التعبير عنها في معادلة رياضية.
على سبيل المثال - قياس معدل سجلات مكررة في نسبة من إجمالي عدد السجلات. أو قياس كمية من رموز المنتجات التي تتوافق مع مجموعة من أنماط سلسلة متعددة.
الاستعلام-مخصص - من أي مخزن البيانات:
مع DataCleaner 3.1 يمكنك الآن تنفيذ استعلامات مخصصة لأي مخزن البيانات! ويمكن التعبير عن الاستعلامات في SQL عادي وسيتم تطبيق لقواعد البيانات وكذلك الملفات وقواعد البيانات NoSQL وأكثر من ذلك، وتوفير آلية الاستعلام مفيدة حقا لتوسيع الدخول الى حسابك في اكتشاف والتنميط البيانات الخبرة.
خيار الاستعلام هو أيضا متوفرة من خلال خدمة الإنترنت لمراقبة المستخدمين مع دور ADMIN. يتم توفير الاستعلام كمعلمة HTTP أو هيئة وظيفة، ويتم توفير النتيجة على النحو جدول XHTML.
المنظر قيمة - خيار تحليل جديد:
في كثير من الأحيان لديك فكرة الشركة التي ينبغي أن يسمح القيم والمتوقع لحقل معين. في DataCleaner كان هناك دائما خيار تحليل القيمة التوزيع التي من شأنها أن تساعدك على تأكيد الافتراضات الخاصة بك. في DataCleaner 3.1 الرغم من ذلك، لديك عرض أكثر دقة - والمنظر القيمة. يسمح هذا الخيار تحليل لك لتحديد مجموعة من القيم المتوقعة ثم إجراء توزيع قيمة مثل التحليل، وتحديدا للتحقق من صحة وتحديد قيم غير متوقعة.
نسخ، حذف وإدارة الوظائف:
تم تحسين إدارة الوظائف والنتائج في تطبيق رصد DataCleaner إلى حد كبير. يمكنك الآن النقر على وظيفة في الصفحة جدولة من الشاشة، والبحث عن خيارات الإدارة المتوافرة لعمليات مثل إعادة تسمية، نسخ، حذف وأكثر من ذلك. كل عملية تحترم الروابط مع غيرها من الأعمال الفنية في العرض، مثل نتائج التحليل، والجداول الزمنية وأكثر من ذلك. وهذا يعني أن إدارة مستودع للرصد أصبح أسهل كثيرا وناضجة.
إدارة السجل جودة البيانات:
أحيانا كنت تواجه حالات حيث كنت فعلا تريد أن تفعل المراقبة مع البيانات التاريخية! قد يكون لديك مقالب التاريخية أو نسخ احتياطية من قواعد البيانات، التي ترغب في إظهار ويحكي قصة. يمكنك الآن القيام بتحليل هذه البيانات التاريخية، تحميله على جهاز العرض DataCleaner، وذلك باستخدام خدمة جديدة على الشبكة العالمية، وتحديد البيانات التاريخية من أن نتيجة تحليل معينة. وهذا يعني أن الجداول الزمنية الخاصة بك وسوف مؤامرة صحيح النتائج باستخدام التاريخ الذي أنشأت من أجله، ولكن مع النتائج التي كنت قد جمعت ربما في مرحلة لاحقة في الوقت المناسب.
تتجمع دعم جدولة (EE فقط):
تم تخريجها جدولة لرصد DataCleaner، بحيث يمكن استبدالها من قبل وسائل بسيطة التكوين. في الطبعة المؤسسة (EE) من DataCleaner، ونحن نقدم جدولة متفاوت، وتوفير القدرة على تحميل التوازن وتوزيع الإعدام عبر مجموعة من الآلات.
واحد يشترك (SSO) باستخدام CAS (EE فقط):
في الطبعة المؤسسة (EE) من DataCleaner نحن الآن توفير خيار يشترك واحد لتطبيق الشاشة. الآن DataCleaner يمكن أن تكون جزءا لا يتجزأ من البنية التحتية لتكنولوجيا المعلومات الخاصة بك، وأيضا من الناحية الأمنية.
... وأكثر من ذلك بكثير:
ما سبق هو مجرد ملخص. لقد تم حل أكثر من ثلاثين المشكلات في هذا الإصدار. لدينا حل العديد من الطلبات الواردة من المنتديات والمجتمع، ونحن نشجع الجميع على استخدام هذه الوسيلة كوسيلة للتغيير. نحن سعداء جدا لجعل تطوير DataCleaner تتأثر بشكل كبير من قبل تيارات في المجتمع.

ما هو الجديد في النسخة 3.0.3:

ويضيف خدمة لإعادة تسمية الوظائف في مستودع للرصد.
يمكنك الوصول إلى هذا كخدمة ويب مريحة أو بشكل تفاعلي في واجهة المستخدم.
تم إضافة خدمة ويب لتغيير تاريخ التاريخي لنتيجة التحليل في مستودع للرصد.
أحرز تطبيق ويب متوافق مع حاويات للمساهمة في المشروع القديمة.
تم تحسين التخزين المؤقت للتكوين في تطبيق ويب إلى حد كبير، مما يؤدي إلى تحميل الصفحة وتهيئة فرص العمل أسرع الأوقات.

ما هو الجديد في النسخة 3.0.2:

عند اثار على وظيفة في تطبيق ويب مراقبة، لوحة السيارات بتحديث كل ثانية للحصول على أحدث حالة من التنفيذ.
والآن حل مخازن البيانات المستندة إلى ملف (مثل CSV أو جداول البيانات إكسل) مع مسارات المطلقة بشكل صحيح في تطبيق المراقبة على شبكة الإنترنت.
وومثل، اختر من مفتاح / خريطة قيمة ومثل. محول يدعم الآن تعابير مختارة متداخلة، مثل & quot Address.Street ومثل. أو & مثل؛ orderlines [0] .product.name ومثل ؛.
وقد تم تحسين آلية طاولة البحث لأداء، وذلك باستخدام بيانات معدة عند تشغيل ضد قواعد البيانات JDBC.
يمكن لمسؤولي الآن تحميل مخازن البيانات المستندة إلى الملفات مباشرة من ومثل؛ مخازن البيانات ومثل. الصفحة.
تم تحسين معالجة في تطبيق ويب مراقبة استثناء قليلا، مما يجعل من رسائل الخطأ أكثر دقة وسهولة.

ما هو الجديد في النسخة 3.0.1:

وكان خلل أساسي في هذا البيان حول استعادة تعيين الأعمدة والتصنيفات enumerable محددة. على سبيل المثال في محلل اكتمال الجديد، وجدنا أنه بعد إعادة وظيفة حفظ، وكان التعيين غير صحيح دائما.
وعلاوة على ذلك تم إجراء بعض التحسينات الداخلية، مما يجعل من الأسهل لنشر التطبيق على شبكة الإنترنت رصد DataCleaner في بيئات باستخدام إطار الربيع.
وأخيرا وليس آخرا، وقد تم تحسين إعدادات التصور في تطبيقات سطح المكتب من خلال اتخاذ تلقائيا نظرة على العمل الذي تقوم تصور وتبديل عرض الأعمال الفنية بناء على حجم الشاشة وكمية التفاصيل اللازمة لاثبات انها لطيف.

ما هو الجديد في النسخة 3.0:

عرض جدول زمني واتجاهات مقاييس جودة البيانات
مستودع مركزي للإدارة والتي تحتوي على فرص العمل، والنتائج والجداول الزمنية الخ
جدولة ومراجعة وظائف DataCleaner
توفير خدمات الإنترنت لاستدعاء التحولات DataCleaner
الأمن ومتعددة الإيجار،
التنبيهات والإشعارات عندما مقاييس جودة البيانات خارج مناطق الراحة المتوقعة.
هناك محلل اكتمال الجديد وهو أمر مفيد جدا لمجرد تحديد السجلات التي تحتوي على حقول غير مكتملة.
يمكنك الآن تصدير النتائج DataCleaner لطيفة المظهر تقارير التي يمكن أن تعطي لمديرك، أو إرسالها إلى محلل XML الخاصة بك HTML!
كما متكاملة البيئة الرصد الجديدة بشكل وثيق مع تطبيقات سطح المكتب. وهكذا، فإن تطبيق سطح المكتب لديها الآن القدرة على نشر فرص العمل والنتائج إلى رصد مستودع، واستخدامها كمحرر تفاعلي لمحتوى موجود بالفعل في مستودع.
هي التحولات الموجهة تاريخ الجديدة متوفرة الآن: مرشح نطاق التاريخ، والذي يسمح لك لفرعية مجموعات البيانات على أساس نطاقات التاريخ، والتاريخ شكل، والذي يسمح لتنسيق التاريخ باستخدام قناع التاريخ.
وقد تم الآن تضمين التعبيرات المنتظمة محلل (التي كانت في السابق متاحة فقط من خلال ExtensionSwap) في DataCleaner. هذا يجعلها مريحة جدا لتحليل وتوحيد الحقول النصية الغنية باستخدام عبارات عادية.
هناك نص جديد قضية محول المتاحة. مع هذا التحول يمكنك بسهولة تحويل بين العلوية السفلية حالة / والقيمة المناسبة من الجمل والكلمات.
تم إضافة اثنين بحث جديد / استبدال التحولات: بحث عادي / استبدال والبحث التعبيرات المنتظمة / استبدال.
تم تحسين تجربة المستخدم من تطبيقات سطح المكتب. واضاف لدينا عدة رسائل المساعدة في التطبيق، جعلت الألوان تبدو أكثر إشراقا وأكثر وضوحا وتحسين التعامل مع الخط.

ما هو الجديد في النسخة 2.5.2:

الدعم أباتشي كاوتش دي بي:
لقد أضفنا الدعم لقاعدة بيانات NoSQL أباتشي كاوتش دي بي. DataCleaner يدعم كلا من القراءة من وتحليل وكتابة لحالات كاوتش دي بي الخاص بك.
تحديث جدول الكاتب:
بعد جهود السابقة جهدنا لتحقيق ميزات الطراز ETLightweight إلى DataCleaner، أضفنا الكاتب الذي يقوم بتحديث السجلات في الجدول. يمكنك استخدام هذا على سبيل المثال لإدراج أو تحديث السجلات على أساس شروط محددة.
مثل إدراج إلى الكاتب الجدول، لا يقتصر على DataCleaner تحديث الكاتب الجدول الجديد لقواعد البيانات المستندة إلى SQL، ولكن أي نوع مخزن البيانات التي تدعم الكتابة (حاليا قواعد البيانات العلائقية، وملفات CSV، جداول البيانات إكسل، قواعد البيانات MongoDB وقواعد البيانات MongoDB)، ولكن دلالات هي نفسها كما هو الحال مع عبارة UPDATE الجدول التقليدي في SQL.
الحفر إلى معلومات تفصيلية حفظ الملفات في النتيجة:
عند استخدام ميزة نتيجة حفظ من DataCleaner 2.5، شهدت بعض المستخدمين أن معلوماتهم الحفر إلى التفاصيل قد فقدت. في DataCleaner 2.5.2 نحن الآن أيضا تستمر هذه المعلومات، مما يجعل المحفوظات DQ أكثر من ذلك بكثير قيمة عند التحقيق في الحوادث البيانات التاريخية.
تحسين EasyDQ معالجة الأخطاء:
وقد تم تحسين مكونات EasyDQ من حيث معالجة الأخطاء. في حالة حدوث مشكلة في شبكة لحظة أو قضية أخرى مماثلة يسبب بعض السجلات أن تفشل، فإن مكونات EasyDQ الآن بأمان على التعافي والأهم من ذلك - والعمل الدفعي يسود حتى على الرغم من الأخطاء.
تعيين جدول لمخازن البيانات NoSQL:
منذ كاوتش دي بي وMongoDB لا يستند الجدول، ولكن لديها بنية أكثر ديناميكية نحن نقدم نهجين للعمل معهم: الافتراضي، الذي هو السماح DataCleaner اكتشاف التلقائي بنية الجدول، والمتقدمة التي تسمح لك لتحديد الهيكل الخاص الجدول المطلوب يدويا . كان سابقا المتقدمة الخيار متاح فقط من خلال التكوين XML، ولكن الآن واجهة المستخدم يحتوي على الحوارات المناسبة للقيام بذلك مباشرة في التطبيق.

ما هو الجديد في النسخة 2.4.1:

التحسينات الميزة:
ميزات دفعة تحميل نحن تحسنت كثيرا عند كتابة البيانات إلى جداول قاعدة البيانات. نتوقع أن نرى العديد من الطلبات من التحسينات حجم هنا.
كتابة بيانات أحرز أكثر سهولة متاحة من خلال إضافة الخيارات إلى قائمة النافذة.
يمكنك الآن بسهولة إعادة تسمية مكونات وظيفة عن طريق النقر المزدوج علامات التبويب الخاصة بهم.
محول جافا سكريبت لديها الآن التلوين بناء الجملة، بحيث جافاسكريبتس الخاص بك هي أسهل لفحص وتعديل.
بوجفيكسيس:
عند قراءة من والكتابة إلى نفس مخزن البيانات (على سبيل المثال. منطقة التدريج DataCleaner) لقد تأكدنا من أن ذاكرة التخزين المؤقت جدول أن مخزن البيانات يتم تحديث. سابقا بعض السيناريوهات سمحت لك أن ترى وجهة نظر خارج التاريخ من الجداول.
تم حل حالة توقف تام المحتملة عند بدء التطبيق. وكان هذا الجمود نتيجة لمشكلة في JVM، ولكننا عملنا من حوله عن طريق مزامنة جميع المكالمات إلى API معين في جاوة.

ما هو جديد في الإصدار 2.4:

تكرار الكشف، وهو حر في استخدام لمدة تصل إلى 500،000 القيم (الملقب إلغاء البيانات المكررة أو ضبابي مطابقة للسجلات.).
معالجة التحقق من صحة البيانات والتطهير. هذا يسمح لك لمعرفة ما اذا كان وجود عناوين، إذا تم تنسيقها بشكل صحيح وحتى لاقتراح التصحيحات في حال كان لديك اخطاء.
اسم التحقق من صحة البيانات والتطهير. مع خدمة الاسم، لا EasyDQ تهيئة ليس فقط الأسماء الخاصة بك باستمرار، ولكن أيضا بالتحقق من وجود أخطاء إملائية ويفسر أجزاء الاسم.
البريد الإلكتروني والتحقق من صحة الهاتف والتطهير. هذه الخدمات توفر التحقق من بيانات البريد الإلكتروني والهاتف، والتأكد من مجالات البريد الإلكتروني موجودة، أن رموز البلد صحيحة وأكثر من ذلك بكثير.

ما هو جديد في الإصدار 2.3:

دعم البيانات الدولي:
إذا كنت تعمل مع البيانات الدولية، ثم قد يكون لديك مجموعات أحرف مختلفة في البيانات الخاصة بك، على سبيل المثال الصينية أو العبرية. واضاف نحن في مجموعة الأحرف محلل التوزيع، وهو خيار التنميط التي تمكنك من معرفة والتي تستخدم مجموعات الأحرف في البيانات الخاصة بك.
يمكن أن تعمل مع البيانات التي تحتوي على مجموعات أحرف مختلفة يكون مشكلة. باستخدام محول • الترجمة جديد يمكنك الآن لغة بحروف لغة أخرى سلاسل من أنظمة الكتابة المختلفة إلى الأحرف اللاتينية.
وهناك أيضا مظاهرة الشبكه العالمية الجديدة، مع التركيز على قدرات البيانات الدولية من DataCleaner 2.3 في قسم الوثائق.
تجميع نتائج التحاليل بحسب هذا العامود الثانوي:
محلل نمط الآن قادرا على أنماط جماعي يستند إلى عمود الثانوي. وهذا مفيد للتحليلات مثل:
الحصول على أنماط من أرقام الهواتف، مجمعة حسب البلد.
الحصول على أنماط من اسم المستخدم البريد الإلكتروني على أساس مجال البريد الإلكتروني.
وقد تم ذلك شيئا من هذا القبيل لمحلل قيمة التوزيع. وهذا يسمح للتحليلات مثل:
كلها أسماء المدن متميزة، عندما تم تجميعها حسب الرمز البريدي؟
ما هو توزيع الجنسين في أنواع معينة من العملاء؟
الرسوم البيانية تحسين:
ويمكن الآن نتائج نمط مكتشف أن يظهر في الرسم البياني. وهذا يجعل من توزيع واضحة ويظهر كم من ومثل، وذيل طويل مثل. من أنماط هناك.
تم تحسين مخرجات محلل توزيع قيمة في بضع مناطق:
تم تحسين سهولة قراءة الرسم البياني.
فإنه يدل على إجمالي عدد الصفوف وعدد متميز على هذه الصفوف: عدد القيم المختلفة التي توجد في الصفوف. وهذا يساعد في معرفة كيف في كثير من الأحيان وجود قيم مكررة.
إذا كان هناك سلاسل فارغة، ونحن نستخدم الكلمة لذلك، بحيث أنه من الأسهل أن يتعرف عليها.
الناتج:
إلى جانب الأشكال القائمة بالفعل الإخراج (ملفات CSV ومخازن البيانات H2) أضفنا كتابة الإخراج إلى جداول البيانات إكسل.
بعد الكتابة إلى مخزن البيانات، فمن الممكن الآن معاينة الإخراج، بحيث يمكنك التحقق ما إذا كان الإخراج هو وفقا لتوقعاتك.
أصبح من الممكن الآن أيضا لإضافة الانتاج كما مخزن البيانات الجديد، بحيث يمكن استخدامها كمدخل عن وظيفة جديدة.
التحسينات الأخرى:
وقد تحسنت عموما الوثائق. على وجه الخصوص، تم إضافة قطع الأشجار واجهة سطر الأوامر الأوصاف.
تم تحسين آلية التمديد modularizing عدة قطع من التطبيق وإدخال جوجل Guice كإطار حقن التبعية متاحا للعموم للمطورين التمديد.
وبالطبع فعلنا أكثر من عشرين التحسينات وإصلاح الأخطاء الصغيرة.

ما هو جديد في الإصدار 2.2:

وكان المحرك الرئيسي لهذا الإصدار قصة عن التمدد. في حين الافراج عن تطبيق نحن الافراج عن simultaniously موقع على شبكة الانترنت لDataCleaner الجديد الذي يضم منطقة جديدة هامة: إن ExtensionSwap. فكرة ExtensionSwap هو السماح تبادل ملحقات DataCleaner وتركيب ببساطة عن طريق النقر على زر في المتصفح!
تم تحسين تمديد API DataCleaner الكثير في هذا الإصدار، مما يجعل من الممكن لإنشاء المحولات الخاصة بك، وتحليل والمرشحات. إذا كنت تشعر التمديدات الخاصة بك يمكن أن تكون ذات فائدة للمستخدمين الآخرين، يرجى تقاسمها على ExtensionSwap ونحن نقدم قناة بالنسبة لك لتوزيعه بسهولة إلى الآلاف من المستخدمين. ومما أوضح API التمديد وExtensionSwap في منطقتنا مظاهرة بث جديدة للمطورين والتقنيين الآخرين الذين لديهم اهتمام.
ونحن ايضا الافراج عن مجموعة من ملحقات الأولية على ExtensionSwap: إن HIquality اتصالات لتمديد DataCleaner التي تنص على اسم المتقدم، الهاتف والبريد الالكتروني التطهير، وبناء على الاستدلالات الإنسان اللغة الطبيعية المعالجة DQ خدمات الويب. ونحن أيضا الشحن تمديد العينة التي ستكون بمثابة مثال للمطورين الراغبين في تجربة تطوير تمديد أنفسهم. في الأشهر المقبلة سوف نتأكد من أن إضافة المزيد من ملحقات القادمة من محفظة الداخلية لدينا من الأدوات التي نستخدمها في فرق جمع المعلومات الاستدلال الإنسان و.
بالإضافة إلى التمدد نحن نركز أيضا على embeddability. نريد أن نكون قادرين على تضمين DataCleaner بسهولة إلى التطبيقات الأخرى لجعل التنميط وتحليل البيانات ممكن أي مكان! قمنا بإنشاء API إلباس الحذاء الجديد الذي يسمح للتطبيقات لربطة DataCleaner والتمهيد ذلك مع التكوين الحيوي أو تشغيله في ومثل، وضع مخزن البيانات واحد ومثل؛ حيث يتم ضبطها تطبيق نحو للتو من تفتيش مخزن البيانات واحد (الذي يعرف عادة من قبل التطبيق أن يضمن DataCleaner). لدينا بالفعل بعض الحالات مثيرة للاهتمام حقا من تضمين DataCleaner في الأعمال - سواء في تطبيقات أخرى مفتوحة المصدر وكذلك التطبيقات التجارية.
واضاف لدينا دعم لتحليل مجموعات البيانات SAS. هذا شيء نحن فخورون جدا لكما نحن، على حد علمنا، أول تطبيق كبير مفتوحة المصدر لتوفير هذه الوظائف، تحرير النهاية الكثير من مستخدمي SAS. تم إنشاء التوافقية جزء SAS كمشروع منفصل، SassyReader، ولذا فإننا نتوقع أن نرى اعتماد في مجتمعات مفتوحة المصدر مجانية DataCleaner قريبا جدا!
واضاف لدينا أيضا دعم لنوع آخر من مخزن البيانات: ثابت ملفات العرض. عرض ثابت الملفات هي ملفات نصية حيث كل عمود لديه عرض ثابت. ليس هناك فاصل أو الاقتباس شخصية، مثل ملفات CSV، بدلا من كل سطر متساوون في الطول، وسيتم برموز كل سطر وفقا لمجموعة من أطوال قيمة.
خيار ومثل، تفشل على التناقضات ومثل. تم إضافتها إلى ملف CSV وثابتة مخازن البيانات ملف العرض. هذه العلامات تضيف التحقق من سلامة شكل عند استخدام هذه مخازن البيانات ملف نصي مقرها.
تم إصلاح الخلل الذي تسبب الإعدادات CSV الفاصل لن يتم الاحتفاظ في واجهة المستخدم، عند تحرير مخزن البيانات CSV.
لا يتم اعتماد الأحرف اليابانية وغيرها في واجهة المستخدم. هذا ومثل، علة ومثل. كانت مسألة التحقيق في الخطوط المتوفرة على النظام واختيار الخط الذي يمكن أن تجعل الأحرف معينة. في معظم الأنظمة الحديثة سوف يكون هناك الخطوط قادرة المتاحة، ولكن في بعض فروع يونيكس / لينكس قد تكون لا تزال هناك قيود.
تم تحديث قسم الوثائق! من أي وقت مضى منذ الإصدار الأول 2.0 وكانت وثائق وراء ذلك بكثير، لكننا تمكنا أخيرا للحصول عليه حتى الآن. لا تزال هناك قطعة مفقودة في المستندات، ولكن يجب أن يكون بالتأكيد مفيد للاستخدام الأساسي وكذلك مرجعا لمعظم المواضيع.
تم تحسين وقت بدء تشغيل التطبيق من قبل parallelizing تحميل التكوين وبتأخير تهيئة تلك الأجزاء من تكوين ليست هناك حاجة لعرض الإطار الأولي.
تم إزالة فظي محلل التشابه مكتشف من التوزيع الرئيسية، كما كان هذا التجريبي جدا ويخدم في الغالب كدليل على مفهوم وفاتح الشهية للمجتمع لخلق تحليل مطابقة أكثر تقدما. يمكنك الآن إيجاد وتثبيت مكتشف تشابه لفظي على ExtensionSwap.
وتحسنت ألغي أو errornous التعامل مع العمل واجهة المستخدم يستجيب أكثر بشكل صحيح عن طريق تعطيل أزرار ومؤشرات التقدم، إذا توقف وظيفة.
الثابتة عدد قليل من القضايا واجهة المستخدم بسيطة تتعلق التحجيم الطاولة واستخدام أشرطة التمرير.

ما هو الجديد في النسخة 2.1.1:

التحسينات:
إضافة حقل نص البحث / ترشيح على قائمة مخازن البيانات. وهذا يتيح لك العثور بسرعة على مخزن البيانات الخاص بك إذا كنت قد سجلت المزيد من مخازن البيانات مما كان متاحا على الشاشة.
تم إضافة بيانات مرجعية لرموز البلد لتوزيع قياسي، وذلك بفضل يذهب إلى غراهام Rhind لتقديم هذه.
إضافة شريط التمرير الأفقي للبيانات معاينة نوافذ هناك أكثر من 10 الأعمدة.
القدرة على إضافة حزمة التمديد مع وظائف جديدة في خيارات الحوار في وقت التشغيل. والمزيد من التركيز على ملحقات متابعة في الإصدارات القادمة.
لقد تعرضت معاينة الأولى من لدينا سطر الأوامر واجهة (CLI) عن طريق السماح لك لاستدعاء التطبيق مع ومثل، -الاستعمال ومثل. المعلمة التي سوف تظهر الخيارات CLI.
عدد أضاف خيارات التنسيق إلى ومثل، تحويل إلى رقم ومثل. محول.
بوجفيكسيس:
قضية الثابتة خارج الذاكرة عند الاستعلام عن الجداول مع الكثير من الأعمدة (150+).
قضية الثابتة التي تسبب ومثل، وتحليل الحد و مثل. خانة الاختيار للا يتم التحقق بشكل صحيح عندما كان وظيفة إعادة فتحها بعد إنقاذ.
ليست في الحقيقة خلل كما كان أبدا سمة رسمية، ولكن نحن الآن تدعم استعادة تفضيلات المستخدم (ملف userpreferences.dat) من الإصدارات السابقة من DataCleaner.

ما هو جديد في الإصدار 2.1:

وكان هناك الكثير من العمل المنجز في واجهة المستخدم (انظر الصفحة وسائل الإعلام):
قررنا إزالة نافذة الجانب الأيسر تحتوي على خيارات التكوين البيئة.
وبدلا من ذلك تم الآن نقل كافة هذه الخيارات إلى إطار بناء العمل بحيث أن المستخدم لديه فقط إلى التركيز على نافذة واحدة لجميع التفاعلات اللازمة لبناء وظيفة.
كما تم إزالة الحوار الترحيب / تسجيل الدخول لصالح الفريق أكثر المنفصلة التي يمكن سحبها أو خفية من النافذة الرئيسية.
يعتبر اختيار مخزن البيانات وإدارة النشاط الأول في التطبيق، والذي هو السبب في أنه هو أيضا خطوة أولى لمعالجة في النافذة الرئيسية.
يمكنك الآن التوقف عن فرص عمل في حالة ما إذا قررت تغيير شيء قبل القيام به.
تم إضافة شريط والرسوم البيانية خط على الكثير من الشاشات نتيجة التحليل، بما في ذلك تحليل سلسلة، عدد محلل، تاريخ / وقت محلل وتوزيع أيام الأسبوع (راجع صفحة سائل الإعلام).
كل ومثل، والبيانات معاينة ومثل. نوافذ الآن تحتوي على ضوابط الترحيل حتى تتمكن من التحرك جيئة وذهابا في مجموعة البيانات.
وقد أضيفت معظم السائقين قاعدة بيانات مشتركة (الخلية، كيو، وأوراكل، MS SQL Server و سايبيس) لمجموعة افتراضية من السائقين.
تكوين وظيفة التحليل سريعة في مربع الحوار خيارات.
بوجفيكسيس طفيفة مختلفة.
محول لاستخراج أجزاء التاريخ (السنة والشهر واليوم وغيرها) من أعمدة التاريخ.

ما هو الجديد في النسخة 2.0.2:

علامات التبويب والأزرار في طاولة العمل يتم تعطيل عندما يتم اختيار الأعمدة المصدر.
تم إضافة والقطعة الخاصة إلى ومثل؛ المصدر ومثل. علامة التبويب، مما يجعل من السهل جدا أن تطبق أخذ العينات على أساس عدد الصفوف من البيانات المدخلة.
عندما يكون ذلك ممكنا، والمرشحات والآن لدينا القدرة على تحسين الاستعلام من وظيفة (ويعرف أيضا باسم. دفع إلى أسفل الأمثل). وقد نفذت هذه لومثل، ماكس الصفوف ومثل ؛، ومثل، يساوي ومثل. وومثل، ليس لاغيا ومثل. المرشحات.
كمية متزايدة من المحولات تسبب في قائمة طويلة في ومثل، اضافة محول ومثل. يظهر فجأة. لذلك يتم تجميع المحولات الآن حسب الفئة وعرضها وفقا لذلك.
تصور تدفق التنفيذ الآن يسمح إزالة العناصر عمود والبنود نتائج التصفية، مما يجعل من الرسم البياني أكثر مفهومة، وخصوصا عن وظائف كبيرة جدا.
وومثل، تلتحم سلسلة ومثل. محول لديها الآن ومثل، النظر في السلاسل الفارغة لاغيا ومثل. العلم، وهي مفيدة بشكل خاص عند التعامل مع الملفات CSV.
قواميس يستند إلى نص وكتالوجات مرادف سوف تحصل على قيمهم مؤقتا مسح، إذا كان الملف يقرءون من التغييرات.
وومثل، تحويل إلى تاريخ ومثل. ويتضمن محول الآن القدرة على تحديد أقنعة التاريخ الخاصة بك، إذا تتطلب سلاسل التاريخ ذلك.
تم إصلاح الخلل عند تمرير القيم الخالية إلى standardizer البريد الإلكتروني.