البيانات الكبيرة عبارة عن مصطلح تسويقي يشمل فكرة البيانات التي يتم استخلاصها بالكامل من مصادر مثل محركات البحث وأنماط شراء متاجر البقالة التي يتم تتبعها من خلال بطاقات النقاط وما إلى ذلك. في العالم الحديث ، يتوفر الإنترنت على العديد من مصادر البيانات ، لا يجعلها المقياس غير قابل للاستخدام من دون معالجة وتجهيز يستغرق وقتاً لا يصدق من قبل أي خادم واحد. أدخل Apache Hadoop
وقت أقل لمعالجة البياناتمن خلال الاستفادة من بنية Hadoop لتوزيع مهام المعالجة عبر أجهزة متعددة على شبكة ، يتم تقليل أوقات المعالجة بشكل فلكي ويمكن تحديد الإجابات في فترات زمنية معقولة. يتم تقسيم Apache Hadoop إلى مكونين مختلفين: مكون تخزين ومكون معالجة. في أبسط العبارات ، يجعل Hapood خادمًا افتراضيًا واحدًا من العديد من الأجهزة المادية. في الواقع ، تدير Hadoop الاتصال بين أجهزة متعددة بحيث تعمل معًا بشكل وثيق بما فيه الكفاية بحيث يبدو وكأنه لا يوجد سوى جهاز واحد يعمل على الحسابات. يتم توزيع البيانات عبر عدة أجهزة ليتم تخزينها وتخصيص مهام المعالجة وتنسيقها من خلال بنية Hadoop
و. يعتبر هذا النوع من النظام شرطًا لتحويل البيانات الأولية إلى معلومات مفيدة حول مقياس مدخلات البيانات الكبيرة. ضع في اعتبارك مقدار البيانات التي تتلقاها Google كل ثانية من المستخدمين الذين يدخلون طلبات البحث. وكجزء إجمالي من البيانات ، لن تعرف من أين تبدأ ، ولكن Hadoop ستقوم تلقائيًا بتقليل مجموعة البيانات إلى مجموعات فرعية صغيرة ومنظمة من البيانات وتعيين هذه المجموعة الفرعية القابلة للإدارة لموارد محددة. ثم يتم الإبلاغ عن جميع النتائج مرة أخرى وتجميعها في معلومات قابلة للاستخدام.
خادم سهل التعيين
على الرغم من أن النظام يبدو معقدًا ، فإن معظم الأجزاء المتحركة يتم حجبها خلف التجريد. يعد إعداد خادم Hadoop أمرًا بسيطًا إلى حد ما ، فما عليك سوى تثبيت مكونات الخادم على الأجهزة التي تلبي متطلبات النظام. الجزء الأصعب هو تخطيط شبكة أجهزة الكمبيوتر التي يستخدمها خادم Hadoop لتوزيع أدوار التخزين والمعالجة. قد يتضمن ذلك إعداد شبكة اتصال محلية أو ربط شبكات متعددة معًا عبر الإنترنت. يمكنك أيضًا الاستفادة من الخدمات السحابية الحالية ودفع تكاليف مجموعة Hadoop على المنصات السحابة الشهيرة مثل Microsoft Azure و Amazon EC2. هذه هي أسهل لتكوين كما يمكنك تدويرها حسب الحاجة ثم إلغاء تجميع المجموعات عندما لا تحتاج إليها بعد الآن. تعتبر هذه الأنواع من العناقيد مثالية للاختبار حيث أنك لا تدفع إلا مقابل الوقت الذي يكون فيه نظام Hadoop نشطًا.
قم بمعالجة بياناتك للحصول على المعلومات التي تحتاجها
البيانات الكبيرة هي مورد قوي للغاية ، ولكن البيانات غير مجدية ما لم يكن من الممكن تصنيفها بشكل صحيح وتحويلها إلى معلومات. في الوقت الحالي ، تقدم مجموعات Hadoop طريقة فعالة للغاية من حيث التكلفة لمعالجة هذه المجموعات من البيانات في المعلومات.
لم يتم العثور على التعليقات