MooseFS

وMooseFS هو متسامح وشبكة توزيع نظام الملفات خطأ أن ينتشر البيانات عبر عدة خوادم المادية التي هي واضحة للمستخدم كما مورد واحد على & nbsp؛ للأعمال عمليات الملفات القياسية MooseFS كما أنظمة الملفات يونكس على حد سواء أخرى:
على & nbsp؛ * A هيكل هرمي (شجرة الدليل)
ونبسب؛ * سمات الملف المخازن POSIX (الأذونات، والوصول الماضي والتعديل مرات)
على & nbsp؛ * يدعم ملفات خاصة (أجهزة كتلة وحرف، والأنابيب ومآخذ)
ونبسب؛ * وصلات رمزية (أسماء الملفات التي تشير إلى استهداف الملفات، وليس بالضرورة على MooseFS) وصلات الصلبة (أسماء مختلفة من الملفات التي تشير إلى نفس البيانات على MooseFS)
على & nbsp؛ * الوصول إلى نظام الملفات يمكن أن يقتصر على أساس عنوان IP و / أو كلمة المرور
السمات المميزة للMooseFS هي:
ونبسب؛ * موثوقية عالية (عدة نسخ من البيانات التي يمكن تخزينها عبر أجهزة كمبيوتر منفصلة)
ونبسب؛ * القدرات هي قابلة للتوسيع حيوي عن طريق ربط أجهزة الكمبيوتر الجديدة / أقراص
ونبسب؛ * الملفات المحذوفة يتم الاحتفاظ لفترة من الوقت شكلي (مستوى نظام الملفات "سلة المهملات")
ونبسب؛ * لقطات متماسكة من الملفات، حتى أثناء كتابة ملف / الوصول
يتكون MooseFS من أربعة عناصر:
ونبسب؛ * الخادم العام (ملقم رئيسي) و [ندش]؛ جهاز واحد إدارة نظام الملفات كله، تخزين البيانات الوصفية لكل ملف (معلومات عن حجم والصفات وموقع ملف (ق)، بما في ذلك جميع المعلومات حول الملفات غير العادية، أي الدلائل، مآخذ، والأنابيب والأجهزة).
ونبسب؛ * خوادم البيانات (الخوادم قطعة) - أي عدد من خوادم السلع تخزين ملفات البيانات ومزامنة فيما بينهم (إذا كان يفترض ملف معين في الوجود في أكثر من نسخة واحدة).
ونبسب؛ * الفوقية الخدمة الاحتياطية (ق) (خادم metalogger) - أي عدد من الخوادم، وكلها changelogs تخزين البيانات الوصفية ودوري تحميل ملف التعريف الرئيسي. وذلك لتعزيز هذه الملقمات إلى دور خادم الإداري عند سيد الأساسي يتوقف عن العمل.
ونبسب؛ * أجهزة الكمبيوتر العميلة التي يمكنها الوصول إلى (جبل) الملفات في MooseFS - أي عدد من الأجهزة باستخدام عملية mfsmount على التواصل مع خادم إدارة (لتلقي وتعديل البيانات الوصفية الملف) ومع chunkservers (لتبادل البيانات ملف الفعلية).
ويستند mfsmount على آلية FUSE (نظام الملفات في USErspace)، لذلك MooseFS متاح في كل نظام التشغيل مع تنفيذ FUSE عمل (لينكس، فري، ماكنتوش، وما إلى ذلك)
يتم تخزين البيانات الوصفية في ذاكرة الخادم إدارة ووقت واحد المحفوظة على القرص (كملف ثنائي تحديثها دوريا وتحديثها فورا سجلات الإضافية). ملف ثنائي الرئيسي وكذلك سجلات متزامنة إلى metaloggers (إذا كان موجودا).
وينقسم ملف البيانات إلى أجزاء (قطع) باستعراضات 64MiB لكل منهما. كل قطعة هي نفسها ملف على الأقراص المختارة على خوادم البيانات (chunkservers).
ويتم تحقيق موثوقية عالية عن طريق تكوين العديد من خوادم البيانات المختلفة بما يتناسب مع تحقيق "الهدف" قيمة (عدد النسخ للحفاظ على) المحدد لملف معين.
كيف يعمل النظام
جميع العمليات ملف على جهاز الكمبيوتر العميل الذي شنت MooseFS هي نفسها تماما لأنها ستكون مع أنظمة الملفات الأخرى. بنقل نواة نظام التشغيل عن ملف العمليات إلى وحدة FUSE، الذي يتصل مع عملية mfsmount. تتواصل عملية mfsmount من خلال الشبكة لاحقا مع إدارة الخادم وبيانات خوادم (خوادم قطعة). هذه العملية برمتها شفافة بالكامل للمستخدم.
mfsmount يتصل مع خادم إدارة كل الوقت مطلوب لعملية جراحية في ملف التعريف:
ونبسب؛ * إنشاء ملفات
ونبسب؛ * حذف الملفات
ونبسب؛ * الدلائل القراءة
ونبسب؛ * القراءة وتغيير الصفات
ونبسب؛ * تغيير أحجام الملفات
ونبسب؛ * في بداية القراءة أو الكتابة البيانات
ونبسب؛ * على أي الوصول إلى الملفات الخاصة على MFSMETA
يستخدم mfsmount اتصال المباشر إلى خادم البيانات (خادم قطعة) الذي يخزن قطعة ذات الصلة من ملف. عند كتابة ملف، وبعد الانتهاء من عملية الكتابة يستلم الملقم إدارة المعلومات من mfsmount لتحديث طول ملف والوقت التعديل الأخير.
وعلاوة على ذلك، وخوادم البيانات (الخوادم قطعة) التواصل مع بعضهم البعض لتكرار البيانات من أجل تحقيق العدد المناسب من نسخة من الملف على أجهزة مختلفة.
على & nbsp؛
التسامح مع الخطأ
على & nbsp؛
أوامر إدارية تسمح للمسؤول النظام لتحديد "الهدف"، أو عدد النسخ التي ينبغي الحفاظ، على مستوى لكل الدليل أو لكل ملف. ووضع الهدف إلى أكثر من واحد وجود خادم البيانات أكثر من توفير التسامح مع الخطأ. عندما يتم تخزين بيانات الملف في العديد من نسخ (على خادم البيانات أكثر من واحد)، ونظام مقاوم للفشل أو انقطاع شبكة مؤقتة من خادم بيانات واحدة.
وهذا بالطبع لا يشير إلى الملفات مع "الهدف" تعيين إلى 1، وفي هذه الحالة الملف سيكون موجودا فقط في الخادم بيانات واحد بغض النظر عن عدد البيانات يتم نشرها الملقمات في النظام.
استثنائي قد يكون الملفات الهامة هدفهم لتعيين عدد أكبر من اثنين، والتي سوف تسمح هذه الملفات لتكون مقاومة إلى انهيار أكثر من خادم واحد في وقت واحد.
بشكل عام يجب أن يكون الإعداد لعدد النسخ المتاحة واحد أكثر من عدد المتوقع من الخوادم التي يتعذر الوصول إليها أو الخروج من النظام.
في حالة حيث يواجه الخادم بيانات واحد فشل أو انقطاع من الشبكة، والملفات المخزنة داخله أن كان اثنين من نسخة على الأقل، ستبقى يمكن الوصول إليها من خدمة البيانات أخرى. البيانات التي هي الآن "تحت هدفها" سيتم تكرارها على خادم البيانات في متناول أخرى لتقديم مرة أخرى العدد المطلوب من النسخ.
وتجدر الإشارة إلى أنه إذا كان عدد الملقمات المتوفرة أقل من "الهدف" المحدد لملف معين، لا يمكن الحفاظ على العدد المطلوب من النسخ. وبالمثل إذا كان هناك نفس العدد من الخوادم ك الهدف المحدد حاليا، وإذا وصلت إلى خادم البيانات 100٪ من طاقتها، وسوف تكون قادرة على البدء في إجراء نسخة من الملف الذي هو الآن تحت عتبة هدفها بسبب آخر خادم البيانات تسير حاليا. في هذه الحالات يجب أن تكون متصلا الخادم بيانات جديدة للنظام في أسرع وقت ممكن من أجل الحفاظ على العدد المرغوب فيه من نسخ من الملف.
يمكن توصيل خادم بيانات جديد إلى النظام في أي وقت. وسوف تصبح قدرة جديدة على الفور متاحة للاستخدام لتخزين ملفات جديدة أو لإجراء نسخ منسوخة من الملفات من خوادم البيانات الأخرى.
وتوجد المرافق الإدارية إلى الاستعلام عن حالة الملفات داخل نظام الملفات لتحديد ما إذا كان أي من الملفات حاليا أدناه هدفهم (عدد محدد من النسخ). ويمكن أيضا أن تستخدم هذه الأداة لتغيير وتحديد الأهداف على النحو المطلوب.
وتعيين إصدار شظايا البيانات المخزنة في أجزاء، لذلك إعادة توصيل خدمة البيانات مع نسخة أقدم من البيانات (مثل لو كان متواجد حاليا لفترة من الزمن)، لن يسبب الملفات لتصبح متماسكة. سيقوم الملقم البيانات مزامنة نفسها لعقد الإصدارات الحالية من قطع، حيث سيتم إزالة قطع عفا عليها الزمن وسيعاد تخصيص مساحة حرة لعقد أجزاء جديدة.
وفشل جهاز عميل (التي تدير عملية mfsmount) لديها أي تأثير على تماسك نظام الملفات أو على عمليات العميل الآخر. في أسوأ الحالات قد تفقد البيانات التي لم يتم إرسالها بعد من جهاز الكمبيوتر العميل الفاشلة.
على & nbsp؛
PLATFORMS
على & nbsp؛ MooseFS متاح في كل نظام التشغيل مع تنفيذ FUSE العمل:
ونبسب؛ * لينكس (لينكس 2.6.14 ويكون ما يصل دعم FUSE المدرجة في نواة الرسمية)
ونبسب؛ * فري
ونبسب؛ * أوبن سولاريس
ونبسب؛ * ماك X
يمكن أيضا تشغيل الملقم الرئيسي، خادم metalogger وchunkservers على سولاريس أو ويندوز مع سيغوين. للأسف دون FUSE فإنه لن يكون من الممكن لتحميل الملفات داخل أنظمة التشغيل هذه

ما هو الجديد في هذا الإصدار:.

وتشمل أهم التغييرات إشارة ثابتة في التعامل مع وحدات مؤشرات ، الهدف وحدود trashtime في mfsexport.cfg، وفحص بسيط للملفات التعريف تحميلها.

ما هو الجديد في الإصدار 1.6.19: أدخلت

تغييرات جوهرية في آلة metalogger وأداة metarestore لسلامة أفضل من البيانات الوصفية.
تمت إضافة شريط التقدم المسح في CS.
يتم حل اسم سيد الآن عند فشل الاتصال.
يتم إنشاء جلسة جديدة عند فقدان سابقتها.
وقدمت الكثير من إصلاحات الشوائب الأخرى والتحسينات.

ما هو الجديد في الإصدار 1.6.17:

في هذا الإصدار قدمنا ​​الآلي وإدارة التخزين المؤقت البيانات.
وهو ما يكفي لرفع مستوى فقط الملقم الرئيسي (أي تغييرات في الخوادم قطعة "أو العملاء كود قدمت).
آلية مخبأ نواة دائما كانت موجودة ولكن حتى الآن تم مسح ذاكرة التخزين المؤقت دائما عند فتح ملف. الآن MooseFS تسيطر على ما إذا كانت لمسحها أو لا عن طريق فحص إذا كان الملف أم لا تعديلها من قبل عميل آخر. دعونا نلقي نظرة على بعض السيناريوهات.
السيناريو الأول:
1. الكمبيوتر A يقرأ ملف X
2. الكمبيوتر B بقراءة ملف X
3. الكمبيوتر ويريد أن يقرأ ملف X - نترك ذاكرة التخزين المؤقت (لم يتم تغيير الملف)
السيناريو الثاني:
1. الكمبيوتر A يقرأ ملف X
2. الكمبيوتر A يكتب إلى ملف X
3. الكمبيوتر ويريد تور قراءة ملف X - نترك ذاكرة التخزين المؤقت (تم تغيير الملف ولكن الكمبيوتر A يعرف عن هذه التغييرات)
السيناريو الثالث:
1. الكمبيوتر A يقرأ ملف X
2. الكمبيوتر B يكتب إلى ملف X
3. الكمبيوتر ويريد أن يقرأ ملف X - هنا لدينا لإجبار لإفراغ ذاكرة التخزين المؤقت (لأنه تم إجراء تغييرات من قبل الكمبيوتر B والكمبيوتر A لا نعرف عنها)
في بيئات حقيقية سيناريوهات الأولى والثانية يحدث حتى الآن في كثير من الأحيان السيناريو الثالث وهذا هو السبب في أنه من المعقول أن يترك محتويات ذاكرة التخزين المؤقت وكسب الأداء العام للنظام.
بالطبع هناك بعض السيناريوهات يعني (ولكن وجدت أيضا من قبل) مثل هذا واحد:
1. الكمبيوتر A يفتح ملف X ويقرأ عليه تماما (الملف يبقى في ذاكرة التخزين المؤقت)
2. الكمبيوتر B بتعديل ملف X
3. الكمبيوتر A مرة أخرى يقرأ ملف X (ولكن دون إغلاق أو إعادة فتحه - فقط تتحرك في الموقف 0 وإعادة قراءة ذلك)
في هذا الوضع الكمبيوتر A لن تحصل على نفس البيانات كما في الخطوة 1 ولكن الشيء نفسه حدث أيضا في MooseFS من قبل.
وقدم أحد nodatacache السمة أيضا التي تحظر إلى ذاكرة التخزين المؤقت ملف. من الإصدار 1.6.17 الاحتياطي للملفات مع nodatacache السمة تتصرف كما فعلت الملفات في الإصدارات القديمة من MooseFS. هذا العلم يمكن استخدامه مع أدوات mfsseteattr، mfsdeleattr وmfsgeteattr.
تمت إضافة هذا العلم وقائية وربما لن تحتاج لاستخدامه. إذا بعد مرور بعض الوقت يبدو أن هذا غير مجدية حقا سيتم حذفه. ولكن إذا وجدت أي حالة / السيناريو الذي يطالب تعطيل آلية مخبأ التلقائي يرجى تشاركه معنا.