*ملاحظة المحرر: يستند هذا المقال بشكل أساسي إلى خطاب ديفيد أرونشيك في مؤتمر Filecoin Unleashed Paris 2023. ديفيد هو الرئيس التنفيذي لشركة Expanso والرئيس السابق لحوسبة البيانات في Protocol Labs، التي أطلقت مشروع Bacalhau. تمثل هذه المقالة الآراء المستقلة لمنشئ المحتوى الأصلي، وتم منح الإذن بإعادة النشر. *
وفقًا لمؤسسة IDC، بحلول عام 2025، ستتجاوز كمية البيانات المخزنة عالميًا 175 زيتا بايت. وهذه كمية هائلة من البيانات، تعادل 175 تريليون وحدة USB سعة 1 جيجابايت. يتم إنشاء معظم هذه البيانات بين عامي 2020 و2025، بمعدل نمو سنوي مركب متوقع يبلغ 61%.
يمثل عالم البيانات سريع النمو اليوم تحديين رئيسيين:
** بيانات الهاتف المحمول بطيئة ومكلفة. **إذا حاولت تنزيل 175 زيتا بايت من البيانات باستخدام النطاق الترددي الحالي، فسوف يستغرق الأمر حوالي 1.8 مليار سنة.
**الامتثال مرهق. **هناك المئات من اللوائح المتعلقة بالبيانات حول العالم، مما يجعل الامتثال عبر الولايات القضائية شبه مستحيل.
والنتيجة المجمعة لنمو الشبكة الباهت والقيود التنظيمية هي أن ما يقرب من 68٪ من بيانات الوكالة معطلة. لهذا السبب، من المهم بشكل خاص نقل موارد الحوسبة إلى تخزين البيانات (وتسمى على نطاق واسع الحوسبة فوق البيانات، أو "حوسبة البيانات") بدلاً من نقل البيانات إلى الحوسبة، كما يقول باكالهاو وآخرون. تعمل منصات الحوسبة على البيانات (CoD) من الصعب على هذا.
وفي الفصول التالية سنعرض بإيجاز:
كيف تتعامل المنظمات مع البيانات اليوم.
اقتراح حلول بديلة تعتمد على "حوسبة البيانات".
وأخيرًا، افترض سبب أهمية الحوسبة الموزعة.
الوضع الراهن
في الوقت الحالي، هناك ثلاث طرق رئيسية تتعامل بها المؤسسات مع تحديات معالجة البيانات، ولا تعتبر أي منها مثالية.
استخدم نظامًا مركزيًا
النهج الأكثر شيوعًا هو استخدام الأنظمة المركزية لمعالجة البيانات على نطاق واسع. غالبًا ما نرى مؤسسات تجمع بين أطر عمل الحوسبة مثل Adobe Spark وHadoop وDatabricks وKubernetes وKafka وRay وما إلى ذلك لتشكيل شبكة من الأنظمة المجمعة المتصلة بخادم API مركزي. ومع ذلك، فإن هذه الأنظمة لا تعالج بشكل فعال انتهاكات الشبكة والقضايا التنظيمية الأخرى المحيطة بتنقل البيانات.
وقد أدى ذلك جزئيًا إلى فرض غرامات إدارية وعقوبات بمليارات الدولارات على المؤسسات بسبب انتهاكات البيانات.
قم ببنائها بنفسك
هناك نهج آخر يتمثل في قيام المطورين ببناء أنظمة تنسيق مخصصة تتمتع بالوعي والقوة التي تحتاجها الوكالة. هذا النهج جديد، ولكنه غالبًا ما يواجه خطر الفشل بسبب الاعتماد المفرط على عدد صغير من الأشخاص لصيانة النظام وتشغيله.
لا شيء لأفعله
ومن المثير للدهشة، في أغلب الأحيان، أن المؤسسات لا تفعل شيئًا بشأن بياناتها. على سبيل المثال، يمكن لمدينة ما جمع كمية كبيرة من البيانات من مقاطع فيديو المراقبة كل يوم، ولكن نظرًا للتكلفة العالية، لا يمكن عرض هذه البيانات إلا على الجهاز المحلي، ولا يمكن أرشفتها أو معالجتها.
بناء حوسبة موزعة حقيقية
هناك حلان رئيسيان لنقاط الضعف في معالجة البيانات.
الحل 1: مبني على منصة حوسبة بيانات مفتوحة المصدر
الحل 1: منصة حوسبة البيانات مفتوحة المصدر
يمكن للمطورين استخدام منصة بيانات موزعة مفتوحة المصدر للحساب بدلاً من نظام التنسيق المخصص المذكور سابقًا. نظرًا لأن النظام الأساسي مفتوح المصدر وقابل للتوسيع، تحتاج الوكالات فقط إلى بناء المكونات التي تحتاجها. يمكن أن يلبي هذا الإعداد سيناريوهات التطبيقات متعددة السحابات والحوسبة وغير المتعلقة بمركز البيانات والتنقل في البيئات التنظيمية المعقدة. والأهم من ذلك، أن الوصول إلى مجتمع المصادر المفتوحة لم يعد يعتمد على مطور واحد أو أكثر لصيانة النظام، مما يقلل من احتمالية الفشل.
الحل 2: مبني على بروتوكول البيانات الموزعة
بمساعدة مشاريع الحوسبة المتقدمة مثل Bacalhau وLilypad، يمكن للمطورين المضي قدمًا وبناء أنظمة ليس فقط على منصات البيانات مفتوحة المصدر المذكورة في Solution One، ولكن أيضًا على بروتوكولات البيانات الموزعة حقًا مثل شبكة Filecoin.
الحل 2: بروتوكول حوسبة البيانات الموزعة
وهذا يعني أن المؤسسات يمكنها استخدام البروتوكولات الموزعة التي تفهم كيفية تنسيق ووصف مشاكل المستخدم بطريقة أكثر دقة، مما يفتح مجالات الحوسبة القريبة من مكان إنشاء البيانات وتخزينها. يمكن أن يتم هذا الانتقال من مركز البيانات إلى البروتوكول الموزع بشكل مثالي مع تغييرات طفيفة فقط على تجربة عالم البيانات.
التوزيع يعني تعظيم الاختيار
من خلال النشر على بروتوكول موزع مثل شبكة Filecoin، تتمثل رؤيتنا في أنه يمكن للمستخدمين الوصول إلى مئات (أو آلاف) الأجهزة الموزعة في مناطق مختلفة على نفس الشبكة، واتباع نفس قواعد البروتوكول مثل الأجهزة الأخرى. وهذا يفتح بشكل أساسي محيطًا من الخيارات لعلماء البيانات، حيث يمكنهم أن يطلبوا من الشبكة ما يلي:
حدد مجموعات البيانات من أي مكان في العالم.
اتبع أي هيكل حوكمة، سواء كان قانون HIPAA أو القانون العام لحماية البيانات (GDPR) أو قانون FISMA.
تشغيل بأرخص سعر ممكن.
مثلث جوان | اختصارات فك التشفير: FHE (التشفير المتماثل بالكامل)، MPC (الحوسبة متعددة الأطراف)، TEE (بيئة التنفيذ الموثوقة)، ZKP (إثبات المعرفة الصفرية)
عند الحديث عن مفهوم تعظيم الاختيار، علينا أن نذكر "مثلث جوان"، وقد صاغ هذا المصطلح خوان بينيت، مؤسس شركة Protocol Labs، لشرح لماذا سيكون لحالات الاستخدام المختلفة (في المستقبل) شبكات حوسبة موزعة مختلفة. عندما تكون مدعومة.
يقترح مثلث جوان أن شبكات الحوسبة غالبًا ما تتطلب مقايضات بين الخصوصية وإمكانية التحقق والأداء، ومن الصعب تطبيق النهج التقليدي "مقاس واحد يناسب الجميع" على كل حالة استخدام. وبدلاً من ذلك، فإن الطبيعة المعيارية للبروتوكولات الموزعة تمكن الشبكات الموزعة المختلفة (أو الشبكات الفرعية) من تلبية احتياجات المستخدمين المختلفة - سواء كانت الخصوصية أو إمكانية التحقق أو الأداء. وفي نهاية المطاف، نقوم بالتحسين بناءً على ما نعتقد أنه مهم. في ذلك الوقت، سيكون هناك العديد من مقدمي خدمات الأطراف (الموضحين في المربع داخل المثلث) لسد هذه الفجوات وجعل الحوسبة الموزعة حقيقة واقعة.
باختصار، تعد معالجة البيانات مشكلة معقدة تتطلب حلولًا مبتكرة. تعد الاستفادة من حوسبة البيانات مفتوحة المصدر لتحل محل الأنظمة المركزية التقليدية خطوة أولى جيدة. في النهاية، يمكن لنشر منصة حوسبة على بروتوكول موزع مثل شبكة Filecoin تكوين موارد الحوسبة بحرية وفقًا للاحتياجات الفردية للمستخدمين، وهو أمر بالغ الأهمية في عصر البيانات الضخمة والذكاء الاصطناعي.
تابع مجموعة عمل CoD للحصول على أحدث المعلومات حول منصات الحوسبة الموزعة. لمزيد من التحديثات حول نظام Filecoin البيئي، يرجى متابعة مدونة Filecoin Insights، ومتابعتنا على Twitter وBacalhau وLilypad وExpanso وCOD WG الخاصة بـ Filecoin Insights.
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
Filecoin: نظرة عميقة على أهمية حوسبة البيانات الموزعة وإمكاناتها التجارية
المصدر الأصلي: شبكة Filecoin
*ملاحظة المحرر: يستند هذا المقال بشكل أساسي إلى خطاب ديفيد أرونشيك في مؤتمر Filecoin Unleashed Paris 2023. ديفيد هو الرئيس التنفيذي لشركة Expanso والرئيس السابق لحوسبة البيانات في Protocol Labs، التي أطلقت مشروع Bacalhau. تمثل هذه المقالة الآراء المستقلة لمنشئ المحتوى الأصلي، وتم منح الإذن بإعادة النشر. *
وفقًا لمؤسسة IDC، بحلول عام 2025، ستتجاوز كمية البيانات المخزنة عالميًا 175 زيتا بايت. وهذه كمية هائلة من البيانات، تعادل 175 تريليون وحدة USB سعة 1 جيجابايت. يتم إنشاء معظم هذه البيانات بين عامي 2020 و2025، بمعدل نمو سنوي مركب متوقع يبلغ 61%.
يمثل عالم البيانات سريع النمو اليوم تحديين رئيسيين:
والنتيجة المجمعة لنمو الشبكة الباهت والقيود التنظيمية هي أن ما يقرب من 68٪ من بيانات الوكالة معطلة. لهذا السبب، من المهم بشكل خاص نقل موارد الحوسبة إلى تخزين البيانات (وتسمى على نطاق واسع الحوسبة فوق البيانات، أو "حوسبة البيانات") بدلاً من نقل البيانات إلى الحوسبة، كما يقول باكالهاو وآخرون. تعمل منصات الحوسبة على البيانات (CoD) من الصعب على هذا.
وفي الفصول التالية سنعرض بإيجاز:
الوضع الراهن
في الوقت الحالي، هناك ثلاث طرق رئيسية تتعامل بها المؤسسات مع تحديات معالجة البيانات، ولا تعتبر أي منها مثالية.
استخدم نظامًا مركزيًا
النهج الأكثر شيوعًا هو استخدام الأنظمة المركزية لمعالجة البيانات على نطاق واسع. غالبًا ما نرى مؤسسات تجمع بين أطر عمل الحوسبة مثل Adobe Spark وHadoop وDatabricks وKubernetes وKafka وRay وما إلى ذلك لتشكيل شبكة من الأنظمة المجمعة المتصلة بخادم API مركزي. ومع ذلك، فإن هذه الأنظمة لا تعالج بشكل فعال انتهاكات الشبكة والقضايا التنظيمية الأخرى المحيطة بتنقل البيانات.
وقد أدى ذلك جزئيًا إلى فرض غرامات إدارية وعقوبات بمليارات الدولارات على المؤسسات بسبب انتهاكات البيانات.
قم ببنائها بنفسك
هناك نهج آخر يتمثل في قيام المطورين ببناء أنظمة تنسيق مخصصة تتمتع بالوعي والقوة التي تحتاجها الوكالة. هذا النهج جديد، ولكنه غالبًا ما يواجه خطر الفشل بسبب الاعتماد المفرط على عدد صغير من الأشخاص لصيانة النظام وتشغيله.
لا شيء لأفعله
ومن المثير للدهشة، في أغلب الأحيان، أن المؤسسات لا تفعل شيئًا بشأن بياناتها. على سبيل المثال، يمكن لمدينة ما جمع كمية كبيرة من البيانات من مقاطع فيديو المراقبة كل يوم، ولكن نظرًا للتكلفة العالية، لا يمكن عرض هذه البيانات إلا على الجهاز المحلي، ولا يمكن أرشفتها أو معالجتها.
بناء حوسبة موزعة حقيقية
هناك حلان رئيسيان لنقاط الضعف في معالجة البيانات.
الحل 1: مبني على منصة حوسبة بيانات مفتوحة المصدر
الحل 1: منصة حوسبة البيانات مفتوحة المصدر
يمكن للمطورين استخدام منصة بيانات موزعة مفتوحة المصدر للحساب بدلاً من نظام التنسيق المخصص المذكور سابقًا. نظرًا لأن النظام الأساسي مفتوح المصدر وقابل للتوسيع، تحتاج الوكالات فقط إلى بناء المكونات التي تحتاجها. يمكن أن يلبي هذا الإعداد سيناريوهات التطبيقات متعددة السحابات والحوسبة وغير المتعلقة بمركز البيانات والتنقل في البيئات التنظيمية المعقدة. والأهم من ذلك، أن الوصول إلى مجتمع المصادر المفتوحة لم يعد يعتمد على مطور واحد أو أكثر لصيانة النظام، مما يقلل من احتمالية الفشل.
الحل 2: مبني على بروتوكول البيانات الموزعة
بمساعدة مشاريع الحوسبة المتقدمة مثل Bacalhau وLilypad، يمكن للمطورين المضي قدمًا وبناء أنظمة ليس فقط على منصات البيانات مفتوحة المصدر المذكورة في Solution One، ولكن أيضًا على بروتوكولات البيانات الموزعة حقًا مثل شبكة Filecoin.
الحل 2: بروتوكول حوسبة البيانات الموزعة
وهذا يعني أن المؤسسات يمكنها استخدام البروتوكولات الموزعة التي تفهم كيفية تنسيق ووصف مشاكل المستخدم بطريقة أكثر دقة، مما يفتح مجالات الحوسبة القريبة من مكان إنشاء البيانات وتخزينها. يمكن أن يتم هذا الانتقال من مركز البيانات إلى البروتوكول الموزع بشكل مثالي مع تغييرات طفيفة فقط على تجربة عالم البيانات.
التوزيع يعني تعظيم الاختيار
من خلال النشر على بروتوكول موزع مثل شبكة Filecoin، تتمثل رؤيتنا في أنه يمكن للمستخدمين الوصول إلى مئات (أو آلاف) الأجهزة الموزعة في مناطق مختلفة على نفس الشبكة، واتباع نفس قواعد البروتوكول مثل الأجهزة الأخرى. وهذا يفتح بشكل أساسي محيطًا من الخيارات لعلماء البيانات، حيث يمكنهم أن يطلبوا من الشبكة ما يلي:
مثلث جوان | اختصارات فك التشفير: FHE (التشفير المتماثل بالكامل)، MPC (الحوسبة متعددة الأطراف)، TEE (بيئة التنفيذ الموثوقة)، ZKP (إثبات المعرفة الصفرية)
عند الحديث عن مفهوم تعظيم الاختيار، علينا أن نذكر "مثلث جوان"، وقد صاغ هذا المصطلح خوان بينيت، مؤسس شركة Protocol Labs، لشرح لماذا سيكون لحالات الاستخدام المختلفة (في المستقبل) شبكات حوسبة موزعة مختلفة. عندما تكون مدعومة.
يقترح مثلث جوان أن شبكات الحوسبة غالبًا ما تتطلب مقايضات بين الخصوصية وإمكانية التحقق والأداء، ومن الصعب تطبيق النهج التقليدي "مقاس واحد يناسب الجميع" على كل حالة استخدام. وبدلاً من ذلك، فإن الطبيعة المعيارية للبروتوكولات الموزعة تمكن الشبكات الموزعة المختلفة (أو الشبكات الفرعية) من تلبية احتياجات المستخدمين المختلفة - سواء كانت الخصوصية أو إمكانية التحقق أو الأداء. وفي نهاية المطاف، نقوم بالتحسين بناءً على ما نعتقد أنه مهم. في ذلك الوقت، سيكون هناك العديد من مقدمي خدمات الأطراف (الموضحين في المربع داخل المثلث) لسد هذه الفجوات وجعل الحوسبة الموزعة حقيقة واقعة.
باختصار، تعد معالجة البيانات مشكلة معقدة تتطلب حلولًا مبتكرة. تعد الاستفادة من حوسبة البيانات مفتوحة المصدر لتحل محل الأنظمة المركزية التقليدية خطوة أولى جيدة. في النهاية، يمكن لنشر منصة حوسبة على بروتوكول موزع مثل شبكة Filecoin تكوين موارد الحوسبة بحرية وفقًا للاحتياجات الفردية للمستخدمين، وهو أمر بالغ الأهمية في عصر البيانات الضخمة والذكاء الاصطناعي.
تابع مجموعة عمل CoD للحصول على أحدث المعلومات حول منصات الحوسبة الموزعة. لمزيد من التحديثات حول نظام Filecoin البيئي، يرجى متابعة مدونة Filecoin Insights، ومتابعتنا على Twitter وBacalhau وLilypad وExpanso وCOD WG الخاصة بـ Filecoin Insights.