*Editörün notu: Bu makale esas olarak David Aronchick'in Paris'teki 2023 Filecoin Unleashed Konferansı'ndaki konuşmasına dayanmaktadır. David, Expanso'nun CEO'su ve Bacalhau projesinin başlatılmasından sorumlu olan aynı laboratuvar olan Protokol Laboratuvarları'nın eski Veri Hesaplama Başkanıdır. Bu makale, orijinal içerik oluşturucunun bağımsız görüşlerini temsil etmektedir ve yeniden yayımlanması için izin verilmiştir. *
IDC'ye göre 2025 yılına kadar küresel olarak depolanan veri miktarı 175 ZB'yi aşacak. Bu, 175 trilyon 1 GB USB belleğe eşdeğer devasa bir veri miktarıdır. Bu verilerin çoğu 2020 ile 2025 yılları arasında oluşturuldu ve tahmini yıllık bileşik büyüme oranı %61'di.
Günümüzün hızla büyüyen veri dünyası iki büyük zorlukla karşı karşıyadır:
**Verilerin taşınması yavaş ve pahalıdır. **Mevcut bant genişliği ile 175 ZB veriyi indirmeye kalksanız bu yaklaşık 1,8 milyar yıl sürecektir.
**Uyum görevleri zahmetlidir. **Dünya çapında veriyle ilgili yüzlerce düzenleme mevcut olup, bu düzenlemeler bölgeler arası uyumluluk görevini neredeyse imkansız hale getirmektedir.
Yetersiz ağ büyümesi ve düzenleyici kısıtlamaların birleşik sonucu, kurum verilerinin yaklaşık %68'inin boşta kalmasıdır. Bu nedenle, Bacalhau ve diğerleri, verileri bilişime taşımak yerine bilişim kaynaklarını veri depolamaya (genel olarak veri üzerinden hesaplama veya "veri bilişimi" olarak adlandırılır) aktarmak özellikle önemlidir. Veri Üzerinde Hesaplama (CoD) Platformları çalışıyor üstünde.
Sonraki bölümlerde kısaca tanıtacağız:
Kuruluşların günümüzde verileri nasıl ele aldığı.
"Veri hesaplamaya" dayalı alternatif çözümler önerir.
Son olarak, dağıtılmış hesaplamanın neden önemli olduğunu varsayalım.
statüko
Şu anda kuruluşların veri işleme zorluklarıyla başa çıkmalarının üç ana yolu vardır ve bunların hiçbiri ideal değildir.
Merkezi bir sistem kullanın
En yaygın yaklaşım, büyük ölçekli veri işleme için merkezi sistemlerin kullanılmasıdır. Merkezi bir API sunucusuna bağlı kümelenmiş sistemlerden oluşan bir ağ oluşturmak için Adobe Spark, Hadoop, Databricks, Kubernetes, Kafka, Ray vb. bilgi işlem çerçevelerini birleştiren kuruluşları sıklıkla görüyoruz. Ancak bu sistemler, ağ ihlallerini ve veri hareketliliğini çevreleyen diğer düzenleyici sorunları etkili bir şekilde ele almıyor.
Bu, veri ihlalleri nedeniyle ajansların milyarlarca dolar idari para cezasına ve cezaya maruz kalmasına kısmen neden oluyor.
Kendiniz oluşturun
Diğer bir yaklaşım ise geliştiricilerin kurumların ihtiyaç duyduğu farkındalık ve sağlamlığa sahip özel koordinasyon sistemleri oluşturmasıdır. Bu yaklaşım yenidir ancak sistemin bakımı ve çalıştırılması için az sayıda insana aşırı güven nedeniyle sıklıkla başarısızlık riskiyle karşı karşıyadır.
Hiçbir şey yapma
Şaşırtıcı bir şekilde kurumlar çoğu zaman verileriyle hiçbir şey yapmıyor. Örneğin bir şehir, gözetleme videolarından her gün büyük miktarda veri toplayabilir ancak maliyetin yüksek olması nedeniyle bu veriler yalnızca yerel makinede görüntülenebilmektedir, arşivlenemez veya işlenemez.
Gerçek bir dağıtılmış bilgi işlem oluşturun
Veri işlemenin sorunlu noktalarına yönelik iki ana çözüm vardır.
1. Çözüm: Açık kaynaklı bir veri hesaplama platformu üzerine kurulmuştur
Çözüm 1: Açık kaynaklı veri hesaplama platformu
Geliştiriciler hesaplama için daha önce bahsedilen özel koordinasyon sistemi yerine açık kaynaklı dağıtılmış bir veri platformunu kullanabilirler. Platform açık kaynaklı ve genişletilebilir olduğundan ajansların yalnızca ihtiyaç duydukları bileşenleri oluşturmaları gerekiyor. Bu kurulum, çoklu bulut, çoklu bilgi işlem, veri merkezi olmayan uygulama senaryolarını karşılayabilir ve karmaşık düzenleme ortamlarında gezinebilir. Önemli olan, açık kaynak topluluğuna erişimin artık sistem bakımı için bir veya daha fazla geliştiriciye bağımlı olmamasıdır, bu da arıza olasılığını azaltır.
2. Çözüm: Dağıtılmış bir veri protokolü üzerine inşa edin
Geliştiriciler, Bacalhau ve Lilypad gibi gelişmiş bilgi işlem projelerinin yardımıyla bir adım daha ileri gidebilir ve yalnızca Çözüm Bir'de bahsedilen açık kaynaklı veri platformları üzerinde değil, aynı zamanda Filecoin ağı gibi gerçekten dağıtılmış veri protokolleri üzerinde de sistemler kurabilirler.
Çözüm 2: Dağıtılmış veri hesaplama protokolü
Bu, kurumların kullanıcı sorunlarının daha ayrıntılı bir şekilde nasıl koordine edileceğini ve tanımlanacağını anlayan dağıtılmış protokolleri kullanabileceği ve verilerin üretildiği ve depolandığı yere yakın bilgi işlem alanlarının kilidini açabileceği anlamına gelir. Bir veri merkezinden dağıtılmış bir protokole geçiş, ideal olarak veri bilimcinin deneyiminde yalnızca küçük değişikliklerle yapılabilir.
Dağıtılmış, seçimin en üst düzeye çıkarılması anlamına gelir
Filecoin ağı gibi dağıtılmış bir protokol üzerinde dağıtım yaparak vizyonumuz, kullanıcıların aynı ağ üzerinde farklı bölgelere dağıtılan yüzlerce (veya binlerce) makineye erişebilmesi ve diğer makinelerle aynı protokol kurallarını izleyebilmesidir. Bu, esas olarak veri bilimcileri için ağdan talepte bulunabilecekleri bir seçenekler denizi açar:
Dünyanın herhangi bir yerinden bir veri kümesi seçin.
HIPAA, GDPR veya FISMA gibi her türlü yönetim yapısına uyun.
Mümkün olan en ucuz fiyata çalıştırın.
Juan Üçgeni | Kod çözme kısaltmaları: FHE (Tam Homomorfik Şifreleme), MPC (Çok Taraflı Hesaplama), TEE (Güvenilir Yürütme Ortamı), ZKP (Sıfır Bilgi Kanıtı)
Seçim maksimizasyonu kavramından bahsetmişken, Protokol Laboratuvarları'nın kurucusu Juan Benet'in farklı kullanım durumlarının (gelecekte) neden farklı dağıtılmış bilgi işlem ağlarına sahip olacağını açıklarken ortaya attığı bir terim olan "Juan üçgeni"nden bahsetmemiz gerekiyor. Desteklendiğinde oluşturulur.
Juan'ın Üçgeni, bilgi işlem ağlarının sıklıkla gizlilik, doğrulanabilirlik ve performans arasında ödünleşimler gerektirdiğini ve geleneksel "herkese uyan tek çözüm" yaklaşımının her kullanım durumuna uygulanmasının zor olduğunu öne sürüyor. Bunun yerine, dağıtılmış protokollerin modüler doğası, farklı dağıtılmış ağların (veya alt ağların) gizlilik, doğrulanabilirlik veya performans gibi farklı kullanıcı ihtiyaçlarını karşılamasını sağlar. Sonuçta önemli olduğunu düşündüğümüz şeylere göre optimizasyon yaparız. O zaman, bu boşlukları dolduracak ve dağıtılmış bilgi işlemi gerçeğe dönüştürecek çok sayıda parti hizmet sağlayıcısı (üçgenin içindeki kutuda gösterilmektedir) olacak.
Özetle veri işleme, alışılmışın dışında çözümler gerektiren karmaşık bir sorundur. Geleneksel merkezi sistemleri açık kaynaklı veri hesaplamayla değiştirmek iyi bir ilk adımdır. Sonuçta, Filecoin ağı gibi dağıtılmış bir protokol üzerinde bir bilgi işlem platformunun dağıtılması, bilgi işlem kaynaklarını kullanıcıların bireysel ihtiyaçlarına göre serbestçe yapılandırabilir; bu, büyük veri ve yapay zeka çağında çok önemlidir.
Dağıtılmış bilgi işlem platformlarındaki en son gelişmelerden haberdar olmak için lütfen CoD Çalışma Grubunu takip edin. Filecoin ekosistemi hakkında daha fazla güncelleme için lütfen Filecoin Insights blogunu takip edin ve bizi Filecoin Insights Twitter, Bacalhau, Lilypad, Expanso ve COD WG üzerinden takip edin.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Filecoin: Dağıtılmış veri hesaplamanın önemine ve ticari potansiyeline derinlemesine bir bakış
Orijinal kaynak: Filecoin Ağı
*Editörün notu: Bu makale esas olarak David Aronchick'in Paris'teki 2023 Filecoin Unleashed Konferansı'ndaki konuşmasına dayanmaktadır. David, Expanso'nun CEO'su ve Bacalhau projesinin başlatılmasından sorumlu olan aynı laboratuvar olan Protokol Laboratuvarları'nın eski Veri Hesaplama Başkanıdır. Bu makale, orijinal içerik oluşturucunun bağımsız görüşlerini temsil etmektedir ve yeniden yayımlanması için izin verilmiştir. *
IDC'ye göre 2025 yılına kadar küresel olarak depolanan veri miktarı 175 ZB'yi aşacak. Bu, 175 trilyon 1 GB USB belleğe eşdeğer devasa bir veri miktarıdır. Bu verilerin çoğu 2020 ile 2025 yılları arasında oluşturuldu ve tahmini yıllık bileşik büyüme oranı %61'di.
Günümüzün hızla büyüyen veri dünyası iki büyük zorlukla karşı karşıyadır:
Yetersiz ağ büyümesi ve düzenleyici kısıtlamaların birleşik sonucu, kurum verilerinin yaklaşık %68'inin boşta kalmasıdır. Bu nedenle, Bacalhau ve diğerleri, verileri bilişime taşımak yerine bilişim kaynaklarını veri depolamaya (genel olarak veri üzerinden hesaplama veya "veri bilişimi" olarak adlandırılır) aktarmak özellikle önemlidir. Veri Üzerinde Hesaplama (CoD) Platformları çalışıyor üstünde.
Sonraki bölümlerde kısaca tanıtacağız:
statüko
Şu anda kuruluşların veri işleme zorluklarıyla başa çıkmalarının üç ana yolu vardır ve bunların hiçbiri ideal değildir.
Merkezi bir sistem kullanın
En yaygın yaklaşım, büyük ölçekli veri işleme için merkezi sistemlerin kullanılmasıdır. Merkezi bir API sunucusuna bağlı kümelenmiş sistemlerden oluşan bir ağ oluşturmak için Adobe Spark, Hadoop, Databricks, Kubernetes, Kafka, Ray vb. bilgi işlem çerçevelerini birleştiren kuruluşları sıklıkla görüyoruz. Ancak bu sistemler, ağ ihlallerini ve veri hareketliliğini çevreleyen diğer düzenleyici sorunları etkili bir şekilde ele almıyor.
Bu, veri ihlalleri nedeniyle ajansların milyarlarca dolar idari para cezasına ve cezaya maruz kalmasına kısmen neden oluyor.
Kendiniz oluşturun
Diğer bir yaklaşım ise geliştiricilerin kurumların ihtiyaç duyduğu farkındalık ve sağlamlığa sahip özel koordinasyon sistemleri oluşturmasıdır. Bu yaklaşım yenidir ancak sistemin bakımı ve çalıştırılması için az sayıda insana aşırı güven nedeniyle sıklıkla başarısızlık riskiyle karşı karşıyadır.
Hiçbir şey yapma
Şaşırtıcı bir şekilde kurumlar çoğu zaman verileriyle hiçbir şey yapmıyor. Örneğin bir şehir, gözetleme videolarından her gün büyük miktarda veri toplayabilir ancak maliyetin yüksek olması nedeniyle bu veriler yalnızca yerel makinede görüntülenebilmektedir, arşivlenemez veya işlenemez.
Gerçek bir dağıtılmış bilgi işlem oluşturun
Veri işlemenin sorunlu noktalarına yönelik iki ana çözüm vardır.
1. Çözüm: Açık kaynaklı bir veri hesaplama platformu üzerine kurulmuştur
Çözüm 1: Açık kaynaklı veri hesaplama platformu
Geliştiriciler hesaplama için daha önce bahsedilen özel koordinasyon sistemi yerine açık kaynaklı dağıtılmış bir veri platformunu kullanabilirler. Platform açık kaynaklı ve genişletilebilir olduğundan ajansların yalnızca ihtiyaç duydukları bileşenleri oluşturmaları gerekiyor. Bu kurulum, çoklu bulut, çoklu bilgi işlem, veri merkezi olmayan uygulama senaryolarını karşılayabilir ve karmaşık düzenleme ortamlarında gezinebilir. Önemli olan, açık kaynak topluluğuna erişimin artık sistem bakımı için bir veya daha fazla geliştiriciye bağımlı olmamasıdır, bu da arıza olasılığını azaltır.
2. Çözüm: Dağıtılmış bir veri protokolü üzerine inşa edin
Geliştiriciler, Bacalhau ve Lilypad gibi gelişmiş bilgi işlem projelerinin yardımıyla bir adım daha ileri gidebilir ve yalnızca Çözüm Bir'de bahsedilen açık kaynaklı veri platformları üzerinde değil, aynı zamanda Filecoin ağı gibi gerçekten dağıtılmış veri protokolleri üzerinde de sistemler kurabilirler.
Çözüm 2: Dağıtılmış veri hesaplama protokolü
Bu, kurumların kullanıcı sorunlarının daha ayrıntılı bir şekilde nasıl koordine edileceğini ve tanımlanacağını anlayan dağıtılmış protokolleri kullanabileceği ve verilerin üretildiği ve depolandığı yere yakın bilgi işlem alanlarının kilidini açabileceği anlamına gelir. Bir veri merkezinden dağıtılmış bir protokole geçiş, ideal olarak veri bilimcinin deneyiminde yalnızca küçük değişikliklerle yapılabilir.
Dağıtılmış, seçimin en üst düzeye çıkarılması anlamına gelir
Filecoin ağı gibi dağıtılmış bir protokol üzerinde dağıtım yaparak vizyonumuz, kullanıcıların aynı ağ üzerinde farklı bölgelere dağıtılan yüzlerce (veya binlerce) makineye erişebilmesi ve diğer makinelerle aynı protokol kurallarını izleyebilmesidir. Bu, esas olarak veri bilimcileri için ağdan talepte bulunabilecekleri bir seçenekler denizi açar:
Juan Üçgeni | Kod çözme kısaltmaları: FHE (Tam Homomorfik Şifreleme), MPC (Çok Taraflı Hesaplama), TEE (Güvenilir Yürütme Ortamı), ZKP (Sıfır Bilgi Kanıtı)
Seçim maksimizasyonu kavramından bahsetmişken, Protokol Laboratuvarları'nın kurucusu Juan Benet'in farklı kullanım durumlarının (gelecekte) neden farklı dağıtılmış bilgi işlem ağlarına sahip olacağını açıklarken ortaya attığı bir terim olan "Juan üçgeni"nden bahsetmemiz gerekiyor. Desteklendiğinde oluşturulur.
Juan'ın Üçgeni, bilgi işlem ağlarının sıklıkla gizlilik, doğrulanabilirlik ve performans arasında ödünleşimler gerektirdiğini ve geleneksel "herkese uyan tek çözüm" yaklaşımının her kullanım durumuna uygulanmasının zor olduğunu öne sürüyor. Bunun yerine, dağıtılmış protokollerin modüler doğası, farklı dağıtılmış ağların (veya alt ağların) gizlilik, doğrulanabilirlik veya performans gibi farklı kullanıcı ihtiyaçlarını karşılamasını sağlar. Sonuçta önemli olduğunu düşündüğümüz şeylere göre optimizasyon yaparız. O zaman, bu boşlukları dolduracak ve dağıtılmış bilgi işlemi gerçeğe dönüştürecek çok sayıda parti hizmet sağlayıcısı (üçgenin içindeki kutuda gösterilmektedir) olacak.
Özetle veri işleme, alışılmışın dışında çözümler gerektiren karmaşık bir sorundur. Geleneksel merkezi sistemleri açık kaynaklı veri hesaplamayla değiştirmek iyi bir ilk adımdır. Sonuçta, Filecoin ağı gibi dağıtılmış bir protokol üzerinde bir bilgi işlem platformunun dağıtılması, bilgi işlem kaynaklarını kullanıcıların bireysel ihtiyaçlarına göre serbestçe yapılandırabilir; bu, büyük veri ve yapay zeka çağında çok önemlidir.
Dağıtılmış bilgi işlem platformlarındaki en son gelişmelerden haberdar olmak için lütfen CoD Çalışma Grubunu takip edin. Filecoin ekosistemi hakkında daha fazla güncelleme için lütfen Filecoin Insights blogunu takip edin ve bizi Filecoin Insights Twitter, Bacalhau, Lilypad, Expanso ve COD WG üzerinden takip edin.