*Nota do editor: Este artigo é baseado principalmente no discurso de David Aronchick na conferência Filecoin Unleashed Paris 2023. David é o CEO da Expanso e ex-Chefe de Computação de Dados do Protocol Labs, o mesmo laboratório responsável pelo lançamento do projeto Bacalhau. Este artigo representa as opiniões independentes dos criadores do conteúdo original e foi republicado com permissão. *
Segundo a IDC, até 2025, a quantidade de dados armazenados globalmente excederá 175 ZB. Trata-se de uma enorme quantidade de dados, equivalente a 175 trilhões de unidades flash USB de 1 GB. A maior parte desses dados é gerada entre 2020 e 2025, com um CAGR esperado de 61%.
Hoje, surgem dois grandes desafios na esfera de dados em rápido crescimento:
** Os dados móveis são lentos e caros. **Se você tentasse baixar 175 ZB de dados com a largura de banda atual, levaria aproximadamente 1,8 bilhão de anos.
**As tarefas de conformidade são onerosas. **Existem centenas de regulamentações relacionadas a dados em todo o mundo, tornando quase impossível a conformidade entre jurisdições.
O resultado combinado do fraco crescimento da rede e das restrições regulamentares é que quase 68% dos dados das agências estão ociosos. Por causa disso, é particularmente importante mover recursos de computação para o local de armazenamento de dados (amplamente chamado de computação sobre dados, ou seja, "computação de dados") em vez de mover dados para o local de computação. Bacalhau et al. Compute over Data (CoD) As plataformas estão trabalhando duro nisso.
Nos capítulos seguintes apresentaremos brevemente:
*Como as organizações lidam com os dados hoje.
Propor uma solução alternativa baseada em “Data Computing”.
Finalmente, levante a hipótese de por que a computação distribuída é importante.
status quo
Atualmente, existem três maneiras principais pelas quais as organizações lidam com os desafios de processamento de dados, nenhuma das quais é ideal.
Usando um sistema centralizado
A abordagem mais comum é usar sistemas centralizados para processamento de dados em grande escala. Freqüentemente vemos organizações combinando estruturas de computação como Adobe Spark, Hadoop, Databricks, Kubernetes, Kafka, Ray, etc. para formar uma rede de sistemas clusterizados conectados a um servidor API centralizado. No entanto, estes sistemas não podem resolver eficazmente as violações da rede e outras questões regulamentares relacionadas com a mobilidade de dados.
Isto resultou, em parte, em milhares de milhões de dólares em multas administrativas e sanções para as organizações devido a violações de dados.
Construa você mesmo
Outra abordagem é que os desenvolvedores construam sistemas de coordenação personalizados que tenham a consciência e a robustez que a agência precisa. Esta abordagem é nova, mas muitas vezes enfrenta o risco de fracasso devido à dependência excessiva de um pequeno número de pessoas para manter e operar o sistema.
Nada para fazer
Surpreendentemente, na maior parte das vezes, as instituições nada fazem relativamente aos seus dados. Por exemplo, uma cidade pode coletar uma grande quantidade de dados de vídeos de vigilância todos os dias, mas devido ao alto custo, esses dados só podem ser visualizados na máquina local e não podem ser arquivados ou processados.
Crie uma verdadeira computação distribuída
Existem duas soluções principais para os problemas do processamento de dados.
Solução 1: construída em uma plataforma de computação de dados de código aberto
Solução 1: plataforma de computação de dados de código aberto
Os desenvolvedores podem usar uma plataforma de dados distribuídos de código aberto para computação, em vez do sistema de coordenação personalizado mencionado anteriormente. Como a plataforma é de código aberto e extensível, as agências só precisam construir os componentes de que necessitam. Essa configuração pode atender a cenários de aplicativos multinuvem, multicomputação e que não sejam de data center e navegar em ambientes regulatórios complexos. É importante ressaltar que o acesso à comunidade de código aberto não depende mais de um ou mais desenvolvedores para manutenção do sistema, reduzindo a probabilidade de falha.
Solução 2: Baseado em protocolo de dados distribuídos
Com a ajuda de projetos de computação avançados como Bacalhau e Lilypad, os desenvolvedores podem dar um passo adiante e construir sistemas não apenas nas plataformas de dados de código aberto mencionadas na Solução 1, mas também em protocolos de dados verdadeiramente distribuídos, como a rede Filecoin.
Solução 2: Protocolo de computação de dados distribuídos
Isto significa que as instituições podem utilizar protocolos distribuídos que compreendem como coordenar e descrever os problemas dos utilizadores de formas mais granulares, desbloqueando áreas de computação próximas de onde os dados são gerados e armazenados. Idealmente, essa transição de um data center para um protocolo distribuído pode ser feita com apenas pequenas alterações na experiência do cientista de dados.
Distribuição significa maximizar a escolha
Ao implementar um protocolo distribuído como a rede Filecoin, nossa visão é que os usuários possam acessar centenas (ou milhares) de máquinas distribuídas em diferentes regiões na mesma rede e seguir as mesmas regras de protocolo que outras máquinas. Basicamente, isso abre um mar de opções para os cientistas de dados, pois eles podem solicitar à rede:
Selecione conjuntos de dados de qualquer lugar do mundo.
Siga qualquer estrutura de governança, seja HIPAA, GDPR ou FISMA.
Corra com o preço mais barato possível.
Triângulo de Juan | Decodificando siglas: FHE (Criptografia Totalmente Homomórfica), MPC (Computação Multipartidária), TEE (Ambiente de Execução Confiável), ZKP (Prova de Conhecimento Zero)
Falando do conceito de maximização de escolha, temos que mencionar o “triângulo de Juan”. Este termo foi cunhado por Juan Benet, o fundador do Protocol Labs, para explicar por que diferentes casos de uso (no futuro) terão diferentes redes de computação distribuídas. quando suportado.
O Triângulo Juan propõe que as redes de computação muitas vezes exigem um equilíbrio entre privacidade, verificabilidade e desempenho, e a abordagem tradicional "tamanho único" é difícil de aplicar a todos os casos de uso. Em vez disso, a natureza modular dos protocolos distribuídos permite que diferentes redes distribuídas (ou sub-redes) atendam às diferentes necessidades dos usuários – seja privacidade, verificabilidade ou desempenho. Em última análise, otimizamos com base no que consideramos importante. Nessa altura, haverá muitos prestadores de serviços externos (mostrados como caixas dentro do triângulo) preenchendo estas lacunas e tornando a computação distribuída uma realidade.
Em resumo, o processamento de dados é um problema complexo que requer soluções prontas para uso. Substituir os sistemas centralizados tradicionais pela computação de dados de código aberto é um bom primeiro passo. Em última análise, ao implementar uma plataforma informática em protocolos distribuídos como a rede Filecoin, os recursos computacionais podem ser configurados livremente de acordo com as necessidades individuais dos utilizadores, o que é crucial na era do big data e da inteligência artificial.
Siga o Grupo de Trabalho CoD para se manter atualizado sobre todos os desenvolvimentos mais recentes em plataformas de computação distribuída. Para mais progresso no ecossistema Filecoin, siga o blog Filecoin Insights e siga-nos no Twitter do Filecoin Insights, Bacalhau, Lilypad, Expanso e COD WG.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
Filecoin: Uma análise aprofundada da importância e do potencial comercial da computação de dados distribuída
Fonte original: Rede Filecoin
*Nota do editor: Este artigo é baseado principalmente no discurso de David Aronchick na conferência Filecoin Unleashed Paris 2023. David é o CEO da Expanso e ex-Chefe de Computação de Dados do Protocol Labs, o mesmo laboratório responsável pelo lançamento do projeto Bacalhau. Este artigo representa as opiniões independentes dos criadores do conteúdo original e foi republicado com permissão. *
Segundo a IDC, até 2025, a quantidade de dados armazenados globalmente excederá 175 ZB. Trata-se de uma enorme quantidade de dados, equivalente a 175 trilhões de unidades flash USB de 1 GB. A maior parte desses dados é gerada entre 2020 e 2025, com um CAGR esperado de 61%.
Hoje, surgem dois grandes desafios na esfera de dados em rápido crescimento:
O resultado combinado do fraco crescimento da rede e das restrições regulamentares é que quase 68% dos dados das agências estão ociosos. Por causa disso, é particularmente importante mover recursos de computação para o local de armazenamento de dados (amplamente chamado de computação sobre dados, ou seja, "computação de dados") em vez de mover dados para o local de computação. Bacalhau et al. Compute over Data (CoD) As plataformas estão trabalhando duro nisso.
Nos capítulos seguintes apresentaremos brevemente:
*Como as organizações lidam com os dados hoje.
status quo
Atualmente, existem três maneiras principais pelas quais as organizações lidam com os desafios de processamento de dados, nenhuma das quais é ideal.
Usando um sistema centralizado
A abordagem mais comum é usar sistemas centralizados para processamento de dados em grande escala. Freqüentemente vemos organizações combinando estruturas de computação como Adobe Spark, Hadoop, Databricks, Kubernetes, Kafka, Ray, etc. para formar uma rede de sistemas clusterizados conectados a um servidor API centralizado. No entanto, estes sistemas não podem resolver eficazmente as violações da rede e outras questões regulamentares relacionadas com a mobilidade de dados.
Isto resultou, em parte, em milhares de milhões de dólares em multas administrativas e sanções para as organizações devido a violações de dados.
Construa você mesmo
Outra abordagem é que os desenvolvedores construam sistemas de coordenação personalizados que tenham a consciência e a robustez que a agência precisa. Esta abordagem é nova, mas muitas vezes enfrenta o risco de fracasso devido à dependência excessiva de um pequeno número de pessoas para manter e operar o sistema.
Nada para fazer
Surpreendentemente, na maior parte das vezes, as instituições nada fazem relativamente aos seus dados. Por exemplo, uma cidade pode coletar uma grande quantidade de dados de vídeos de vigilância todos os dias, mas devido ao alto custo, esses dados só podem ser visualizados na máquina local e não podem ser arquivados ou processados.
Crie uma verdadeira computação distribuída
Existem duas soluções principais para os problemas do processamento de dados.
Solução 1: construída em uma plataforma de computação de dados de código aberto
Solução 1: plataforma de computação de dados de código aberto
Os desenvolvedores podem usar uma plataforma de dados distribuídos de código aberto para computação, em vez do sistema de coordenação personalizado mencionado anteriormente. Como a plataforma é de código aberto e extensível, as agências só precisam construir os componentes de que necessitam. Essa configuração pode atender a cenários de aplicativos multinuvem, multicomputação e que não sejam de data center e navegar em ambientes regulatórios complexos. É importante ressaltar que o acesso à comunidade de código aberto não depende mais de um ou mais desenvolvedores para manutenção do sistema, reduzindo a probabilidade de falha.
Solução 2: Baseado em protocolo de dados distribuídos
Com a ajuda de projetos de computação avançados como Bacalhau e Lilypad, os desenvolvedores podem dar um passo adiante e construir sistemas não apenas nas plataformas de dados de código aberto mencionadas na Solução 1, mas também em protocolos de dados verdadeiramente distribuídos, como a rede Filecoin.
Solução 2: Protocolo de computação de dados distribuídos
Isto significa que as instituições podem utilizar protocolos distribuídos que compreendem como coordenar e descrever os problemas dos utilizadores de formas mais granulares, desbloqueando áreas de computação próximas de onde os dados são gerados e armazenados. Idealmente, essa transição de um data center para um protocolo distribuído pode ser feita com apenas pequenas alterações na experiência do cientista de dados.
Distribuição significa maximizar a escolha
Ao implementar um protocolo distribuído como a rede Filecoin, nossa visão é que os usuários possam acessar centenas (ou milhares) de máquinas distribuídas em diferentes regiões na mesma rede e seguir as mesmas regras de protocolo que outras máquinas. Basicamente, isso abre um mar de opções para os cientistas de dados, pois eles podem solicitar à rede:
Triângulo de Juan | Decodificando siglas: FHE (Criptografia Totalmente Homomórfica), MPC (Computação Multipartidária), TEE (Ambiente de Execução Confiável), ZKP (Prova de Conhecimento Zero)
Falando do conceito de maximização de escolha, temos que mencionar o “triângulo de Juan”. Este termo foi cunhado por Juan Benet, o fundador do Protocol Labs, para explicar por que diferentes casos de uso (no futuro) terão diferentes redes de computação distribuídas. quando suportado.
O Triângulo Juan propõe que as redes de computação muitas vezes exigem um equilíbrio entre privacidade, verificabilidade e desempenho, e a abordagem tradicional "tamanho único" é difícil de aplicar a todos os casos de uso. Em vez disso, a natureza modular dos protocolos distribuídos permite que diferentes redes distribuídas (ou sub-redes) atendam às diferentes necessidades dos usuários – seja privacidade, verificabilidade ou desempenho. Em última análise, otimizamos com base no que consideramos importante. Nessa altura, haverá muitos prestadores de serviços externos (mostrados como caixas dentro do triângulo) preenchendo estas lacunas e tornando a computação distribuída uma realidade.
Em resumo, o processamento de dados é um problema complexo que requer soluções prontas para uso. Substituir os sistemas centralizados tradicionais pela computação de dados de código aberto é um bom primeiro passo. Em última análise, ao implementar uma plataforma informática em protocolos distribuídos como a rede Filecoin, os recursos computacionais podem ser configurados livremente de acordo com as necessidades individuais dos utilizadores, o que é crucial na era do big data e da inteligência artificial.
Siga o Grupo de Trabalho CoD para se manter atualizado sobre todos os desenvolvimentos mais recentes em plataformas de computação distribuída. Para mais progresso no ecossistema Filecoin, siga o blog Filecoin Insights e siga-nos no Twitter do Filecoin Insights, Bacalhau, Lilypad, Expanso e COD WG.