Da fonte de dados à análise inteligente: Análise do desenvolvimento da pista de indexação de dados Web3
1. Introdução
Desde o lançamento das primeiras aplicações descentralizadas em 2017, o ecossistema de blockchain tem prosperado, com diversos dApps surgindo como cogumelos após a chuva. Ao discutir estas aplicações descentralizadas, já pensamos nas fontes de dados que elas dependem?
Em 2024, a inteligência artificial e o Web3 tornam-se tópicos em destaque. No campo da IA, os dados são como a fonte da vida, impulsionando a contínua evolução dos sistemas inteligentes. Assim como as plantas precisam de luz solar e água, os sistemas de IA também dependem de enormes volumes de dados para aprender e pensar. Sem o suporte de dados, mesmo os algoritmos de IA mais avançados terão dificuldade em alcançar seu potencial.
Este artigo irá explorar a evolução da acessibilidade dos dados em blockchain, comparando as semelhanças e diferenças entre os protocolos tradicionais de indexação de dados e os novos serviços de dados em blockchain, com um foco especial nas inovações dos novos protocolos que combinam tecnologia de IA na arquitetura de serviços e produtos de dados.
2. A evolução do índice de dados: dos nós da blockchain para o banco de dados de toda a cadeia
2.1 Fonte de dados: nós da blockchain
A blockchain é conhecida como um livro de registro descentralizado, enquanto os nós da blockchain são a pedra angular dessa rede, responsáveis por registrar, armazenar e disseminar dados de transações na cadeia. Cada nó mantém uma cópia completa dos dados da blockchain, garantindo a característica descentralizada da rede. No entanto, para usuários comuns, criar e manter um nó não só requer um alto nível técnico, como também acarreta custos elevados de hardware e largura de banda. Além disso, a capacidade de consulta dos nós comuns é limitada, dificultando a satisfação das necessidades dos desenvolvedores. Assim, embora teoricamente qualquer pessoa possa operar um nó, na prática, os usuários tendem a depender de serviços de terceiros.
Para resolver esse problema, surgiram os provedores de nós RPC. Eles assumem os custos de gerenciamento dos nós e oferecem serviços de acesso a dados por meio de endpoints RPC. Os endpoints RPC públicos são gratuitos, mas possuem limites de taxa, o que pode afetar a experiência do usuário do dApp. Os endpoints RPC privados possuem melhor desempenho, mas não são eficientes para consultas complexas e são difíceis de escalar entre redes. Apesar disso, as interfaces API padronizadas dos provedores de nós diminuem a barreira de acesso dos usuários aos dados na blockchain, estabelecendo uma base para a posterior análise e aplicação de dados.
2.2 Análise de dados: dos dados brutos à informação utilizável
Os dados brutos fornecidos pelos nós de blockchain geralmente são processados por criptografia e codificação, o que, embora garanta a integridade e segurança dos dados, também aumenta a dificuldade de análise. Para usuários comuns e desenvolvedores, lidar diretamente com esses dados requer um grande conhecimento técnico e recursos computacionais.
O processo de análise de dados é especialmente importante neste contexto. Ao transformar dados brutos complexos em um formato mais compreensível e manipulável, os usuários podem aproveitar essas informações de forma mais intuitiva. A qualidade da análise afeta diretamente a eficiência e a eficácia da aplicação de dados da blockchain, sendo uma etapa crucial em todo o processo de indexação de dados.
2.3 Desenvolvimento do indexador de dados
Com o aumento explosivo da quantidade de dados em blockchain, a demanda por indexadores de dados tornou-se cada vez mais evidente. Os indexadores são responsáveis por organizar os dados na cadeia e importá-los para um banco de dados para consulta. Eles indexam os dados da blockchain e fornecem interfaces de API, como GraphQL(, com uma linguagem de consulta semelhante ao SQL), tornando os dados disponíveis a qualquer momento. Os indexadores oferecem aos desenvolvedores uma interface de consulta unificada, simplificando significativamente o processo de recuperação de dados.
Diferentes tipos de indexadores têm suas vantagens:
Indexador de Nós Completo: extrai dados diretamente de nós completos, garantindo a integridade dos dados, mas requer uma grande capacidade de armazenamento e processamento.
Indexador leve: depende de nós completos para obter dados específicos, reduzindo a necessidade de armazenamento, mas pode aumentar o tempo de consulta.
Indexador dedicado: otimizado para tipos de dados específicos ou blockchain, como dados de NFT ou transações DeFi.
Agregador de indexação: extrai dados de várias blockchains e fontes, incluindo informações off-chain, e fornece uma interface de consulta unificada, adequada para dApps multi-chain.
Atualmente, os nós de arquivo do Ethereum ocupam de 3TB a 13,5TB de espaço em diferentes clientes. Diante de um volume de dados tão grande, os protocolos de indexação mainstream não apenas suportam indexação em múltiplas cadeias, mas também personalizaram estruturas de análise de dados para diferentes necessidades de aplicação, como o framework "subgráfico" do The Graph.
A aparição dos indexadores melhorou significativamente a eficiência de indexação e consulta de dados. Em comparação com os pontos finais RPC tradicionais, os indexadores podem processar grandes volumes de dados de forma eficiente, suportando consultas complexas e filtragem de dados. Certos indexadores também suportam a agregação de dados de múltiplas blockchains, evitando o problema de dApps multichain que precisam implantar várias APIs. Através da execução distribuída, os indexadores oferecem maior segurança e desempenho, reduzindo o risco de interrupções que podem ser causadas por fornecedores RPC centralizados.
2.4 Base de Dados de Cadeia Completa: Alinhamento Prioritário ao Fluxo
Com a complexificação das necessidades de aplicação, os indexadores de dados básicos e os seus formatos padronizados têm dificuldade em satisfazer a diversidade das necessidades de consulta, como busca, acesso cross-chain ou mapeamento de dados off-chain. Os fornecedores de serviços de dados em blockchain estão a evoluir para a construção de fluxos de dados, a fim de satisfazer a necessidade de análise em tempo real e consultas abrangentes.
Os tradicionais prestadores de serviços de indexação estão a lançar produtos de fluxo de dados, como os Substreams da The Graph e o Mirror da Goldsky. Ao mesmo tempo, serviços emergentes como a Chainbase e a SubSquid também oferecem lagos de dados em tempo real gerados a partir da blockchain. Esses serviços visam apoiar o desenvolvimento de aplicações através de fontes de dados mais avançadas e auxiliar a análise de dados na cadeia.
Ao reexaminar os dados on-chain através da perspectiva dos modernos pipelines de dados, podemos imaginar um futuro em que conjuntos de dados de alto desempenho podem ser personalizados para qualquer caso de uso empresarial.
3. A fusão de AI e bancos de dados: Análise comparativa do The Graph, Chainbase e Space and Time
3.1 O Gráfico
A rede The Graph oferece serviços de indexação e consulta de dados multi-chain através de nós descentralizados, facilitando para os desenvolvedores a construção de aplicações descentralizadas. Seu modelo de produto central inclui um mercado de execução de consultas de dados e um mercado de cache de indexação de dados, atendendo às necessidades de consulta dos usuários.
A rede é composta por quatro papéis: indexadores, curadores, delegadores e desenvolvedores, garantindo o funcionamento do sistema através de incentivos econômicos. Os indexadores fornecem serviços de indexação e consulta, os delegadores apoiam a operação dos nós de indexação, os curadores selecionam subgráficos valiosos e os desenvolvedores são os principais usuários.
O ecossistema The Graph está a abraçar ativamente a tecnologia AI. Ferramentas como AutoAgora, Allocation Optimizer e AgentC, desenvolvidas pela Semiotic Labs, otimizam, respetivamente, a fixação de preços de indexação, a alocação de recursos e a experiência de consultas dos utilizadores, melhorando a inteligência do sistema e a sua facilidade de utilização.
3.2 Chainbase
A Chainbase, como uma rede de dados de blockchain completa, integra dados de várias blockchains, simplificando o processo de construção e manutenção de aplicações para desenvolvedores. Suas funcionalidades de destaque incluem:
Lago de dados em tempo real: fornece acesso instantâneo ao fluxo de dados da blockchain.
Arquitetura de Dupla Cadeia: Camada de execução construída sobre Eigenlayer AVS, em paralelo com o algoritmo de consenso CometBFT, aumentando a capacidade de processamento de dados entre cadeias.
Formato de dados inovador: introdução do padrão "manuscripts", otimizando a estrutura de dados da indústria de criptografia.
Modelo de mundo criptográfico: combinando tecnologia de IA, criar um modelo que consiga entender e prever transações em blockchain, como a versão básica Theia.
O modelo de IA Theia da Chainbase é baseado no modelo DORA da NVIDIA, combinando análise de dados externos em blockchain com um padrão de criptografia, respondendo através de raciocínio causal e explorando profundamente o valor dos dados em blockchain, oferecendo serviços de dados inteligentes.
3.3 Espaço e Tempo
Space and Time (SxT) está empenhada em construir uma camada de computação verificável, escalando provas de conhecimento zero sobre um armazém de dados descentralizado, fornecendo processamento de dados confiáveis para contratos inteligentes, grandes modelos de linguagem e empresas.
O SxT introduziu a inovadora tecnologia Proof of SQL, que é uma técnica de prova de zero conhecimento, garantindo que os resultados das consultas SQL executadas em um armazém de dados descentralizado sejam verificáveis e à prova de adulterações. Ao contrário das redes blockchain tradicionais que dependem de mecanismos de consenso, o SxT obtém dados de um nó, enquanto os outros nós utilizam a tecnologia zk para verificar a autenticidade dos dados, melhorando o desempenho do sistema.
A SxT está a colaborar com o laboratório de IA da Microsoft para desenvolver ferramentas de IA generativa que simplificam o processo de os utilizadores a processarem dados de blockchain através de linguagem natural. No Space and Time Studio, os utilizadores podem inserir consultas em linguagem natural, e a IA converte automaticamente para SQL e executa, apresentando o resultado final.
Conclusão e Perspetivas
A tecnologia de indexação de dados em blockchain evoluiu desde as fontes de dados dos nós iniciais, passando pelo desenvolvimento de análise de dados e indexadores, até finalmente se transformar em um serviço de dados de cadeia completa capacitado por IA, passando por um processo de aprimoramento gradual. Esses avanços tecnológicos não apenas melhoraram a eficiência e a precisão do acesso aos dados, mas também proporcionaram aos usuários uma experiência mais inteligente.
No futuro, com o desenvolvimento de novas tecnologias como a inteligência artificial e as provas de conhecimento zero, os serviços de dados em blockchain tornar-se-ão ainda mais inteligentes e seguros. Como infraestrutura, os serviços de dados em blockchain continuarão a desempenhar um papel importante na inovação do setor.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
17 Curtidas
Recompensa
17
4
Repostar
Compartilhar
Comentário
0/400
VCsSuckMyLiquidity
· 13h atrás
Novamente a desenhar BTC, os dados são bons dados
Ver originalResponder0
TokenTaxonomist
· 13h atrás
*ajusta os óculos de planilha*
estatisticamente falando, 94,3% desses híbridos ai-web3 são apenas becos sem saída evolutivos
Ver originalResponder0
PaperHandSister
· 14h atrás
Não se pode ter os dois! A IA não consegue lidar com dados, já comprei no topo.
Novas tendências no desenvolvimento de indexação de dados Web3: IA capacitando serviços de dados em toda a cadeia
Da fonte de dados à análise inteligente: Análise do desenvolvimento da pista de indexação de dados Web3
1. Introdução
Desde o lançamento das primeiras aplicações descentralizadas em 2017, o ecossistema de blockchain tem prosperado, com diversos dApps surgindo como cogumelos após a chuva. Ao discutir estas aplicações descentralizadas, já pensamos nas fontes de dados que elas dependem?
Em 2024, a inteligência artificial e o Web3 tornam-se tópicos em destaque. No campo da IA, os dados são como a fonte da vida, impulsionando a contínua evolução dos sistemas inteligentes. Assim como as plantas precisam de luz solar e água, os sistemas de IA também dependem de enormes volumes de dados para aprender e pensar. Sem o suporte de dados, mesmo os algoritmos de IA mais avançados terão dificuldade em alcançar seu potencial.
Este artigo irá explorar a evolução da acessibilidade dos dados em blockchain, comparando as semelhanças e diferenças entre os protocolos tradicionais de indexação de dados e os novos serviços de dados em blockchain, com um foco especial nas inovações dos novos protocolos que combinam tecnologia de IA na arquitetura de serviços e produtos de dados.
2. A evolução do índice de dados: dos nós da blockchain para o banco de dados de toda a cadeia
2.1 Fonte de dados: nós da blockchain
A blockchain é conhecida como um livro de registro descentralizado, enquanto os nós da blockchain são a pedra angular dessa rede, responsáveis por registrar, armazenar e disseminar dados de transações na cadeia. Cada nó mantém uma cópia completa dos dados da blockchain, garantindo a característica descentralizada da rede. No entanto, para usuários comuns, criar e manter um nó não só requer um alto nível técnico, como também acarreta custos elevados de hardware e largura de banda. Além disso, a capacidade de consulta dos nós comuns é limitada, dificultando a satisfação das necessidades dos desenvolvedores. Assim, embora teoricamente qualquer pessoa possa operar um nó, na prática, os usuários tendem a depender de serviços de terceiros.
Para resolver esse problema, surgiram os provedores de nós RPC. Eles assumem os custos de gerenciamento dos nós e oferecem serviços de acesso a dados por meio de endpoints RPC. Os endpoints RPC públicos são gratuitos, mas possuem limites de taxa, o que pode afetar a experiência do usuário do dApp. Os endpoints RPC privados possuem melhor desempenho, mas não são eficientes para consultas complexas e são difíceis de escalar entre redes. Apesar disso, as interfaces API padronizadas dos provedores de nós diminuem a barreira de acesso dos usuários aos dados na blockchain, estabelecendo uma base para a posterior análise e aplicação de dados.
2.2 Análise de dados: dos dados brutos à informação utilizável
Os dados brutos fornecidos pelos nós de blockchain geralmente são processados por criptografia e codificação, o que, embora garanta a integridade e segurança dos dados, também aumenta a dificuldade de análise. Para usuários comuns e desenvolvedores, lidar diretamente com esses dados requer um grande conhecimento técnico e recursos computacionais.
O processo de análise de dados é especialmente importante neste contexto. Ao transformar dados brutos complexos em um formato mais compreensível e manipulável, os usuários podem aproveitar essas informações de forma mais intuitiva. A qualidade da análise afeta diretamente a eficiência e a eficácia da aplicação de dados da blockchain, sendo uma etapa crucial em todo o processo de indexação de dados.
2.3 Desenvolvimento do indexador de dados
Com o aumento explosivo da quantidade de dados em blockchain, a demanda por indexadores de dados tornou-se cada vez mais evidente. Os indexadores são responsáveis por organizar os dados na cadeia e importá-los para um banco de dados para consulta. Eles indexam os dados da blockchain e fornecem interfaces de API, como GraphQL(, com uma linguagem de consulta semelhante ao SQL), tornando os dados disponíveis a qualquer momento. Os indexadores oferecem aos desenvolvedores uma interface de consulta unificada, simplificando significativamente o processo de recuperação de dados.
Diferentes tipos de indexadores têm suas vantagens:
Atualmente, os nós de arquivo do Ethereum ocupam de 3TB a 13,5TB de espaço em diferentes clientes. Diante de um volume de dados tão grande, os protocolos de indexação mainstream não apenas suportam indexação em múltiplas cadeias, mas também personalizaram estruturas de análise de dados para diferentes necessidades de aplicação, como o framework "subgráfico" do The Graph.
A aparição dos indexadores melhorou significativamente a eficiência de indexação e consulta de dados. Em comparação com os pontos finais RPC tradicionais, os indexadores podem processar grandes volumes de dados de forma eficiente, suportando consultas complexas e filtragem de dados. Certos indexadores também suportam a agregação de dados de múltiplas blockchains, evitando o problema de dApps multichain que precisam implantar várias APIs. Através da execução distribuída, os indexadores oferecem maior segurança e desempenho, reduzindo o risco de interrupções que podem ser causadas por fornecedores RPC centralizados.
2.4 Base de Dados de Cadeia Completa: Alinhamento Prioritário ao Fluxo
Com a complexificação das necessidades de aplicação, os indexadores de dados básicos e os seus formatos padronizados têm dificuldade em satisfazer a diversidade das necessidades de consulta, como busca, acesso cross-chain ou mapeamento de dados off-chain. Os fornecedores de serviços de dados em blockchain estão a evoluir para a construção de fluxos de dados, a fim de satisfazer a necessidade de análise em tempo real e consultas abrangentes.
Os tradicionais prestadores de serviços de indexação estão a lançar produtos de fluxo de dados, como os Substreams da The Graph e o Mirror da Goldsky. Ao mesmo tempo, serviços emergentes como a Chainbase e a SubSquid também oferecem lagos de dados em tempo real gerados a partir da blockchain. Esses serviços visam apoiar o desenvolvimento de aplicações através de fontes de dados mais avançadas e auxiliar a análise de dados na cadeia.
Ao reexaminar os dados on-chain através da perspectiva dos modernos pipelines de dados, podemos imaginar um futuro em que conjuntos de dados de alto desempenho podem ser personalizados para qualquer caso de uso empresarial.
3. A fusão de AI e bancos de dados: Análise comparativa do The Graph, Chainbase e Space and Time
3.1 O Gráfico
A rede The Graph oferece serviços de indexação e consulta de dados multi-chain através de nós descentralizados, facilitando para os desenvolvedores a construção de aplicações descentralizadas. Seu modelo de produto central inclui um mercado de execução de consultas de dados e um mercado de cache de indexação de dados, atendendo às necessidades de consulta dos usuários.
A rede é composta por quatro papéis: indexadores, curadores, delegadores e desenvolvedores, garantindo o funcionamento do sistema através de incentivos econômicos. Os indexadores fornecem serviços de indexação e consulta, os delegadores apoiam a operação dos nós de indexação, os curadores selecionam subgráficos valiosos e os desenvolvedores são os principais usuários.
O ecossistema The Graph está a abraçar ativamente a tecnologia AI. Ferramentas como AutoAgora, Allocation Optimizer e AgentC, desenvolvidas pela Semiotic Labs, otimizam, respetivamente, a fixação de preços de indexação, a alocação de recursos e a experiência de consultas dos utilizadores, melhorando a inteligência do sistema e a sua facilidade de utilização.
3.2 Chainbase
A Chainbase, como uma rede de dados de blockchain completa, integra dados de várias blockchains, simplificando o processo de construção e manutenção de aplicações para desenvolvedores. Suas funcionalidades de destaque incluem:
O modelo de IA Theia da Chainbase é baseado no modelo DORA da NVIDIA, combinando análise de dados externos em blockchain com um padrão de criptografia, respondendo através de raciocínio causal e explorando profundamente o valor dos dados em blockchain, oferecendo serviços de dados inteligentes.
3.3 Espaço e Tempo
Space and Time (SxT) está empenhada em construir uma camada de computação verificável, escalando provas de conhecimento zero sobre um armazém de dados descentralizado, fornecendo processamento de dados confiáveis para contratos inteligentes, grandes modelos de linguagem e empresas.
O SxT introduziu a inovadora tecnologia Proof of SQL, que é uma técnica de prova de zero conhecimento, garantindo que os resultados das consultas SQL executadas em um armazém de dados descentralizado sejam verificáveis e à prova de adulterações. Ao contrário das redes blockchain tradicionais que dependem de mecanismos de consenso, o SxT obtém dados de um nó, enquanto os outros nós utilizam a tecnologia zk para verificar a autenticidade dos dados, melhorando o desempenho do sistema.
A SxT está a colaborar com o laboratório de IA da Microsoft para desenvolver ferramentas de IA generativa que simplificam o processo de os utilizadores a processarem dados de blockchain através de linguagem natural. No Space and Time Studio, os utilizadores podem inserir consultas em linguagem natural, e a IA converte automaticamente para SQL e executa, apresentando o resultado final.
Conclusão e Perspetivas
A tecnologia de indexação de dados em blockchain evoluiu desde as fontes de dados dos nós iniciais, passando pelo desenvolvimento de análise de dados e indexadores, até finalmente se transformar em um serviço de dados de cadeia completa capacitado por IA, passando por um processo de aprimoramento gradual. Esses avanços tecnológicos não apenas melhoraram a eficiência e a precisão do acesso aos dados, mas também proporcionaram aos usuários uma experiência mais inteligente.
No futuro, com o desenvolvimento de novas tecnologias como a inteligência artificial e as provas de conhecimento zero, os serviços de dados em blockchain tornar-se-ão ainda mais inteligentes e seguros. Como infraestrutura, os serviços de dados em blockchain continuarão a desempenhar um papel importante na inovação do setor.
estatisticamente falando, 94,3% desses híbridos ai-web3 são apenas becos sem saída evolutivos