Desde o lançamento de “Avatar” em 2009, lançou a primeira batalha de filmes 3D com imagens reais sem precedentes. Como grande contribuinte por trás disso, a Weta Digital contribuiu para os efeitos visuais de renderização de todo o filme. Em sua fazenda de servidores de 10.000 pés quadrados na Nova Zelândia, seu cluster de computadores processava até 1,4 milhão de tarefas por dia e processava 8GB de dados por segundo. Mesmo assim, continuou a funcionar por mais de um mês antes que todas as renderizações fossem concluídas. Trabalho.
Com a implantação em larga escala de máquinas e investimento de custos, “Avatar” alcançou realizações excepcionais na história do cinema.
Em 3 de janeiro do mesmo ano, Satoshi Nakamoto minerou o bloco gênese do Bitcoin em um pequeno servidor em Helsínquia, Finlândia, e recebeu uma recompensa de bloco de 50 BTC. Desde o primeiro dia da criptomoeda, o poder de computação tem desempenhado um papel muito importante na indústria.
A cadeia mais longa não só serve como prova da sequência de eventos testemunhados, mas também como prova de que veio do maior pool de poder de CPU.
—— Livro branco do Bitcoin
No contexto do mecanismo de consenso PoW, a contribuição do poder de computação garante a segurança da cadeia. Ao mesmo tempo, o hashrate continuamente crescente também pode comprovar o investimento contínuo dos mineiros em poder de computação e expectativas de rendimento positivas. A demanda real da indústria por poder de computação também promoveu grandemente o desenvolvimento de fabricantes de chips. Os chips das máquinas de mineração passaram por estágios de desenvolvimento como CPU, GPU, FPGA e ASIC. Atualmente, as máquinas de mineração de Bitcoin são geralmente baseadas em tecnologia ASIC (Circuito Integrado Específico de Aplicação) que pode executar eficientemente algoritmos específicos, como SHA-256. Os enormes benefícios econômicos trazidos pelo Bitcoin também impulsionaram a demanda por poder de computação na mineração relacionada. No entanto, equipamentos excessivamente especializados e efeitos de cluster causaram um efeito sifão entre seus próprios participantes, sejam mineiros ou fabricantes de máquinas de mineração. Todos mostram uma tendência de desenvolvimento concentrado intensivo em capital.
Com o advento dos contratos inteligentes da Ethereum, a sua programabilidade, composabilidade e outras características formaram uma ampla gama de aplicações, especialmente no campo DeFi, o que fez o preço do ETH subir constantemente, enquanto ainda está no consenso PoW. A dificuldade de mineração da Ethereum neste estágio também tem aumentado. Os requisitos de poder de computação dos mineradores para as máquinas de mineração da Ethereum também estão aumentando dia após dia. No entanto, ao contrário do Bitcoin, que utiliza chips ASIC, a Ethereum precisa de uma unidade de processamento gráfico (GPU) para cálculos de mineração, como a série Nvidia RTX. Dessa forma, é mais adequada para hardware de computação geral participar. Isso até mesmo desencadeou a competição de mercado por GPUs, o que causou a falta de placas gráficas de alta qualidade no mercado.
Quando chegou o dia 30 de novembro de 2022, o ChatGPT desenvolvido pela OpenAI também demonstrou a significância revolucionária no campo da IA. Os utilizadores maravilharam-se com a nova experiência trazida pelo ChatGPT, que pode completar várias tarefas propostas pelo utilizador com base no contexto, tal como uma pessoa real. Na nova versão lançada em setembro deste ano, a IA generativa que adiciona funcionalidades multimodais, como voz e imagens, levou a experiência do utilizador a um patamar mais recente.
Mas, correspondendo, o GPT4 tem mais de um trilhão de parâmetros envolvidos no pré-treinamento do modelo e subsequente ajuste fino. Estas são as duas partes com a maior demanda de poder de computação no campo da IA. Na fase de pré-treinamento, uma grande quantidade de texto é estudada para dominar padrões de linguagem, gramática e contexto associado. Isso permite que ele entenda padrões de linguagem para gerar texto coerente e contextual com base na entrada. Após o pré-treinamento, o GPT4 é ajustado finamente para se adaptar melhor a tipos específicos de conteúdo ou estilos e melhorar o desempenho e a especialização em cenários de demanda específicos.
Uma vez que a arquitetura Transformer adotada pelo GPT introduz o mecanismo de autoatenção, este mecanismo permite ao modelo prestar atenção simultaneamente na relação entre diferentes partes da sequência ao processar a sequência de entrada. Portanto, a demanda por poder de computação aumentou acentuadamente. Especialmente ao processar sequências longas, é necessária uma grande quantidade de computação paralela e armazenamento de um grande número de pontuações de atenção, o que também requer uma grande quantidade de memória e capacidades de transmissão de dados em alta velocidade. O LLM mainstream atual com a mesma arquitetura tem uma enorme demanda por GPUs de alto desempenho, o que também mostra que o custo de investimento no campo dos grandes modelos de IA é enorme. De acordo com estimativas relevantes da SemiAnalysis, o custo de treinar um modelo GPT4 é tão alto quanto $63 milhões. Para alcançar uma boa experiência interativa, o GPT4 também precisa investir uma grande quantidade de poder de computação nas operações diárias para manter suas operações diárias.
Aqui precisamos de entender os principais tipos de hardware de poder de computação atuais. Que cenários de demanda de poder de computação podem ser tratados pela CPU, GPU, FPGA e ASIC, respetivamente.
• A partir do diagrama arquitetônico da CPU e da GPU, a GPU contém mais núcleos, o que permite à GPU processar múltiplas tarefas de computação ao mesmo tempo. A computação paralela tem capacidades de processamento mais fortes e é adequada para processar um grande número de tarefas de computação, por isso nos campos do aprendizado de máquina e do aprendizado profundo tem sido amplamente utilizada. A CPU tem um número menor de núcleos e é adequada para processar um cálculo complexo único ou uma tarefa de sequência de forma mais intensiva, mas não é tão eficiente quanto a GPU ao processar tarefas de computação paralela. Em tarefas de renderização e tarefas de computação de redes neurais, um grande número de cálculos repetidos e cálculos paralelos geralmente precisam ser processados, portanto a GPU é mais eficiente e adequada do que a CPU nesse aspecto.
• FPGA (Field Programmable Gate Array) é um circuito semi-personalizado no campo do circuito integrado específico de aplicação (ASIC). Um conjunto composto por um grande número de pequenas unidades de processamento, FPGA pode ser entendido como um chip integrado de circuito lógico digital programável. A aplicação atual foca principalmente na aceleração de hardware, e outras tarefas ainda são concluídas na CPU, permitindo que o FPGA e a CPU trabalhem juntos.
• ASIC (Application Specific Integrated Circuit) refere-se a um circuito integrado projetado para atender a requisitos específicos do usuário e às necessidades de sistemas eletrônicos específicos. Comparado com circuitos integrados de uso geral, o ASIC tem as vantagens de tamanho menor, menor consumo de energia, maior confiabilidade, melhor desempenho, confidencialidade aprimorada e custo reduzido durante a produção em massa. Portanto, no cenário inerente à mineração de Bitcoin, que só precisa realizar tarefas de computação específicas, o ASIC é o mais adequado. O Google também lançou uma TPU (Tensor Processing Unit) especialmente projetada para aprendizado de máquina como um tipo de ASIC, mas atualmente ela fornece principalmente serviços de aluguel de poder de computação por meio do Google Cloud.
• ASIC comparado com FPGA, ASIC é um circuito integrado específico de aplicação e o circuito integrado é fixo uma vez que o design é concluído. FPGA integra um grande número de portões de circuitos digitais básicos e memórias na matriz. Os desenvolvedores podem definir o circuito programando a configuração do FPGA, e essa programação é substituível. No entanto, dada a velocidade de atualização atual no campo da IA, chips personalizados ou semi-personalizados não podem ser ajustados e reconfigurados a tempo para executar tarefas diferentes ou se adaptar a novos algoritmos. Portanto, a adaptabilidade e flexibilidade gerais da GPU fazem com que ela brilhe no campo da IA. Os principais fabricantes de GPU também fizeram otimizações relevantes para a adaptação das GPUs no campo da IA. Tomando a Nvidia como exemplo, ela lançou as GPUs da série Tesla e a arquitetura Ampere projetadas especificamente para deep learning. Esses hardwares contêm unidades de hardware (Núcleos Tensor) otimizadas para cálculos de aprendizado de máquina e deep learning, o que permite que a GPU funcione de forma mais eficiente e com baixo consumo de energia para realizar a propagação para frente e para trás de redes neurais. Além disso, uma ampla gama de ferramentas e bibliotecas são fornecidas para apoiar o desenvolvimento de IA, como CUDA (Arquitetura de Dispositivo Unificado de Cálculo) para ajudar os desenvolvedores a usar GPUs para computação paralela de propósito geral.
O poder de computação descentralizado refere-se ao método de fornecer energia de processamento através de recursos de computação distribuídos. Esta abordagem descentralizada é geralmente combinada com a tecnologia blockchain ou tecnologia semelhante de livro-razão distribuído para agrupar recursos de computação inativos e distribuí-los aos utilizadores necessitados para alcançar partilha de recursos, transações e gestão.
• Forte demanda de hardware de computação. A prosperidade da economia criadora trouxe o processamento de mídia digital para uma era de criação universal. A demanda por renderização de efeitos visuais aumentou, e estúdios especializados em terceirização de renderização, plataformas de renderização em nuvem e outras formas surgiram. No entanto, esta abordagem também Você precisa investir muito dinheiro você mesmo na aquisição antecipada de hardware de poder de computação.
• O hardware de poder de computação provém de uma única fonte. O desenvolvimento do campo da IA intensificou a demanda por hardware de computação. As principais empresas de fabricação de GPU do mundo, lideradas pela Nvidia, fizeram muito dinheiro nesta competição de poder de computação de IA. Sua capacidade de fornecimento até se tornou um fator-chave que pode restringir o desenvolvimento de uma determinada indústria. O valor de mercado da Nvidia também ultrapassou pela primeira vez um trilhão de dólares americanos este ano.
• A provisão de poder de computação ainda depende principalmente de plataformas de nuvem centralizadas. O que realmente está a beneficiar com o aumento da procura por computação de alta performance são os fornecedores de nuvem centralizados representados pela AWS. Eles lançaram serviços de computação em nuvem com GPU. Tomando o atual AWS p4d.24xlarge como exemplo, alugar um servidor HPC especializado em ML, contendo oito GPUs Nvidia A100 40GB, custa US$32.8 por hora, e a sua margem de lucro bruto é estimada em 61%. Isso também fez com que outros gigantes da nuvem se apressassem em participar e acumular hardware para obter o máximo de vantagem possível nas fases iniciais do desenvolvimento da indústria.
• A intervenção política, humana e outros fatores levam a um desenvolvimento desigual da indústria. Desiquilíbrio Não é difícil ver que a propriedade e concentração de GPUs estão mais inclinadas para organizações e países com fundos e tecnologia abundantes, e dependem de clusters de computação de alto desempenho. Isso fez com que os poderes de fabricação de chips e semicondutores representados pelos Estados Unidos também implementassem restrições mais rigorosas na exportação de chips de IA para enfraquecer as capacidades de pesquisa de outros países no campo da inteligência artificial geral.
• A alocação de recursos de poder de computação é demasiado concentrada. A iniciativa de desenvolvimento no campo da IA está nas mãos de algumas empresas gigantes. Atualmente, os gigantes representados pela OpenAI têm a bênção da Microsoft, e atrás deles estão os ricos recursos de computação fornecidos pela Microsoft Azure. Isso faz com que a OpenAI a cada lançamento de novos produtos seja um remodelar e integração da indústria de IA atual, tornando difícil para outras equipas acompanharem no campo de grandes modelos.
Assim, perante os elevados custos de hardware, restrições geográficas e desenvolvimento industrial desigual, existem outras soluções?
A plataforma de poder de computação descentralizada surgiu conforme as exigências do tempo. O objetivo da plataforma é criar um mercado aberto, transparente e autoregulador para utilizar de forma mais eficaz os recursos de computação globais.
Os preços elevados atuais do hardware e o controlo artificial do lado da oferta têm proporcionado o terreno para a construção de redes de poder de computação descentralizadas.
• Do ponto de vista da composição do poder de computação descentralizado, vários fornecedores de poder de computação vão desde PCs pessoais até pequenos Equipamentos de Internet das Coisas tão grandes como centros de dados, IDCs, etc., e o poder de computação acumulado pode fornecer soluções de computação mais flexíveis e escaláveis, ajudando assim mais desenvolvedores de IA e organizações a fazerem um uso mais eficaz de recursos limitados. O compartilhamento de poder de computação descentralizado pode ser alcançado através do poder de computação ocioso de indivíduos ou organizações. No entanto, a disponibilidade e estabilidade desse poder de computação estão sujeitas às restrições de uso dos utilizadores ou ao limite superior de partilha.
• Uma possível fonte potencial de poder de computação de alta qualidade é o poder de computação fornecido diretamente pela transformação das minas relevantes após o Ethereum ser convertido em PoS. Recursos humanos. Tome Coreweave, o principal fornecedor integrado de poder de computação de GPU nos Estados Unidos, como exemplo. Anteriormente, era a maior fazenda de mineração de Ethereum na América do Norte e é baseada em uma infraestrutura completa que foi construída. Além disso, as máquinas de mineração de Ethereum aposentadas também contêm um grande número de GPUs inativas. Estima-se que havia cerca de 27 milhões de GPUs trabalhando online no auge da era de mineração de Ethereum. Revitalizar essas GPUs também pode se tornar uma parte importante da rede descentralizada de poder de computação, fonte de poder de computação.
• Do ponto de vista da implementação técnica, os recursos de computação descentralizada são utilizados na renderização de gráficos e na transcodificação de vídeo. Tais cálculos são complexos. Para tarefas de baixo nível, o sistema econômico que combina tecnologia blockchain e web3 pode trazer incentivos de renda tangíveis aos participantes da rede e acumular modelos de negócios eficazes e grupos de clientes, garantindo a transmissão segura de dados de informação. O campo da IA envolve uma grande quantidade de computação paralela, comunicação e sincronização entre nós, e tem requisitos muito elevados no ambiente de rede e em outros aspectos. Portanto, as aplicações atuais também estão focadas em ajustes finos, inferência, AIGC e outras camadas de aplicação mais.
• Do ponto de vista da lógica empresarial, um mercado que simplesmente compra e vende poder de computação carece de imaginação, e a indústria apenas consegue lidar com a cadeia de fornecimento e preços. Estratégias, mas estas são precisamente as vantagens dos serviços de nuvem centralizados. Portanto, o teto de mercado é baixo e não há espaço para mais imaginação, por isso também podemos ver que as redes que originalmente se dedicavam a renderização de gráficos simples estão a procurar a transformação para a IA. Por exemplo, a Render Network e o 1.º trimestre de 2023 lançaram também um conjunto de ferramentas nativas integradas de IA de Estabilidade, que os utilizadores podem Esta função introduz operações de Difusão Estável, e o negócio já não se limita a operações de renderização mas expande-se para o campo da IA.
• Do ponto de vista dos principais grupos de clientes, é óbvio que os grandes clientes do lado B preferirão serviços de nuvem integrados centralizados. Eles geralmente com orçamentos suficientes, eles geralmente estão envolvidos no desenvolvimento de grandes modelos subjacentes e exigem uma forma mais eficiente de agregação de poder de computação; Portanto, o poder de computação descentralizada serve mais equipes de desenvolvimento ou indivíduos de pequeno e médio porte, e está principalmente envolvido no ajuste fino do modelo. Ou desenvolvimento de camada de aplicação, que não tem altos requisitos sobre a forma de poder de computação fornecido. Eles são mais sensíveis ao preço. O poder de computação descentralizada pode reduzir fundamentalmente o investimento de custo inicial, de modo que o custo geral de uso também é menor. Com base no custo previamente calculado pela Gensyn, o poder de computação é convertido no valor equivalente fornecido pela V100. Poder de computação, o preço do Gensyn é de apenas US$ 0,4 por hora, o que é 80% menor do que o poder de computação equivalente da AWS, de US$ 2 por hora. Embora essa parte do negócio não seja responsável pela maioria dos gastos na indústria atual, à medida que os cenários de uso de aplicativos de IA continuam a se expandir, o tamanho futuro do mercado não pode ser subestimado.
• Do ponto de vista dos serviços fornecidos, pode-se encontrar que o projeto atual se assemelha mais ao conceito de uma plataforma de nuvem descentralizada, fornecendo um conjunto completo de gestão desde o desenvolvimento, implementação, online, distribuição e transação. A vantagem disto é atrair os desenvolvedores, que podem utilizar componentes de ferramentas relevantes para simplificar o desenvolvimento e implementação e melhorar a eficiência; ao mesmo tempo, pode atrair os usuários para utilizar estes produtos de aplicação completos na plataforma, formando um fosso ecológico baseado na sua própria rede de poder de computação. Mas isto também coloca requisitos mais elevados para as operações do projeto. Como atrair excelentes desenvolvedores e usuários e alcançar a retenção é especialmente importante.
Render Network Uma plataforma global de renderização baseada em blockchain, cujo objetivo é ajudar os criadores com criatividade digital. Permite aos criadores estender o trabalho de renderização da GPU para nós de GPU globais sob demanda, fornecendo uma capacidade de renderização mais rápida e mais barata. Após o criador confirmar os resultados de renderização, a rede blockchain envia o código para o nó. Recompensas em moeda. Comparado com os métodos tradicionais de implementação de efeitos visuais, estabelecer infraestrutura de renderização local ou adicionar despesas de GPU correspondentes aos serviços de nuvem comprados requer um alto investimento inicial.
Desde a sua fundação em 2017, os utilizadores da Rede Render renderizaram mais de 16 milhões de frames e quase 500.000 cenas na rede. Os dados divulgados pela Rede Render do segundo trimestre de 2023 também mostram que tanto o número de trabalhos de frames de renderização como o número de nós ativos estão a aumentar. Além disso, a Rede Render e o primeiro trimestre de 2023 também lançaram um conjunto de ferramentas de IA de Estabilidade integrado nativamente. Os utilizadores podem utilizar esta função para introduzir operações de Difusão Estável, e o negócio já não se limita às operações de renderização e expande-se para o campo da IA.
A Livepeer fornece serviços de transcodificação de vídeo em tempo real para criadores através de participantes da rede que contribuem com sua própria potência de computação em GPU e largura de banda. Os emissores podem concluir a transcodificação de vários tipos de vídeos enviando vídeos para o Livepeer e distribuí-los para vários utilizadores finais, realizando assim a disseminação de conteúdo de vídeo. Ao mesmo tempo, é possível pagar facilmente em moeda legal para obter serviços como transcodificação de vídeo, transmissão e armazenamento.
Na rede Livepeer, qualquer pessoa pode contribuir com recursos informáticos pessoais (CPU, GPU e largura de banda) para transcodificar e distribuir vídeos para ganhar taxas. O token nativo (LPT) representa os direitos e interesses dos participantes da rede na rede. O número de tokens prometidos determina o peso do nó na rede, afetando assim suas chances de obter tarefas de transcodificação. Ao mesmo tempo, o LPT também desempenha um papel orientador para os nós completarem tarefas atribuídas de forma segura, confiável e rápida.
No ecossistema atual no campo da IA, os principais intervenientes podem ser aproximadamente divididos em:
Começando pelo lado da procura, existem diferenças óbvias nas exigências de poder de computação em diferentes fases da indústria. Tomando o desenvolvimento do modelo subjacente como exemplo, o processo de pré-treino requer uma computação paralela, armazenamento, comunicação, etc., muito elevados para garantir a eficácia dos resultados do treino. Isto requer um grande cluster de poder de computação para completar tarefas relacionadas. Atualmente, o principal fornecimento de poder de computação depende principalmente de salas de computadores autoconstruídas e plataformas de serviços em nuvem centralizadas. Nas fases subsequentes de afinação do modelo, raciocínio em tempo real e desenvolvimento de aplicações, os requisitos para computação paralela e comunicação entre nós não são tão elevados. É exatamente aí que o poder de computação descentralizado pode mostrar todo o seu potencial.
Olhando para os projetos que ganharam considerável popularidade antes, a Akash Nework fez algumas tentativas na direção do poder de computação descentralizado:
A Akash Network combina diferentes componentes tecnológicos para permitir aos utilizadores implementar e gerir aplicações de forma eficiente e flexível num ambiente de nuvem descentralizado. Os usuários podem usar a tecnologia de contêiner do Docker para empacotar aplicativos e, em seguida, implantá-los e dimensioná-los através do Kubernetes por meio do CloudMOS nos recursos de nuvem fornecidos pelo Akash. O Akash usa uma abordagem de "leilão reverso", o que torna o preço mais baixo do que os serviços de nuvem tradicionais.
A Akash Network também anunciou em agosto deste ano que iria lançar a sexta atualização da sua rede principal, incorporando suporte para GPUs nos seus serviços de nuvem e fornecendo poder de computação a mais equipas de IA no futuro.
Gensyn.ai, um projeto que atraiu muita atenção na indústria este ano, foi liderado pela a16z e completou uma financiamento da Série A de US$43 milhões. A julgar pelos documentos divulgados até agora, o projeto é uma rede principal baseada no protocolo L1 PoS da rede Polkadot, focando em aprendizagem profunda. O objetivo é empurrar os limites da aprendizagem de máquinas ao criar uma rede global de cluster de supercomputação. Esta rede conecta dispositivos que vão desde data centers com excesso de poder de computação a PCs que podem potencialmente contribuir com GPUs pessoais, ASICs personalizados e SoCs.
Para resolver alguns dos problemas atualmente existentes no poder de computação descentralizado, a Gensyn baseia-se em alguns novos resultados de pesquisa teórica na academia:
Adote a prova de aprendizagem probabilística, ou seja, use metadados do processo de otimização baseado em gradientes para construir provas da execução da tarefa relevante para acelerar o processo de verificação;
O Protocolo de Pontuação Baseado em Gráficos, GPP, funciona como uma ponte, ligando a execução offline de DNN (Rede Neural Profunda) e o quadro de contratos inteligentes na blockchain, resolvendo as inconsistências que ocorrem facilmente entre dispositivos de hardware e garantindo a consistência da verificação.
Um método de incentivo semelhante ao Truebit, através de uma combinação de staking e punição, estabelece um sistema de incentivos que permite aos participantes economicamente racionais realizar honestamente as tarefas atribuídas. O mecanismo utiliza criptografia e métodos de teoria dos jogos. Este sistema de verificação é essencial para manter a integridade e confiabilidade de cálculos de treino de modelos grandes.
No entanto, vale ressaltar que o conteúdo acima diz respeito mais à resolução do nível de verificação de conclusão da tarefa, em vez do poder de computação descentralizado para alcançar funções de treinamento do modelo como destaque principal no documento do projeto, especialmente sobre computação paralela e otimização distribuída da comunicação, sincronização e outros problemas entre hardware. Atualmente, afetada pela latência de rede (Latência) e largura de banda (Bandwidth), a comunicação frequente entre nós aumentará o tempo de iteração e os custos de comunicação. Isso não apenas não trará otimização real, mas também reduzirá a eficiência do treinamento. A abordagem da Gensyn para lidar com a comunicação de nós e a computação paralela no treinamento do modelo pode envolver protocolos de coordenação complexos para gerenciar a natureza distribuída da computação. No entanto, sem informações técnicas mais detalhadas ou uma compreensão mais profunda de seus métodos específicos, o mecanismo exato pelo qual a Gensyn alcança o treinamento de modelos em grande escala por meio de sua rede não será verdadeiramente revelado até que o projeto entre online.
Também prestamos atenção ao protocolo Edge Matrix Computing (EMC), que utiliza tecnologia blockchain para aplicar poder de computação à IA, renderização e pesquisa científica, acesso de comércio eletrônico de IA e outros tipos de cenários, tarefas são distribuídas para diferentes nós de poder de computação por meio de computação elástica. Este método não só melhora a eficiência do poder de computação, mas também garante a segurança da transmissão de dados. Ao mesmo tempo, ele fornece um mercado de poder de computação onde os usuários podem acessar e trocar recursos de computação. É conveniente para os desenvolvedores implantar e alcançar os usuários mais rapidamente. Combinado com a forma econômica do Web3, os provedores de poder de computação também podem obter benefícios reais e subsídios de protocolo com base no uso real dos usuários, e os desenvolvedores de IA também podem obter custos de raciocínio e renderização mais baixos. Abaixo está uma visão geral de seus principais componentes e funções:
Também se espera que sejam lançados produtos RWA baseados em GPU. A chave para isso é revitalizar o hardware que estava originalmente fixo na sala de computadores e dividi-lo e circulá-lo na forma de RWA para obter liquidez adicional. Uma GPU de alta qualidade pode ser usada como ativo subjacente de RWA. A razão é que o poder de computação pode ser considerado como moeda forte no campo da IA. Atualmente, existe uma contradição óbvia entre oferta e demanda, e essa contradição não pode ser resolvida a curto prazo, por isso o preço da GPU é relativamente estável.
Além disso, a implementação de clusters de poder de computação através da implementação de salas de computadores IDC também é uma parte fundamental do protocolo EMC. Isso não apenas permite que as GPUs operem em um ambiente unificado, mas também lida de forma mais eficiente com tarefas relacionadas de grande escala que consomem poder de computação, como pré-treinamento de modelos. Isso satisfaz as necessidades dos usuários profissionais. Ao mesmo tempo, a sala de computadores IDC também pode hospedar e executar centralmente um grande número de GPUs para garantir as especificações técnicas do mesmo tipo de hardware de alta qualidade, facilitando sua embalagem no mercado como produtos RWA e abrindo novas ideias para DeFi.
Nos últimos anos, a comunidade académica também desenvolveu novas teorias técnicas e práticas de aplicação no campo da computação de ponta. Como um complemento e otimização da computação em nuvem, a computação de ponta é uma parte da inteligência artificial que está a acelerar da nuvem para a ponta e para dispositivos IoT cada vez menores. Estes dispositivos IoT são frequentemente pequenos em tamanho, por isso a aprendizagem automática leve é preferida para lidar com questões como o consumo de energia, latência e precisão.
A Network3 é construída através da implementação de uma camada de IA dedicada Layer2 para fornecer aos desenvolvedores de IA de todo o mundo a otimização e compressão de algoritmos de modelos de IA, aprendizagem federada, computação de ponta e computação de privacidade. Fornecer serviços para ajudá-los a treinar ou verificar modelos de forma rápida, conveniente e eficiente. Ao utilizar um grande número de dispositivos de hardware IoT inteligentes, pode-se focar em pequenos modelos para fornecer o poder de computação correspondente, e através da implementação de um TEE (Ambiente de Execução Confiável), os utilizadores podem completar o treino relevante apenas carregando gradientes de modelo para garantir a privacidade e segurança dos dados relacionados com o utilizador.
• Com o desenvolvimento da IA e de outros campos, muitas indústrias passarão por grandes mudanças na sua lógica subjacente, o poder de computação subirá para uma posição mais importante e vários aspetos relacionados com ele também causarão uma exploração extensiva na indústria. As redes de poder de computação descentralizadas têm as suas próprias vantagens, podem reduzir o risco de centralização e também podem servir como complemento ao poder de computação centralizado.
• E as equipas no campo da IA também estão num impasse. A escolha de usar modelos grandes treinados para construir os seus próprios produtos ou participar no treino de grandes modelos nas suas regiões é na sua maioria dialética. Portanto, o poder de computação descentralizado pode satisfazer diferentes necessidades comerciais. Esta tendência de desenvolvimento é bem-vinda e, com a atualização da tecnologia e a iteração dos algoritmos, haverá inevitavelmente avanços em áreas-chave.
• Não tenha medo, apenas descubra lentamente.
Referência
https://www.semianalysis.com/p/gpt-4-architecture-infrastructure
https://medium.com/render-token/render-network-q2-highlights-part-2-network-statistics-ac5aa6bfa4e5
https://know.rendernetwork.com/
https://medium.com/livepeer-blog/uma-visão-geral-da-rede-livepeer-e-lpt-44985f9321ff
https://www.youtube.com/watch?v=FDA9wqZmsY8
https://mirror.xyz/1kx.eth/q0s9RCH43JCDq8Z2w2Zo6S5SYcFt9ZQaRITzR4G7a_k
https://mirror.xyz/gensyn.eth/_K2v2uuFZdNnsHxVL3Bjrs4GORu3COCMJZJi7_MxByo
https://docs.gensyn.ai/litepaper/#solution
https://a16zcrypto.com/posts/announcement/investing-in-gensyn/
https://www.pinecone.io/learn/chunking-strategies/
https://akash.network/blog/o-rapido-evoluir-da-paisagem-de-ia/
https://aws.amazon.com/cn/blogs/compute/amazon-ec2-p4d-instances-deep-dive/
https://manual.edgematrix.pro/emc-network/o-que-e-emc-e-poc
Desde o lançamento de “Avatar” em 2009, lançou a primeira batalha de filmes 3D com imagens reais sem precedentes. Como grande contribuinte por trás disso, a Weta Digital contribuiu para os efeitos visuais de renderização de todo o filme. Em sua fazenda de servidores de 10.000 pés quadrados na Nova Zelândia, seu cluster de computadores processava até 1,4 milhão de tarefas por dia e processava 8GB de dados por segundo. Mesmo assim, continuou a funcionar por mais de um mês antes que todas as renderizações fossem concluídas. Trabalho.
Com a implantação em larga escala de máquinas e investimento de custos, “Avatar” alcançou realizações excepcionais na história do cinema.
Em 3 de janeiro do mesmo ano, Satoshi Nakamoto minerou o bloco gênese do Bitcoin em um pequeno servidor em Helsínquia, Finlândia, e recebeu uma recompensa de bloco de 50 BTC. Desde o primeiro dia da criptomoeda, o poder de computação tem desempenhado um papel muito importante na indústria.
A cadeia mais longa não só serve como prova da sequência de eventos testemunhados, mas também como prova de que veio do maior pool de poder de CPU.
—— Livro branco do Bitcoin
No contexto do mecanismo de consenso PoW, a contribuição do poder de computação garante a segurança da cadeia. Ao mesmo tempo, o hashrate continuamente crescente também pode comprovar o investimento contínuo dos mineiros em poder de computação e expectativas de rendimento positivas. A demanda real da indústria por poder de computação também promoveu grandemente o desenvolvimento de fabricantes de chips. Os chips das máquinas de mineração passaram por estágios de desenvolvimento como CPU, GPU, FPGA e ASIC. Atualmente, as máquinas de mineração de Bitcoin são geralmente baseadas em tecnologia ASIC (Circuito Integrado Específico de Aplicação) que pode executar eficientemente algoritmos específicos, como SHA-256. Os enormes benefícios econômicos trazidos pelo Bitcoin também impulsionaram a demanda por poder de computação na mineração relacionada. No entanto, equipamentos excessivamente especializados e efeitos de cluster causaram um efeito sifão entre seus próprios participantes, sejam mineiros ou fabricantes de máquinas de mineração. Todos mostram uma tendência de desenvolvimento concentrado intensivo em capital.
Com o advento dos contratos inteligentes da Ethereum, a sua programabilidade, composabilidade e outras características formaram uma ampla gama de aplicações, especialmente no campo DeFi, o que fez o preço do ETH subir constantemente, enquanto ainda está no consenso PoW. A dificuldade de mineração da Ethereum neste estágio também tem aumentado. Os requisitos de poder de computação dos mineradores para as máquinas de mineração da Ethereum também estão aumentando dia após dia. No entanto, ao contrário do Bitcoin, que utiliza chips ASIC, a Ethereum precisa de uma unidade de processamento gráfico (GPU) para cálculos de mineração, como a série Nvidia RTX. Dessa forma, é mais adequada para hardware de computação geral participar. Isso até mesmo desencadeou a competição de mercado por GPUs, o que causou a falta de placas gráficas de alta qualidade no mercado.
Quando chegou o dia 30 de novembro de 2022, o ChatGPT desenvolvido pela OpenAI também demonstrou a significância revolucionária no campo da IA. Os utilizadores maravilharam-se com a nova experiência trazida pelo ChatGPT, que pode completar várias tarefas propostas pelo utilizador com base no contexto, tal como uma pessoa real. Na nova versão lançada em setembro deste ano, a IA generativa que adiciona funcionalidades multimodais, como voz e imagens, levou a experiência do utilizador a um patamar mais recente.
Mas, correspondendo, o GPT4 tem mais de um trilhão de parâmetros envolvidos no pré-treinamento do modelo e subsequente ajuste fino. Estas são as duas partes com a maior demanda de poder de computação no campo da IA. Na fase de pré-treinamento, uma grande quantidade de texto é estudada para dominar padrões de linguagem, gramática e contexto associado. Isso permite que ele entenda padrões de linguagem para gerar texto coerente e contextual com base na entrada. Após o pré-treinamento, o GPT4 é ajustado finamente para se adaptar melhor a tipos específicos de conteúdo ou estilos e melhorar o desempenho e a especialização em cenários de demanda específicos.
Uma vez que a arquitetura Transformer adotada pelo GPT introduz o mecanismo de autoatenção, este mecanismo permite ao modelo prestar atenção simultaneamente na relação entre diferentes partes da sequência ao processar a sequência de entrada. Portanto, a demanda por poder de computação aumentou acentuadamente. Especialmente ao processar sequências longas, é necessária uma grande quantidade de computação paralela e armazenamento de um grande número de pontuações de atenção, o que também requer uma grande quantidade de memória e capacidades de transmissão de dados em alta velocidade. O LLM mainstream atual com a mesma arquitetura tem uma enorme demanda por GPUs de alto desempenho, o que também mostra que o custo de investimento no campo dos grandes modelos de IA é enorme. De acordo com estimativas relevantes da SemiAnalysis, o custo de treinar um modelo GPT4 é tão alto quanto $63 milhões. Para alcançar uma boa experiência interativa, o GPT4 também precisa investir uma grande quantidade de poder de computação nas operações diárias para manter suas operações diárias.
Aqui precisamos de entender os principais tipos de hardware de poder de computação atuais. Que cenários de demanda de poder de computação podem ser tratados pela CPU, GPU, FPGA e ASIC, respetivamente.
• A partir do diagrama arquitetônico da CPU e da GPU, a GPU contém mais núcleos, o que permite à GPU processar múltiplas tarefas de computação ao mesmo tempo. A computação paralela tem capacidades de processamento mais fortes e é adequada para processar um grande número de tarefas de computação, por isso nos campos do aprendizado de máquina e do aprendizado profundo tem sido amplamente utilizada. A CPU tem um número menor de núcleos e é adequada para processar um cálculo complexo único ou uma tarefa de sequência de forma mais intensiva, mas não é tão eficiente quanto a GPU ao processar tarefas de computação paralela. Em tarefas de renderização e tarefas de computação de redes neurais, um grande número de cálculos repetidos e cálculos paralelos geralmente precisam ser processados, portanto a GPU é mais eficiente e adequada do que a CPU nesse aspecto.
• FPGA (Field Programmable Gate Array) é um circuito semi-personalizado no campo do circuito integrado específico de aplicação (ASIC). Um conjunto composto por um grande número de pequenas unidades de processamento, FPGA pode ser entendido como um chip integrado de circuito lógico digital programável. A aplicação atual foca principalmente na aceleração de hardware, e outras tarefas ainda são concluídas na CPU, permitindo que o FPGA e a CPU trabalhem juntos.
• ASIC (Application Specific Integrated Circuit) refere-se a um circuito integrado projetado para atender a requisitos específicos do usuário e às necessidades de sistemas eletrônicos específicos. Comparado com circuitos integrados de uso geral, o ASIC tem as vantagens de tamanho menor, menor consumo de energia, maior confiabilidade, melhor desempenho, confidencialidade aprimorada e custo reduzido durante a produção em massa. Portanto, no cenário inerente à mineração de Bitcoin, que só precisa realizar tarefas de computação específicas, o ASIC é o mais adequado. O Google também lançou uma TPU (Tensor Processing Unit) especialmente projetada para aprendizado de máquina como um tipo de ASIC, mas atualmente ela fornece principalmente serviços de aluguel de poder de computação por meio do Google Cloud.
• ASIC comparado com FPGA, ASIC é um circuito integrado específico de aplicação e o circuito integrado é fixo uma vez que o design é concluído. FPGA integra um grande número de portões de circuitos digitais básicos e memórias na matriz. Os desenvolvedores podem definir o circuito programando a configuração do FPGA, e essa programação é substituível. No entanto, dada a velocidade de atualização atual no campo da IA, chips personalizados ou semi-personalizados não podem ser ajustados e reconfigurados a tempo para executar tarefas diferentes ou se adaptar a novos algoritmos. Portanto, a adaptabilidade e flexibilidade gerais da GPU fazem com que ela brilhe no campo da IA. Os principais fabricantes de GPU também fizeram otimizações relevantes para a adaptação das GPUs no campo da IA. Tomando a Nvidia como exemplo, ela lançou as GPUs da série Tesla e a arquitetura Ampere projetadas especificamente para deep learning. Esses hardwares contêm unidades de hardware (Núcleos Tensor) otimizadas para cálculos de aprendizado de máquina e deep learning, o que permite que a GPU funcione de forma mais eficiente e com baixo consumo de energia para realizar a propagação para frente e para trás de redes neurais. Além disso, uma ampla gama de ferramentas e bibliotecas são fornecidas para apoiar o desenvolvimento de IA, como CUDA (Arquitetura de Dispositivo Unificado de Cálculo) para ajudar os desenvolvedores a usar GPUs para computação paralela de propósito geral.
O poder de computação descentralizado refere-se ao método de fornecer energia de processamento através de recursos de computação distribuídos. Esta abordagem descentralizada é geralmente combinada com a tecnologia blockchain ou tecnologia semelhante de livro-razão distribuído para agrupar recursos de computação inativos e distribuí-los aos utilizadores necessitados para alcançar partilha de recursos, transações e gestão.
• Forte demanda de hardware de computação. A prosperidade da economia criadora trouxe o processamento de mídia digital para uma era de criação universal. A demanda por renderização de efeitos visuais aumentou, e estúdios especializados em terceirização de renderização, plataformas de renderização em nuvem e outras formas surgiram. No entanto, esta abordagem também Você precisa investir muito dinheiro você mesmo na aquisição antecipada de hardware de poder de computação.
• O hardware de poder de computação provém de uma única fonte. O desenvolvimento do campo da IA intensificou a demanda por hardware de computação. As principais empresas de fabricação de GPU do mundo, lideradas pela Nvidia, fizeram muito dinheiro nesta competição de poder de computação de IA. Sua capacidade de fornecimento até se tornou um fator-chave que pode restringir o desenvolvimento de uma determinada indústria. O valor de mercado da Nvidia também ultrapassou pela primeira vez um trilhão de dólares americanos este ano.
• A provisão de poder de computação ainda depende principalmente de plataformas de nuvem centralizadas. O que realmente está a beneficiar com o aumento da procura por computação de alta performance são os fornecedores de nuvem centralizados representados pela AWS. Eles lançaram serviços de computação em nuvem com GPU. Tomando o atual AWS p4d.24xlarge como exemplo, alugar um servidor HPC especializado em ML, contendo oito GPUs Nvidia A100 40GB, custa US$32.8 por hora, e a sua margem de lucro bruto é estimada em 61%. Isso também fez com que outros gigantes da nuvem se apressassem em participar e acumular hardware para obter o máximo de vantagem possível nas fases iniciais do desenvolvimento da indústria.
• A intervenção política, humana e outros fatores levam a um desenvolvimento desigual da indústria. Desiquilíbrio Não é difícil ver que a propriedade e concentração de GPUs estão mais inclinadas para organizações e países com fundos e tecnologia abundantes, e dependem de clusters de computação de alto desempenho. Isso fez com que os poderes de fabricação de chips e semicondutores representados pelos Estados Unidos também implementassem restrições mais rigorosas na exportação de chips de IA para enfraquecer as capacidades de pesquisa de outros países no campo da inteligência artificial geral.
• A alocação de recursos de poder de computação é demasiado concentrada. A iniciativa de desenvolvimento no campo da IA está nas mãos de algumas empresas gigantes. Atualmente, os gigantes representados pela OpenAI têm a bênção da Microsoft, e atrás deles estão os ricos recursos de computação fornecidos pela Microsoft Azure. Isso faz com que a OpenAI a cada lançamento de novos produtos seja um remodelar e integração da indústria de IA atual, tornando difícil para outras equipas acompanharem no campo de grandes modelos.
Assim, perante os elevados custos de hardware, restrições geográficas e desenvolvimento industrial desigual, existem outras soluções?
A plataforma de poder de computação descentralizada surgiu conforme as exigências do tempo. O objetivo da plataforma é criar um mercado aberto, transparente e autoregulador para utilizar de forma mais eficaz os recursos de computação globais.
Os preços elevados atuais do hardware e o controlo artificial do lado da oferta têm proporcionado o terreno para a construção de redes de poder de computação descentralizadas.
• Do ponto de vista da composição do poder de computação descentralizado, vários fornecedores de poder de computação vão desde PCs pessoais até pequenos Equipamentos de Internet das Coisas tão grandes como centros de dados, IDCs, etc., e o poder de computação acumulado pode fornecer soluções de computação mais flexíveis e escaláveis, ajudando assim mais desenvolvedores de IA e organizações a fazerem um uso mais eficaz de recursos limitados. O compartilhamento de poder de computação descentralizado pode ser alcançado através do poder de computação ocioso de indivíduos ou organizações. No entanto, a disponibilidade e estabilidade desse poder de computação estão sujeitas às restrições de uso dos utilizadores ou ao limite superior de partilha.
• Uma possível fonte potencial de poder de computação de alta qualidade é o poder de computação fornecido diretamente pela transformação das minas relevantes após o Ethereum ser convertido em PoS. Recursos humanos. Tome Coreweave, o principal fornecedor integrado de poder de computação de GPU nos Estados Unidos, como exemplo. Anteriormente, era a maior fazenda de mineração de Ethereum na América do Norte e é baseada em uma infraestrutura completa que foi construída. Além disso, as máquinas de mineração de Ethereum aposentadas também contêm um grande número de GPUs inativas. Estima-se que havia cerca de 27 milhões de GPUs trabalhando online no auge da era de mineração de Ethereum. Revitalizar essas GPUs também pode se tornar uma parte importante da rede descentralizada de poder de computação, fonte de poder de computação.
• Do ponto de vista da implementação técnica, os recursos de computação descentralizada são utilizados na renderização de gráficos e na transcodificação de vídeo. Tais cálculos são complexos. Para tarefas de baixo nível, o sistema econômico que combina tecnologia blockchain e web3 pode trazer incentivos de renda tangíveis aos participantes da rede e acumular modelos de negócios eficazes e grupos de clientes, garantindo a transmissão segura de dados de informação. O campo da IA envolve uma grande quantidade de computação paralela, comunicação e sincronização entre nós, e tem requisitos muito elevados no ambiente de rede e em outros aspectos. Portanto, as aplicações atuais também estão focadas em ajustes finos, inferência, AIGC e outras camadas de aplicação mais.
• Do ponto de vista da lógica empresarial, um mercado que simplesmente compra e vende poder de computação carece de imaginação, e a indústria apenas consegue lidar com a cadeia de fornecimento e preços. Estratégias, mas estas são precisamente as vantagens dos serviços de nuvem centralizados. Portanto, o teto de mercado é baixo e não há espaço para mais imaginação, por isso também podemos ver que as redes que originalmente se dedicavam a renderização de gráficos simples estão a procurar a transformação para a IA. Por exemplo, a Render Network e o 1.º trimestre de 2023 lançaram também um conjunto de ferramentas nativas integradas de IA de Estabilidade, que os utilizadores podem Esta função introduz operações de Difusão Estável, e o negócio já não se limita a operações de renderização mas expande-se para o campo da IA.
• Do ponto de vista dos principais grupos de clientes, é óbvio que os grandes clientes do lado B preferirão serviços de nuvem integrados centralizados. Eles geralmente com orçamentos suficientes, eles geralmente estão envolvidos no desenvolvimento de grandes modelos subjacentes e exigem uma forma mais eficiente de agregação de poder de computação; Portanto, o poder de computação descentralizada serve mais equipes de desenvolvimento ou indivíduos de pequeno e médio porte, e está principalmente envolvido no ajuste fino do modelo. Ou desenvolvimento de camada de aplicação, que não tem altos requisitos sobre a forma de poder de computação fornecido. Eles são mais sensíveis ao preço. O poder de computação descentralizada pode reduzir fundamentalmente o investimento de custo inicial, de modo que o custo geral de uso também é menor. Com base no custo previamente calculado pela Gensyn, o poder de computação é convertido no valor equivalente fornecido pela V100. Poder de computação, o preço do Gensyn é de apenas US$ 0,4 por hora, o que é 80% menor do que o poder de computação equivalente da AWS, de US$ 2 por hora. Embora essa parte do negócio não seja responsável pela maioria dos gastos na indústria atual, à medida que os cenários de uso de aplicativos de IA continuam a se expandir, o tamanho futuro do mercado não pode ser subestimado.
• Do ponto de vista dos serviços fornecidos, pode-se encontrar que o projeto atual se assemelha mais ao conceito de uma plataforma de nuvem descentralizada, fornecendo um conjunto completo de gestão desde o desenvolvimento, implementação, online, distribuição e transação. A vantagem disto é atrair os desenvolvedores, que podem utilizar componentes de ferramentas relevantes para simplificar o desenvolvimento e implementação e melhorar a eficiência; ao mesmo tempo, pode atrair os usuários para utilizar estes produtos de aplicação completos na plataforma, formando um fosso ecológico baseado na sua própria rede de poder de computação. Mas isto também coloca requisitos mais elevados para as operações do projeto. Como atrair excelentes desenvolvedores e usuários e alcançar a retenção é especialmente importante.
Render Network Uma plataforma global de renderização baseada em blockchain, cujo objetivo é ajudar os criadores com criatividade digital. Permite aos criadores estender o trabalho de renderização da GPU para nós de GPU globais sob demanda, fornecendo uma capacidade de renderização mais rápida e mais barata. Após o criador confirmar os resultados de renderização, a rede blockchain envia o código para o nó. Recompensas em moeda. Comparado com os métodos tradicionais de implementação de efeitos visuais, estabelecer infraestrutura de renderização local ou adicionar despesas de GPU correspondentes aos serviços de nuvem comprados requer um alto investimento inicial.
Desde a sua fundação em 2017, os utilizadores da Rede Render renderizaram mais de 16 milhões de frames e quase 500.000 cenas na rede. Os dados divulgados pela Rede Render do segundo trimestre de 2023 também mostram que tanto o número de trabalhos de frames de renderização como o número de nós ativos estão a aumentar. Além disso, a Rede Render e o primeiro trimestre de 2023 também lançaram um conjunto de ferramentas de IA de Estabilidade integrado nativamente. Os utilizadores podem utilizar esta função para introduzir operações de Difusão Estável, e o negócio já não se limita às operações de renderização e expande-se para o campo da IA.
A Livepeer fornece serviços de transcodificação de vídeo em tempo real para criadores através de participantes da rede que contribuem com sua própria potência de computação em GPU e largura de banda. Os emissores podem concluir a transcodificação de vários tipos de vídeos enviando vídeos para o Livepeer e distribuí-los para vários utilizadores finais, realizando assim a disseminação de conteúdo de vídeo. Ao mesmo tempo, é possível pagar facilmente em moeda legal para obter serviços como transcodificação de vídeo, transmissão e armazenamento.
Na rede Livepeer, qualquer pessoa pode contribuir com recursos informáticos pessoais (CPU, GPU e largura de banda) para transcodificar e distribuir vídeos para ganhar taxas. O token nativo (LPT) representa os direitos e interesses dos participantes da rede na rede. O número de tokens prometidos determina o peso do nó na rede, afetando assim suas chances de obter tarefas de transcodificação. Ao mesmo tempo, o LPT também desempenha um papel orientador para os nós completarem tarefas atribuídas de forma segura, confiável e rápida.
No ecossistema atual no campo da IA, os principais intervenientes podem ser aproximadamente divididos em:
Começando pelo lado da procura, existem diferenças óbvias nas exigências de poder de computação em diferentes fases da indústria. Tomando o desenvolvimento do modelo subjacente como exemplo, o processo de pré-treino requer uma computação paralela, armazenamento, comunicação, etc., muito elevados para garantir a eficácia dos resultados do treino. Isto requer um grande cluster de poder de computação para completar tarefas relacionadas. Atualmente, o principal fornecimento de poder de computação depende principalmente de salas de computadores autoconstruídas e plataformas de serviços em nuvem centralizadas. Nas fases subsequentes de afinação do modelo, raciocínio em tempo real e desenvolvimento de aplicações, os requisitos para computação paralela e comunicação entre nós não são tão elevados. É exatamente aí que o poder de computação descentralizado pode mostrar todo o seu potencial.
Olhando para os projetos que ganharam considerável popularidade antes, a Akash Nework fez algumas tentativas na direção do poder de computação descentralizado:
A Akash Network combina diferentes componentes tecnológicos para permitir aos utilizadores implementar e gerir aplicações de forma eficiente e flexível num ambiente de nuvem descentralizado. Os usuários podem usar a tecnologia de contêiner do Docker para empacotar aplicativos e, em seguida, implantá-los e dimensioná-los através do Kubernetes por meio do CloudMOS nos recursos de nuvem fornecidos pelo Akash. O Akash usa uma abordagem de "leilão reverso", o que torna o preço mais baixo do que os serviços de nuvem tradicionais.
A Akash Network também anunciou em agosto deste ano que iria lançar a sexta atualização da sua rede principal, incorporando suporte para GPUs nos seus serviços de nuvem e fornecendo poder de computação a mais equipas de IA no futuro.
Gensyn.ai, um projeto que atraiu muita atenção na indústria este ano, foi liderado pela a16z e completou uma financiamento da Série A de US$43 milhões. A julgar pelos documentos divulgados até agora, o projeto é uma rede principal baseada no protocolo L1 PoS da rede Polkadot, focando em aprendizagem profunda. O objetivo é empurrar os limites da aprendizagem de máquinas ao criar uma rede global de cluster de supercomputação. Esta rede conecta dispositivos que vão desde data centers com excesso de poder de computação a PCs que podem potencialmente contribuir com GPUs pessoais, ASICs personalizados e SoCs.
Para resolver alguns dos problemas atualmente existentes no poder de computação descentralizado, a Gensyn baseia-se em alguns novos resultados de pesquisa teórica na academia:
Adote a prova de aprendizagem probabilística, ou seja, use metadados do processo de otimização baseado em gradientes para construir provas da execução da tarefa relevante para acelerar o processo de verificação;
O Protocolo de Pontuação Baseado em Gráficos, GPP, funciona como uma ponte, ligando a execução offline de DNN (Rede Neural Profunda) e o quadro de contratos inteligentes na blockchain, resolvendo as inconsistências que ocorrem facilmente entre dispositivos de hardware e garantindo a consistência da verificação.
Um método de incentivo semelhante ao Truebit, através de uma combinação de staking e punição, estabelece um sistema de incentivos que permite aos participantes economicamente racionais realizar honestamente as tarefas atribuídas. O mecanismo utiliza criptografia e métodos de teoria dos jogos. Este sistema de verificação é essencial para manter a integridade e confiabilidade de cálculos de treino de modelos grandes.
No entanto, vale ressaltar que o conteúdo acima diz respeito mais à resolução do nível de verificação de conclusão da tarefa, em vez do poder de computação descentralizado para alcançar funções de treinamento do modelo como destaque principal no documento do projeto, especialmente sobre computação paralela e otimização distribuída da comunicação, sincronização e outros problemas entre hardware. Atualmente, afetada pela latência de rede (Latência) e largura de banda (Bandwidth), a comunicação frequente entre nós aumentará o tempo de iteração e os custos de comunicação. Isso não apenas não trará otimização real, mas também reduzirá a eficiência do treinamento. A abordagem da Gensyn para lidar com a comunicação de nós e a computação paralela no treinamento do modelo pode envolver protocolos de coordenação complexos para gerenciar a natureza distribuída da computação. No entanto, sem informações técnicas mais detalhadas ou uma compreensão mais profunda de seus métodos específicos, o mecanismo exato pelo qual a Gensyn alcança o treinamento de modelos em grande escala por meio de sua rede não será verdadeiramente revelado até que o projeto entre online.
Também prestamos atenção ao protocolo Edge Matrix Computing (EMC), que utiliza tecnologia blockchain para aplicar poder de computação à IA, renderização e pesquisa científica, acesso de comércio eletrônico de IA e outros tipos de cenários, tarefas são distribuídas para diferentes nós de poder de computação por meio de computação elástica. Este método não só melhora a eficiência do poder de computação, mas também garante a segurança da transmissão de dados. Ao mesmo tempo, ele fornece um mercado de poder de computação onde os usuários podem acessar e trocar recursos de computação. É conveniente para os desenvolvedores implantar e alcançar os usuários mais rapidamente. Combinado com a forma econômica do Web3, os provedores de poder de computação também podem obter benefícios reais e subsídios de protocolo com base no uso real dos usuários, e os desenvolvedores de IA também podem obter custos de raciocínio e renderização mais baixos. Abaixo está uma visão geral de seus principais componentes e funções:
Também se espera que sejam lançados produtos RWA baseados em GPU. A chave para isso é revitalizar o hardware que estava originalmente fixo na sala de computadores e dividi-lo e circulá-lo na forma de RWA para obter liquidez adicional. Uma GPU de alta qualidade pode ser usada como ativo subjacente de RWA. A razão é que o poder de computação pode ser considerado como moeda forte no campo da IA. Atualmente, existe uma contradição óbvia entre oferta e demanda, e essa contradição não pode ser resolvida a curto prazo, por isso o preço da GPU é relativamente estável.
Além disso, a implementação de clusters de poder de computação através da implementação de salas de computadores IDC também é uma parte fundamental do protocolo EMC. Isso não apenas permite que as GPUs operem em um ambiente unificado, mas também lida de forma mais eficiente com tarefas relacionadas de grande escala que consomem poder de computação, como pré-treinamento de modelos. Isso satisfaz as necessidades dos usuários profissionais. Ao mesmo tempo, a sala de computadores IDC também pode hospedar e executar centralmente um grande número de GPUs para garantir as especificações técnicas do mesmo tipo de hardware de alta qualidade, facilitando sua embalagem no mercado como produtos RWA e abrindo novas ideias para DeFi.
Nos últimos anos, a comunidade académica também desenvolveu novas teorias técnicas e práticas de aplicação no campo da computação de ponta. Como um complemento e otimização da computação em nuvem, a computação de ponta é uma parte da inteligência artificial que está a acelerar da nuvem para a ponta e para dispositivos IoT cada vez menores. Estes dispositivos IoT são frequentemente pequenos em tamanho, por isso a aprendizagem automática leve é preferida para lidar com questões como o consumo de energia, latência e precisão.
A Network3 é construída através da implementação de uma camada de IA dedicada Layer2 para fornecer aos desenvolvedores de IA de todo o mundo a otimização e compressão de algoritmos de modelos de IA, aprendizagem federada, computação de ponta e computação de privacidade. Fornecer serviços para ajudá-los a treinar ou verificar modelos de forma rápida, conveniente e eficiente. Ao utilizar um grande número de dispositivos de hardware IoT inteligentes, pode-se focar em pequenos modelos para fornecer o poder de computação correspondente, e através da implementação de um TEE (Ambiente de Execução Confiável), os utilizadores podem completar o treino relevante apenas carregando gradientes de modelo para garantir a privacidade e segurança dos dados relacionados com o utilizador.
• Com o desenvolvimento da IA e de outros campos, muitas indústrias passarão por grandes mudanças na sua lógica subjacente, o poder de computação subirá para uma posição mais importante e vários aspetos relacionados com ele também causarão uma exploração extensiva na indústria. As redes de poder de computação descentralizadas têm as suas próprias vantagens, podem reduzir o risco de centralização e também podem servir como complemento ao poder de computação centralizado.
• E as equipas no campo da IA também estão num impasse. A escolha de usar modelos grandes treinados para construir os seus próprios produtos ou participar no treino de grandes modelos nas suas regiões é na sua maioria dialética. Portanto, o poder de computação descentralizado pode satisfazer diferentes necessidades comerciais. Esta tendência de desenvolvimento é bem-vinda e, com a atualização da tecnologia e a iteração dos algoritmos, haverá inevitavelmente avanços em áreas-chave.
• Não tenha medo, apenas descubra lentamente.
Referência
https://www.semianalysis.com/p/gpt-4-architecture-infrastructure
https://medium.com/render-token/render-network-q2-highlights-part-2-network-statistics-ac5aa6bfa4e5
https://know.rendernetwork.com/
https://medium.com/livepeer-blog/uma-visão-geral-da-rede-livepeer-e-lpt-44985f9321ff
https://www.youtube.com/watch?v=FDA9wqZmsY8
https://mirror.xyz/1kx.eth/q0s9RCH43JCDq8Z2w2Zo6S5SYcFt9ZQaRITzR4G7a_k
https://mirror.xyz/gensyn.eth/_K2v2uuFZdNnsHxVL3Bjrs4GORu3COCMJZJi7_MxByo
https://docs.gensyn.ai/litepaper/#solution
https://a16zcrypto.com/posts/announcement/investing-in-gensyn/
https://www.pinecone.io/learn/chunking-strategies/
https://akash.network/blog/o-rapido-evoluir-da-paisagem-de-ia/
https://aws.amazon.com/cn/blogs/compute/amazon-ec2-p4d-instances-deep-dive/
https://manual.edgematrix.pro/emc-network/o-que-e-emc-e-poc