Startup Etched revela chip até 20x mais rápido para modelos de IA
Por Vinícius Moschen • Editado por Claudio Yuge |
A Etched, uma startup dos Estados Unidos com foco na criação de componentes voltados para inteligência artificial (IA), apresentou recentemente um novo chip voltado especificamente para um modelo de IA. Na prática, isso significa que é possível obter muito mais performance na realização de tarefas como a geração de textos, especialmente em comparação com as GPUs.
Chamado de Sohu, o ASIC (Circuito Integrado de Aplicação Específica, da sigla em inglês) é feito para atuar com os chamados transformadores — que são a letra “T” do Chat GPT. De forma resumida, eles servem para transformar uma sequência de entrada em uma sequência de saída, ao aprender o contexto e rastrear relações entre os componentes da sequência.
A definição pode parecer complexa, mas os resultados são relativamente simples. Basta imaginar que um transformador usa modelos matemáticos para, por exemplo, identificar as relações entre as palavras “computador” e “internet” — a sequência de saída poderá ser uma geração de texto com a frase “o computador é utilizado para acessar a internet”.
Por ser um chip completamente dedicado aos transformadores, o Sohu foi capaz de entregar 20 vezes mais performance quando utilizado para rodar o modelo de linguagem Llama 70b, da Meta. A comparação foi feita contra plataformas de IA da Nvidia, como a H100 e B200.
De acordo com números divulgados pela Etched, o Sohu pode ingerir milhares de palavras em milissegundos, o que é útil para aplicações profissionais de alta demanda, incluindo respostas em tempo real por meio de um "diálogo" mais fluido.
Também é possível realizar tarefas de programação com mais diversidade de respostas, por meio de ferramentas de seleção de texto em “árvore”. Desta forma, há como escolher os próximos blocos de códigos em paralelo, montando uma estrutura complexa em poucos cliques.
De acordo com o CEO da Etched, Gavin Uberti, a proposta da startup é arriscada, mas tende a gerar grandes frutos: “Essa companhia é uma espécie de aposta. Se os transformadores desaparecerem, nossa empresa morrerá. Mas se eles permanecerem, seremos uma das maiores empresas de todos os tempos”.
Para realizar a fabricação dos chips, a Etched já firmou uma parceria com a TSMC, mesma empresa que já faz cerca de 90% dos componentes de alta performance do planeta, com distribuição para marcas como a Apple e a Nvidia.
Fonte: Reuters