Plano B? Microsoft lança Phi-2, seu novo modelo próprio de IA
Por Guilherme Haas | Editado por Douglas Ciriaco | 13 de Dezembro de 2023 às 17h14
Ao mesmo tempo em que mantém um investimento multibilionário na OpenAI para ter acesso às tecnologias de inteligência artificial da dona do ChatGPT, a Microsoft desenvolve internamente as suas próprias soluções em IA. Nessa terça-feira (12), a Big Tech de Redmond anunciou uma nova versão do modelo de linguagem de pequena escala (SLM) chamado Phi, disponível para clientes do Azure AI Studio, e apresentou um comparativo de desempenho da ferramenta em relação aos concorrentes.
Os resultados do teste indicam que a companhia pode ter um modelo bastante eficiente, apesar de contar com uma quantidade menor de parâmetros do que os tradicionais modelos de linguagem de larga escala (LLMs) disponíveis no mercado. O Phi-2 superou a pontuação de versões do Llama 2 da Meta e da IA Mistral na execução de algumas tarefas em avaliações de benchmarks.
Phi-2: modelo de pequena escala
O Phi-2 é um modelo de associação preditiva de palavras para geração de conteúdo, treinado durante 14 dias em 1,4 trilhão de tokens através de um conjunto de dados sintéticos e da web para o processamento de linguagem natural e codificação, explica a MS.
O modelo foi desenvolvido pela equipe de pesquisa em modelos de fundação do departamento Microsoft Research e mais que dobra o número de parâmetros em relação à primeira versão do Phi: de 1,3 bilhão para 2,7 bilhões.
A quantidade de variáveis para determinar as respostas do Phi-2 ainda é significativamente menor do que as concorrentes — o GPT-3.5, por exemplo, conta com 175 bilhões de parâmetros, enquanto o Llama 2 varia entre modelos de 7 a 70 bilhões de parâmetros.
Ainda assim, os resultados divulgados pela Microsoft são impressionantes: segundo a companhia, "em benchmarks complexos, o Phi-2 corresponde ou supera modelos até 25x maiores, graças a inovações no dimensionamento do modelo e na curadoria de dados de treinamento."
Com uma escala menor, o Phi-2 se apresenta como uma solução mais barata do que os LLMs maiores pois exige menos poder computacional para operar, enquanto o treinamento com dados de melhor qualidade consegue garantir um desempenho similar aos outros modelos.
"Nossa mistura de dados de treinamento contém conjuntos de dados sintéticos criados especificamente para ensinar ao modelo raciocínio de bom senso e conhecimento geral, incluindo ciência, atividades diárias e teoria da mente, entre outros. Aumentamos ainda mais o treinamento com dados da web cuidadosamente selecionados, filtrados com base no valor educacional e na qualidade do conteúdo", informa o blog da Microsoft.
Comparação entre modelos
No anúncio do Phi-2, a Big Tech apresentou também um comparativo do desempenho do modelo em relação a outras IAs do mercado.
A análise relaciona a pontuação em benchmarks como Big Bench Hard (BBH) — que avalia os modelos em tarefas como geração de texto e conhecimentos gerais —, raciocínio de senso comum, compreensão de linguagem, matemática e codificação.
Na tabela que compara o Phi-2 com o Mistral e o Llama 2, é possível notar que a solução da Microsoft tem um desempenho bastaste superior ao Mistral (de 7 bilhões de parâmetros) e supera a versão do Llama 2 de 13 bilhões de parâmetros em todas as avaliações.
O Phi-2 também foi testado em comparação com o Gemini Nano 2, um dos novos modelos anunciados na semana passada pelo Google — com resultados igualmente superiores ao concorrente, apesar do menor tamanho.
O novo modelo de linguagem da Microsoft já está disponível para o público através do catálogo do Azure AI Studio.
Plano B?
O lançamento da nova versão do Phi ocorre cerca de um mês após o surpreendente episódio na OpenAI — com a demissão do CEO Sam Altman pelo conselho diretor e o subsequente retorno do executivo em menos de uma semana — que provocou uma inquietação na Microsoft.
Como investidora majoritária na companhia responsável pelo ChatGPT, a Big Tech de Redmond foi pega de surpresa com a turbulência daqueles dias de novembro. Na ocasião, o CEO Satya Nadella chegou a criticar o modelo de governança da OpenAI e a contratar Altman antes de ele ser readmitido no cargo.
Essa recente confusão com a empresa que fornece as principais soluções tecnológicas de IA para a Microsoft — com modelos que alimentam o Bing e o Copilot, por exemplo — pode ter reforçado a busca da dona do Windows por um plano de segurança.
Ainda que em escala muito menor, o Phi-2 pode representar uma alternativa para diversas aplicações em IA generativa e uma solução para a companhia caso a parceria com a OpenAI venha a chegar a um impasse no futuro.