Modelos de linguagem pequena (SLMs) são considerados a próxima grande novidade na IA

Embora essas grandes tecnologias e outras estejam investindo bilhões de dólares com foco no desenvolvimento de grandes LLMs para lidar com muitas tarefas diferentes, a realidade da IA ​​é que não existe um tamanho único, pois há necessidade de modelos de tarefas específicas para as empresas.

De acordo com Matt Garman, CEO da AWS, em um comunicado sobre a expansão de sua parceria e investimentos, já há uma resposta esmagadora dos clientes da AWS que estão desenvolvendo IA generativa alimentada pela Anthropic.

Os LLMs para a maioria das empresas ainda são a escolha número um para determinados projetos, mas para outros, esta escolha pode ser cara em termos de custo, energia e recursos computacionais.

Steven McMillan, dent e CEO da Teradata, que ofereceu um caminho alternativo para algumas empresas, também tem outras opiniões. Ele está certo de que o futuro está nos SLMs.

“Ao olharmos para o futuro, acreditamos que modelos de linguagem de pequeno e médio porte e ambientes controlados, como LLMs de domínio específico, fornecerão soluções muito melhores.”

~McMillan

Os SLMs produzem resultados personalizados em tipos específicos de dados, pois os modelos de linguagem são especificamente treinados para fazer isso. Como os dados gerados pelos SLMs são mantidos internamente, os modelos de linguagem são, portanto, treinados em dados potencialmente confidenciais.

Como os LLMs consomem energia, as versões em linguagem pequena são treinadas para dimensionar tanto a computação quanto o uso de energia de acordo com as necessidades reais do projeto. Com tais ajustes, significa que os SLMs são eficientes a um custo menor do que os grandes modelos atuais.

Para usuários que desejam usar IA para conhecimentos específicos, existe a opção de LLMs de domínio específico, pois não oferecem conhecimento amplo. Ele é treinado para compreender profundamente apenas uma categoria de informação e responder com mais precisão, por exemplo, um CMO versus um CFO, nesse domínio.

Por que os SLMs são uma opção preferida

De acordo com a Associação de Cientistas de Dados (ADaSci), o desenvolvimento completo de um SLM com 7 bilhões de parâmetros para um milhão de usuários exigiria apenas 55,1 MWh (Megawatt-hora).

ADaSci descobriu que o treinamento do GPT-3 com 175 bilhões de parâmetros consumiu cerca de 1.287 MWh de eletricidade e a energia não inclui quando entra oficialmente em uso pelo público. Portanto, um SLM utiliza cerca de 5% da energia consumida durante o treinamento de um LLM.

Modelos grandes geralmente são executados em computadores em nuvem porque usam mais poder de computação do que o disponível em um dispositivo individual. Isso resulta em complicações para as empresas, pois elas perdem o controle sobre suas informações à medida que elas são transferidas para a nuvem e respostas lentas à medida que viajam pela Internet.

No futuro, a adoção da IA ​​pelas empresas não será de tamanho único, pois a eficiência e a seleção da melhor e mais barata ferramenta para concluir tarefas estarão em foco, o que significa escolher o modelo do tamanho certo para cada projeto.

Isso será feito para todos os modelos, seja um LLM de uso geral ou LLMs menores e específicos de domínio, dependendo de qual modelo fornecerá melhores resultados, exigirá menos recursos e reduzirá a necessidade de migração de dados para a nuvem .

Para a próxima fase, a IA será vital para as decisões empresariais, uma vez que o público tem grande confiança nas respostas geradas pela IA.

“Quando você pensa em treinar modelos de IA, eles devem ser construídos com base em dados excelentes.”

~McMillan

“É disso que se trata, fornecer esse conjunto de dados confiável e, em seguida, fornecer os recursos e capacidades analíticas para que os clientes, e seus clientes, possam confiar nos resultados”, acrescentou McMillan.

Com eficiência e precisão em alta demanda no mundo, LLMs menores e específicos de domínio oferecem outra opção para fornecer resultados nos quais as empresas e o público em geral podem confiar.

Um sistema passo a passo para lançar sua carreira na Web3 e conseguir empregos criptográficos com altos salários em 90 dias.