Os modelos de linguagem ampla (LLMs) são modelos de aprendizado de máquina que podem compreender e gerar textos em linguagem humana. Eles funcionam analisando enormes conjuntos de dados de linguagem.
Após ler este artigo, você será capaz de:
Conteúdo relacionado
O que é inteligência artificial (IA)?
O que é IA generativa?
O que é aprendizado de máquina?
IA preditiva
O que é IA agêntica?
Assine o theNET, uma recapitulação mensal feita pela Cloudflare dos insights mais populares da internet.
Copiar o link do artigo
Um modelo de linguagem grande (LLM) é um tipo de programa de inteligência artificial (IA) que pode reconhecer e gerar texto, entre outras tarefas. Os LLMs são treinados em enormes conjuntos de dados — daí o nome "grande". Os LLMs são baseados em aprendizado de máquina: especificamente, um tipo de rede neural chamada de modelo transformer.
Em termos mais simples, um LLM é um programa de computador que recebeu exemplos suficientes para poder reconhecer e interpretar a linguagem humana ou outros tipos de dados complexos. Muitos LLMs são treinados em dados coletados na internet, milhares ou milhões de gigabytes de texto. Alguns LLMs continuam a rastrear a web em busca de mais conteúdo após serem treinados inicialmente. Mas a qualidade das amostras afeta o nível de aprendizado de linguagem natural dos LLMs, de modo que os programadores de um LLM podem usar um conjunto de dados mais selecionado, pelo menos no início.
Os LLMs usam um tipo de aprendizado de máquina chamado aprendizado profundo para entender como os caracteres, palavras e frases funcionam juntos. O aprendizado profundo envolve a análise probabilística de dados não estruturados, o que acaba permitindo que o modelo de aprendizado profundo reconheça distinções entre partes do conteúdo sem intervenção humana.
LLMs são então ainda mais treinados por meio de ajustes: eles são ajustados finamente ou ajustados a partir de prompts para a tarefa específica que o programador deseja que eles realizem, como interpretar perguntas e gerar respostas, ou traduzir texto de um idioma para outro
Os LLMs podem ser treinados para realizar uma série de tarefas. Um dos usos mais conhecidos é sua aplicação como IA generativa: quando recebem um prompt ou alguém faz uma pergunta, conseguem produzir um texto em resposta. O LLM ChatGPT disponível publicamente, por exemplo, pode gerar artigos, poemas e outras formas de texto em resposta às inserções do usuário.
Qualquer conjunto de dados grande e complexo pode ser usado para treinar LLMs, inclusive linguagens de programação. Alguns LLMs podem ajudar os programadores a escrever códigos. Eles podem escrever funções mediante solicitação ou, se tiverem algum código como ponto de partida, podem terminar de escrever um programa. Os LLMs também podem ser usados em:
Exemplos de LLMs do mundo real incluem ChatGPT (da OpenAI), Bard (Google), Llama (Meta) e Bing Chat (Microsoft). O Copilot do GitHub é outro exemplo, mas para codificação em vez de linguagem humana natural.
Em um nível básico, os LLMs são desenvolvidos com aprendizado de máquina. O aprendizado de máquina é um subconjunto da IA e refere-se à prática de alimentar um programa com grandes quantidades de dados para treinar o programa a identificar recursos desses dados sem intervenção humana.
Os LLMs usam um tipo de aprendizado de máquina chamado aprendizado profundo. Os modelos de aprendizado profundo podem essencialmente se treinar para reconhecer distinções sem intervenção humana, embora seja necessário algum ajuste fino humano.
O aprendizado profundo usa a probabilidade para "aprender." Por exemplo, na frase "The quick brown fox jumped over the lazy dog (A rápida raposa marrom pulou sobre o cachorro preguiçoso)," as letras "e" e "o" são as mais comuns, aparecendo quatro vezes cada. A partir disso, um modelo de aprendizado profundo poderia concluir (corretamente) que esses caracteres estão entre os mais prováveis de aparecer em textos em inglês.
Na realidade, um modelo de aprendizado profundo não pode realmente concluir nada a partir de uma única frase. Mas depois de analisar trilhões de frases, ele poderia aprender o suficiente para prever como terminar logicamente uma frase incompleta ou até mesmo gerar suas próprias frases.
Para possibilitar esse tipo de aprendizado profundo, os LLMs são criados com base em redes neurais. Assim como o cérebro humano é formado por neurônios que se conectam e enviam sinais uns aos outros, uma rede neural artificial (geralmente abreviada como "rede neural") é formada por nós de rede que se conectam uns aos outros. Elas são compostos de várias "camadas": uma camada de entrada, uma camada de saída e uma ou mais camadas intermediárias. As camadas só transmitem informações umas às outras se suas próprias saídas ultrapassarem um determinado limite.
O tipo específico de redes neurais usadas para LLMs é chamado de modelos de transformadores. Os modelos de transformadores são capazes de aprender o contexto, o que é especialmente importante para a linguagem humana, que é altamente dependente do contexto. Os modelos de transformadores usam uma técnica matemática chamada autoatenção para detectar maneiras sutis de os elementos de uma sequência se relacionarem entre si. Isso faz com que eles entendam melhor o contexto do que outros tipos de aprendizado de máquina. Isso permite que eles entendam, por exemplo, como o final de uma frase se conecta ao início e como as frases em um parágrafo se relacionam entre si.
Isso permite que os LLMs interpretem a linguagem humana, mesmo quando essa linguagem é vaga ou mal definida, organizada em combinações nunca antes encontradas ou contextualizada de novas maneiras. Em algum nível, eles "entendem a" semântica, pois podem associar palavras e conceitos por seu significado, tendo-os visto agrupados dessa forma milhões ou bilhões de vezes.
Uma característica fundamental dos LLMs é sua capacidade de responder a consultas imprevisíveis. Um programa de computador tradicional recebe comandos em sua sintaxe aceita ou a partir de um determinado conjunto de entradas do usuário. Um videogame tem um conjunto finito de botões, um aplicativo tem um conjunto finito de coisas que um usuário pode clicar ou digitar e uma linguagem de programação é composta de instruções precisas do tipo se/então.
Por outro lado, um LLM pode responder à linguagem humana natural e usar a análise de dados para responder a uma pergunta ou solicitação não estruturada de uma forma que faça sentido. Enquanto um programa de computador comum não reconheceria um prompt como "Quais são as quatro maiores bandas de funk da história?", um LLM poderia responder com uma lista de quatro dessas bandas e uma defesa razoavelmente convincente do motivo pelo qual elas são as melhores.
No entanto, em termos das informações que fornecem, os LLMs só podem ser tão confiáveis quanto os dados que eles recebem. Se receberem informações falsas, eles fornecerão informações falsas em resposta às consultas do usuário. Às vezes, os LLMs também "alucinam": eles criam informações falsas quando não conseguem produzir uma resposta precisa. Por exemplo, em 2022, a agência de notícias Fast Company perguntou ao ChatGPT sobre o trimestre financeiro anterior da empresa Tesla. Embora o ChatGPT tenha fornecido um artigo de notícias coerente em resposta, muitas das informações contidas nele foram inventadas.
Em termos de segurança, aplicativos voltados para o usuário baseados em LLMs são tão suscetíveis a falhas quanto qualquer outro aplicativo. Os LLMs também podem ser manipulados por entradas maliciosas para priorizar certos tipos de respostas em vez de outras, incluindo respostas perigosas ou antiéticas. Finalmente, um dos problemas de segurança dos LLMs é que os usuários podem carregar dados seguros e confidenciais neles para aumentar a própria produtividade. Os LLMs utilizam as entradas que recebem para aprimorar ainda mais seus modelos e não foram desenvolvidos para serem cofres seguros. Eles podem expor dados confidenciais em resposta a consultas de outros usuários. Saiba mais sobre as melhores maneiras de proteger LLMs.
Para criar aplicativos de LLM, os desenvolvedores precisam de acesso fácil a vários conjuntos de dados e precisam de locais para que esses conjuntos de dados sejam armazenados. Tanto o armazenamento em nuvem quanto o armazenamento no local para essas finalidades podem envolver investimentos em infraestrutura fora do alcance dos orçamentos dos desenvolvedores. Além disso, os conjuntos de dados de treinamento são normalmente armazenados em vários locais, mas mover esses dados para um local central pode resultar em taxas de saída enormes.
Felizmente, a Cloudflare oferece vários serviços para permitir que os desenvolvedores comecem a criar rapidamente aplicativos de LLM e outros tipos de IA. O Vectorize é um banco de dados vetorial distribuído globalmente para consulta de dados armazenados em armazenamento de objetos(R2) sem taxa de saída ou documentos armazenados no Workers Key Value. Combinado com a plataforma de desenvolvimento Cloudflare Workers AI, os desenvolvedores podem usar a Cloudflare para começar rapidamente a fazer experiências com seus próprios LLMs.
Um grande modelo de linguagem é um modelo de IA treinado em grandes conjuntos de dados para reconhecer, interpretar e gerar texto. Quando solicitados, grandes modelos de linguagem podem produzir texto ou blocos de código em segundos. Os usuários podem enviar prompts para grandes modelos de linguagem usando linguagem natural, em vez de através de uma interface de usuário predefinida ou por meio de linguagens de programação.
Os LLMs utilizam um processo chamado aprendizado profundo para analisar grandes volumes de dados não estruturados e aprender com eles. Eles são desenvolvidos com base em redes neurais artificiais, especificamente, em modelos transformer, que usam uma técnica chamada autoatenção, a qual permite que o modelo aprenda e entenda o contexto, o que é essencial para interpretar a linguagem humana.
Os LLMs podem ser treinados para muitas tarefas. Um dos usos mais populares é a IA generativa, na qual eles criam texto em resposta ao prompt de um usuário. Eles também são utilizados na análise de sentimentos, em chatbots de atendimento ao cliente, em pesquisas on-line e até mesmo para auxiliar programadores a escrever código.
Exemplos bem conhecidos incluem ChatGPT da OpenAI, Gemini do Google, Llama da Meta e Bing Chat da Microsoft. Na programação, o Copilot do GitHub é um exemplo notável.
Uma grande vantagem dos LLMs é sua capacidade de responder a consultas imprevisíveis e não estruturadas. Ao contrário de um programa de computador tradicional que requer comandos específicos, um LLM consegue entender e responder à linguagem humana natural, mesmo que a pergunta seja vaga ou formulada de uma forma que nunca tenha visto antes. Os usuários podem precisar refinar um pouco seus prompts para obter o resultado exato que desejam, mas mesmo prompts pouco claros geralmente resultam em respostas inteligíveis.
Os LLMs são tão confiáveis quanto os dados com os quais são treinados e podem fornecer informações falsas se alimentados com dados incorretos. Eles também são conhecidos por "ter alucinações" ou inventar informações. Do ponto de vista da segurança, eles podem ser manipulados com entradas maliciosas e não são projetados para serem cofres seguros. Isso significa que os usuários correm o risco de expor dados confidenciais por meio de suas entradas.