No mês de junho, a Erathos participou de um evento de grande relevância, organizado pelo Google Developers Group em parceria com o Mindhub | Hub de Inovação e a Xperts Community. Houve diversas palestras relacionadas às tendências e inovações em IA, bem como diálogos sobre desafios e possíveis soluções. Neste artigo iremos nos aprofundar no tema da Inteligência Artificial Generativa na Prática, desenvolvido pelo Cientista de Dados do nosso time de Experts, Luca Nozzoli, em sua apresentação.
Em primeiro lugar, vamos entender o conceito de LLM
Utilizamos diversas ferramentas de IA como aliadas para a realização de tarefas e projetos no dia a dia, com destaque especial para os chatbots. Mas o que realmente está por trás do diálogo que temos com o computador?
A base do sistema de Inteligência Artificial são os LLMs (Large Language Models), que são treinados de forma intensa com milhões de parâmetros para que eles sejam capacitados para entender, resumir, gerar ou predizer conteúdos de texto. Alguns dos exemplos mais famosos por aí são o Chat GPT da OpenAI, o Gemini e o Palm desenvolvidos pela Google, o LLaMa da Metta e os modelos de Transformers da Hugging Face.
Como usamos uma LLM em projetos da vida real?
A aplicabilidade da Inteligência Artificial vai muito além de poder conversar com um chatbot e ser compreendido. Na realidade, atualmente encontramos LLMs sendo utilizadas em análises financeiras de grandes corporações em contextos como detecção de fraudes e encontramos elas também auxiliando times de marketing na geração de conteúdo. Outro grande exemplo desses sistemas atuando no dia a dia são os recomendadores presentes em aplicativos de entretenimento como Netflix e Spotify, bem como em aplicativos de e-commece de produtos como a Amazon, nesses casos o perfil individual do usuário é acompanhado de forma intensa para coletar informações para a construção de recomendações. Além disso, podemos utilizar uma LLM por meio da geração assistida, que consiste basicamente em fornecer materiais como PDFs para que o sistema te auxilie a realizar algo que exige conhecimento fora do que lhe foi concedido acesso.
Mas afinal, como escolhemos o modelo ideal para nosso problema?
Sabemos que pode ser confuso o processo de escolha entre essas soluções inovadoras, principalmente quanto ao que devemos considerar nesse caminho. Consolidamos algumas das principais decisões que devem ser tomadas para poder realizar essa seleção, acompanhe nos tópicos abaixo:
Funcionalidades
As LLMs são extremamente capacitadas para compreender textos, porém com os avanços de desenvolvimento, hoje elas compreendem e traduzem também imagens, vídeos e áudios para a elaboração de análises. É necessário entender o que o seu problema envolve e se ele implica em limitações na escolha do sistema.
Volume de Dados
Outro ponto crucial de atenção é relacionado à quantidade e tamanho das informações que terão que ser processadas pela LLM, considerando também a frequência de envio de dados.
Performance
Conectada à questão de funcionalidade, precisamos verificar, de acordo com benchmarks construídos por várias empresas no mercado, a precisão e a qualidade do que cada LLM executa e entrega e o quão significativo isso é para o seu problema.
Custo
Por último, mas claramente não menos importante, temos o custo como um dos principais fatores restritivos para a seleção de uma LLM. É preciso colocar os valores na balança e analisar qual deles se encaixa melhor na resolução do problema e para o momento do negócio.
Como medir o custo de uma LLM
Quando fornecemos alguma forma de conteúdo para uma LLM, para compreensão do que foi apresentado, ela “quebra” em pedaços de contexto, que chamamos de tokens. Essa separação em tokens de contexto acontece de forma diferente e de acordo com o algoritmo de cada solução. Nesse caso, é importante considerar que dependendo do número de tokens a serem processados, o custo pode variar.
Definição do melhor sistema na prática
Neste exemplo prático iremos nos basear nos 4 fatores de decisão apresentados anteriormente e iremos realizar uma comparação entre as diferentes versões da LLM do Gemini. Considere que você é um Cientista de Dados de uma empresa que possui vários manuais com diretrizes do negócio salvas em arquivos de texto de propriedade privada, não sendo abertos ao público. Nesse sentido, o Gemini não tem acesso a essas informações. Seu chefe gostaria de ter uma ferramenta similar a um ChatBot, na qual ele pudesse consultar esses dados presentes nos diversos arquivos, com agilidade e facilidade. Você, então, deve construir uma solução de geração assistida, realizando o processamento dos dados interno e alimentando-os a um modelo de escopo fechado (sem abertura ao público) para que ela auxilie na compreensão e orientação dentro da empresa. Por fim, seu chefe define que está disposto a alocar os recursos necessários para obter uma ferramenta que atenda a todos os requisitos, sem restrição de custos.
Funcionalidade
Considerando que o foco do exercício se trata de arquivos de texto e as três versões comportam entradas de texto, esse critério não servirá para realizar a seleção.
Volume de Dados
A quantidade de 1 milhão de tokens é significativa e um bom limite estipulado, tendo em vista que as demais ferramentas do mercado, em sua grande maioria, definem esse limite em torno de metade desse valor. Com relação às requisições por minuto, o Gemini 1.5 Flash apresenta um número maior e garante mais agilidade.
Performance
Observando a performance dos modelos acima, notamos que o Gemini 1.5 Pro possui a melhor performance em todos os critérios analisados.
Custo
Analisando a questão de custos, na tabela acima percebemos que o custo por requisição do Gemini 1.5 Flash é quase 10x menor do que o custo por requisição do Gemini 1.5 Pro.
Nesse caso, como nosso orçamento não indica nenhuma restrição e estamos prezando por qualidade e precisão, a melhor opção seria o Gemini 1.5 Pro, considerando os benchmarks nos 4 fatores de análise apresentados.
Em resumo, estamos limitados aos recursos que temos à nossa disposição! Cada caso é particular, os fatores limitantes devem ser considerados de forma minuciosa para garantir que a solução atenda as necessidades e prioridades do seu objetivo em questão.
No mês de junho, a Erathos participou de um evento de grande relevância, organizado pelo Google Developers Group em parceria com o Mindhub | Hub de Inovação e a Xperts Community. Houve diversas palestras relacionadas às tendências e inovações em IA, bem como diálogos sobre desafios e possíveis soluções. Neste artigo iremos nos aprofundar no tema da Inteligência Artificial Generativa na Prática, desenvolvido pelo Cientista de Dados do nosso time de Experts, Luca Nozzoli, em sua apresentação.
Em primeiro lugar, vamos entender o conceito de LLM
Utilizamos diversas ferramentas de IA como aliadas para a realização de tarefas e projetos no dia a dia, com destaque especial para os chatbots. Mas o que realmente está por trás do diálogo que temos com o computador?
A base do sistema de Inteligência Artificial são os LLMs (Large Language Models), que são treinados de forma intensa com milhões de parâmetros para que eles sejam capacitados para entender, resumir, gerar ou predizer conteúdos de texto. Alguns dos exemplos mais famosos por aí são o Chat GPT da OpenAI, o Gemini e o Palm desenvolvidos pela Google, o LLaMa da Metta e os modelos de Transformers da Hugging Face.
Como usamos uma LLM em projetos da vida real?
A aplicabilidade da Inteligência Artificial vai muito além de poder conversar com um chatbot e ser compreendido. Na realidade, atualmente encontramos LLMs sendo utilizadas em análises financeiras de grandes corporações em contextos como detecção de fraudes e encontramos elas também auxiliando times de marketing na geração de conteúdo. Outro grande exemplo desses sistemas atuando no dia a dia são os recomendadores presentes em aplicativos de entretenimento como Netflix e Spotify, bem como em aplicativos de e-commece de produtos como a Amazon, nesses casos o perfil individual do usuário é acompanhado de forma intensa para coletar informações para a construção de recomendações. Além disso, podemos utilizar uma LLM por meio da geração assistida, que consiste basicamente em fornecer materiais como PDFs para que o sistema te auxilie a realizar algo que exige conhecimento fora do que lhe foi concedido acesso.
Mas afinal, como escolhemos o modelo ideal para nosso problema?
Sabemos que pode ser confuso o processo de escolha entre essas soluções inovadoras, principalmente quanto ao que devemos considerar nesse caminho. Consolidamos algumas das principais decisões que devem ser tomadas para poder realizar essa seleção, acompanhe nos tópicos abaixo:
Funcionalidades
As LLMs são extremamente capacitadas para compreender textos, porém com os avanços de desenvolvimento, hoje elas compreendem e traduzem também imagens, vídeos e áudios para a elaboração de análises. É necessário entender o que o seu problema envolve e se ele implica em limitações na escolha do sistema.
Volume de Dados
Outro ponto crucial de atenção é relacionado à quantidade e tamanho das informações que terão que ser processadas pela LLM, considerando também a frequência de envio de dados.
Performance
Conectada à questão de funcionalidade, precisamos verificar, de acordo com benchmarks construídos por várias empresas no mercado, a precisão e a qualidade do que cada LLM executa e entrega e o quão significativo isso é para o seu problema.
Custo
Por último, mas claramente não menos importante, temos o custo como um dos principais fatores restritivos para a seleção de uma LLM. É preciso colocar os valores na balança e analisar qual deles se encaixa melhor na resolução do problema e para o momento do negócio.
Como medir o custo de uma LLM
Quando fornecemos alguma forma de conteúdo para uma LLM, para compreensão do que foi apresentado, ela “quebra” em pedaços de contexto, que chamamos de tokens. Essa separação em tokens de contexto acontece de forma diferente e de acordo com o algoritmo de cada solução. Nesse caso, é importante considerar que dependendo do número de tokens a serem processados, o custo pode variar.
Definição do melhor sistema na prática
Neste exemplo prático iremos nos basear nos 4 fatores de decisão apresentados anteriormente e iremos realizar uma comparação entre as diferentes versões da LLM do Gemini. Considere que você é um Cientista de Dados de uma empresa que possui vários manuais com diretrizes do negócio salvas em arquivos de texto de propriedade privada, não sendo abertos ao público. Nesse sentido, o Gemini não tem acesso a essas informações. Seu chefe gostaria de ter uma ferramenta similar a um ChatBot, na qual ele pudesse consultar esses dados presentes nos diversos arquivos, com agilidade e facilidade. Você, então, deve construir uma solução de geração assistida, realizando o processamento dos dados interno e alimentando-os a um modelo de escopo fechado (sem abertura ao público) para que ela auxilie na compreensão e orientação dentro da empresa. Por fim, seu chefe define que está disposto a alocar os recursos necessários para obter uma ferramenta que atenda a todos os requisitos, sem restrição de custos.
Funcionalidade
Considerando que o foco do exercício se trata de arquivos de texto e as três versões comportam entradas de texto, esse critério não servirá para realizar a seleção.
Volume de Dados
A quantidade de 1 milhão de tokens é significativa e um bom limite estipulado, tendo em vista que as demais ferramentas do mercado, em sua grande maioria, definem esse limite em torno de metade desse valor. Com relação às requisições por minuto, o Gemini 1.5 Flash apresenta um número maior e garante mais agilidade.
Performance
Observando a performance dos modelos acima, notamos que o Gemini 1.5 Pro possui a melhor performance em todos os critérios analisados.
Custo
Analisando a questão de custos, na tabela acima percebemos que o custo por requisição do Gemini 1.5 Flash é quase 10x menor do que o custo por requisição do Gemini 1.5 Pro.
Nesse caso, como nosso orçamento não indica nenhuma restrição e estamos prezando por qualidade e precisão, a melhor opção seria o Gemini 1.5 Pro, considerando os benchmarks nos 4 fatores de análise apresentados.
Em resumo, estamos limitados aos recursos que temos à nossa disposição! Cada caso é particular, os fatores limitantes devem ser considerados de forma minuciosa para garantir que a solução atenda as necessidades e prioridades do seu objetivo em questão.
No mês de junho, a Erathos participou de um evento de grande relevância, organizado pelo Google Developers Group em parceria com o Mindhub | Hub de Inovação e a Xperts Community. Houve diversas palestras relacionadas às tendências e inovações em IA, bem como diálogos sobre desafios e possíveis soluções. Neste artigo iremos nos aprofundar no tema da Inteligência Artificial Generativa na Prática, desenvolvido pelo Cientista de Dados do nosso time de Experts, Luca Nozzoli, em sua apresentação.
Em primeiro lugar, vamos entender o conceito de LLM
Utilizamos diversas ferramentas de IA como aliadas para a realização de tarefas e projetos no dia a dia, com destaque especial para os chatbots. Mas o que realmente está por trás do diálogo que temos com o computador?
A base do sistema de Inteligência Artificial são os LLMs (Large Language Models), que são treinados de forma intensa com milhões de parâmetros para que eles sejam capacitados para entender, resumir, gerar ou predizer conteúdos de texto. Alguns dos exemplos mais famosos por aí são o Chat GPT da OpenAI, o Gemini e o Palm desenvolvidos pela Google, o LLaMa da Metta e os modelos de Transformers da Hugging Face.
Como usamos uma LLM em projetos da vida real?
A aplicabilidade da Inteligência Artificial vai muito além de poder conversar com um chatbot e ser compreendido. Na realidade, atualmente encontramos LLMs sendo utilizadas em análises financeiras de grandes corporações em contextos como detecção de fraudes e encontramos elas também auxiliando times de marketing na geração de conteúdo. Outro grande exemplo desses sistemas atuando no dia a dia são os recomendadores presentes em aplicativos de entretenimento como Netflix e Spotify, bem como em aplicativos de e-commece de produtos como a Amazon, nesses casos o perfil individual do usuário é acompanhado de forma intensa para coletar informações para a construção de recomendações. Além disso, podemos utilizar uma LLM por meio da geração assistida, que consiste basicamente em fornecer materiais como PDFs para que o sistema te auxilie a realizar algo que exige conhecimento fora do que lhe foi concedido acesso.
Mas afinal, como escolhemos o modelo ideal para nosso problema?
Sabemos que pode ser confuso o processo de escolha entre essas soluções inovadoras, principalmente quanto ao que devemos considerar nesse caminho. Consolidamos algumas das principais decisões que devem ser tomadas para poder realizar essa seleção, acompanhe nos tópicos abaixo:
Funcionalidades
As LLMs são extremamente capacitadas para compreender textos, porém com os avanços de desenvolvimento, hoje elas compreendem e traduzem também imagens, vídeos e áudios para a elaboração de análises. É necessário entender o que o seu problema envolve e se ele implica em limitações na escolha do sistema.
Volume de Dados
Outro ponto crucial de atenção é relacionado à quantidade e tamanho das informações que terão que ser processadas pela LLM, considerando também a frequência de envio de dados.
Performance
Conectada à questão de funcionalidade, precisamos verificar, de acordo com benchmarks construídos por várias empresas no mercado, a precisão e a qualidade do que cada LLM executa e entrega e o quão significativo isso é para o seu problema.
Custo
Por último, mas claramente não menos importante, temos o custo como um dos principais fatores restritivos para a seleção de uma LLM. É preciso colocar os valores na balança e analisar qual deles se encaixa melhor na resolução do problema e para o momento do negócio.
Como medir o custo de uma LLM
Quando fornecemos alguma forma de conteúdo para uma LLM, para compreensão do que foi apresentado, ela “quebra” em pedaços de contexto, que chamamos de tokens. Essa separação em tokens de contexto acontece de forma diferente e de acordo com o algoritmo de cada solução. Nesse caso, é importante considerar que dependendo do número de tokens a serem processados, o custo pode variar.
Definição do melhor sistema na prática
Neste exemplo prático iremos nos basear nos 4 fatores de decisão apresentados anteriormente e iremos realizar uma comparação entre as diferentes versões da LLM do Gemini. Considere que você é um Cientista de Dados de uma empresa que possui vários manuais com diretrizes do negócio salvas em arquivos de texto de propriedade privada, não sendo abertos ao público. Nesse sentido, o Gemini não tem acesso a essas informações. Seu chefe gostaria de ter uma ferramenta similar a um ChatBot, na qual ele pudesse consultar esses dados presentes nos diversos arquivos, com agilidade e facilidade. Você, então, deve construir uma solução de geração assistida, realizando o processamento dos dados interno e alimentando-os a um modelo de escopo fechado (sem abertura ao público) para que ela auxilie na compreensão e orientação dentro da empresa. Por fim, seu chefe define que está disposto a alocar os recursos necessários para obter uma ferramenta que atenda a todos os requisitos, sem restrição de custos.
Funcionalidade
Considerando que o foco do exercício se trata de arquivos de texto e as três versões comportam entradas de texto, esse critério não servirá para realizar a seleção.
Volume de Dados
A quantidade de 1 milhão de tokens é significativa e um bom limite estipulado, tendo em vista que as demais ferramentas do mercado, em sua grande maioria, definem esse limite em torno de metade desse valor. Com relação às requisições por minuto, o Gemini 1.5 Flash apresenta um número maior e garante mais agilidade.
Performance
Observando a performance dos modelos acima, notamos que o Gemini 1.5 Pro possui a melhor performance em todos os critérios analisados.
Custo
Analisando a questão de custos, na tabela acima percebemos que o custo por requisição do Gemini 1.5 Flash é quase 10x menor do que o custo por requisição do Gemini 1.5 Pro.
Nesse caso, como nosso orçamento não indica nenhuma restrição e estamos prezando por qualidade e precisão, a melhor opção seria o Gemini 1.5 Pro, considerando os benchmarks nos 4 fatores de análise apresentados.
Em resumo, estamos limitados aos recursos que temos à nossa disposição! Cada caso é particular, os fatores limitantes devem ser considerados de forma minuciosa para garantir que a solução atenda as necessidades e prioridades do seu objetivo em questão.
No mês de junho, a Erathos participou de um evento de grande relevância, organizado pelo Google Developers Group em parceria com o Mindhub | Hub de Inovação e a Xperts Community. Houve diversas palestras relacionadas às tendências e inovações em IA, bem como diálogos sobre desafios e possíveis soluções. Neste artigo iremos nos aprofundar no tema da Inteligência Artificial Generativa na Prática, desenvolvido pelo Cientista de Dados do nosso time de Experts, Luca Nozzoli, em sua apresentação.
Em primeiro lugar, vamos entender o conceito de LLM
Utilizamos diversas ferramentas de IA como aliadas para a realização de tarefas e projetos no dia a dia, com destaque especial para os chatbots. Mas o que realmente está por trás do diálogo que temos com o computador?
A base do sistema de Inteligência Artificial são os LLMs (Large Language Models), que são treinados de forma intensa com milhões de parâmetros para que eles sejam capacitados para entender, resumir, gerar ou predizer conteúdos de texto. Alguns dos exemplos mais famosos por aí são o Chat GPT da OpenAI, o Gemini e o Palm desenvolvidos pela Google, o LLaMa da Metta e os modelos de Transformers da Hugging Face.
Como usamos uma LLM em projetos da vida real?
A aplicabilidade da Inteligência Artificial vai muito além de poder conversar com um chatbot e ser compreendido. Na realidade, atualmente encontramos LLMs sendo utilizadas em análises financeiras de grandes corporações em contextos como detecção de fraudes e encontramos elas também auxiliando times de marketing na geração de conteúdo. Outro grande exemplo desses sistemas atuando no dia a dia são os recomendadores presentes em aplicativos de entretenimento como Netflix e Spotify, bem como em aplicativos de e-commece de produtos como a Amazon, nesses casos o perfil individual do usuário é acompanhado de forma intensa para coletar informações para a construção de recomendações. Além disso, podemos utilizar uma LLM por meio da geração assistida, que consiste basicamente em fornecer materiais como PDFs para que o sistema te auxilie a realizar algo que exige conhecimento fora do que lhe foi concedido acesso.
Mas afinal, como escolhemos o modelo ideal para nosso problema?
Sabemos que pode ser confuso o processo de escolha entre essas soluções inovadoras, principalmente quanto ao que devemos considerar nesse caminho. Consolidamos algumas das principais decisões que devem ser tomadas para poder realizar essa seleção, acompanhe nos tópicos abaixo:
Funcionalidades
As LLMs são extremamente capacitadas para compreender textos, porém com os avanços de desenvolvimento, hoje elas compreendem e traduzem também imagens, vídeos e áudios para a elaboração de análises. É necessário entender o que o seu problema envolve e se ele implica em limitações na escolha do sistema.
Volume de Dados
Outro ponto crucial de atenção é relacionado à quantidade e tamanho das informações que terão que ser processadas pela LLM, considerando também a frequência de envio de dados.
Performance
Conectada à questão de funcionalidade, precisamos verificar, de acordo com benchmarks construídos por várias empresas no mercado, a precisão e a qualidade do que cada LLM executa e entrega e o quão significativo isso é para o seu problema.
Custo
Por último, mas claramente não menos importante, temos o custo como um dos principais fatores restritivos para a seleção de uma LLM. É preciso colocar os valores na balança e analisar qual deles se encaixa melhor na resolução do problema e para o momento do negócio.
Como medir o custo de uma LLM
Quando fornecemos alguma forma de conteúdo para uma LLM, para compreensão do que foi apresentado, ela “quebra” em pedaços de contexto, que chamamos de tokens. Essa separação em tokens de contexto acontece de forma diferente e de acordo com o algoritmo de cada solução. Nesse caso, é importante considerar que dependendo do número de tokens a serem processados, o custo pode variar.
Definição do melhor sistema na prática
Neste exemplo prático iremos nos basear nos 4 fatores de decisão apresentados anteriormente e iremos realizar uma comparação entre as diferentes versões da LLM do Gemini. Considere que você é um Cientista de Dados de uma empresa que possui vários manuais com diretrizes do negócio salvas em arquivos de texto de propriedade privada, não sendo abertos ao público. Nesse sentido, o Gemini não tem acesso a essas informações. Seu chefe gostaria de ter uma ferramenta similar a um ChatBot, na qual ele pudesse consultar esses dados presentes nos diversos arquivos, com agilidade e facilidade. Você, então, deve construir uma solução de geração assistida, realizando o processamento dos dados interno e alimentando-os a um modelo de escopo fechado (sem abertura ao público) para que ela auxilie na compreensão e orientação dentro da empresa. Por fim, seu chefe define que está disposto a alocar os recursos necessários para obter uma ferramenta que atenda a todos os requisitos, sem restrição de custos.
Funcionalidade
Considerando que o foco do exercício se trata de arquivos de texto e as três versões comportam entradas de texto, esse critério não servirá para realizar a seleção.
Volume de Dados
A quantidade de 1 milhão de tokens é significativa e um bom limite estipulado, tendo em vista que as demais ferramentas do mercado, em sua grande maioria, definem esse limite em torno de metade desse valor. Com relação às requisições por minuto, o Gemini 1.5 Flash apresenta um número maior e garante mais agilidade.
Performance
Observando a performance dos modelos acima, notamos que o Gemini 1.5 Pro possui a melhor performance em todos os critérios analisados.
Custo
Analisando a questão de custos, na tabela acima percebemos que o custo por requisição do Gemini 1.5 Flash é quase 10x menor do que o custo por requisição do Gemini 1.5 Pro.
Nesse caso, como nosso orçamento não indica nenhuma restrição e estamos prezando por qualidade e precisão, a melhor opção seria o Gemini 1.5 Pro, considerando os benchmarks nos 4 fatores de análise apresentados.
Em resumo, estamos limitados aos recursos que temos à nossa disposição! Cada caso é particular, os fatores limitantes devem ser considerados de forma minuciosa para garantir que a solução atenda as necessidades e prioridades do seu objetivo em questão.