Introdução No campo do processamento de linguagem natural (NLP) e do aprendizado de máquina, especialmente ao trabalhar com Grandes Modelos de Linguagem (LLMs), a avaliação da qualidade do texto gerado é crucial. Seja para tarefas de sumarização, tradução automática ou geração de texto criativo, precisamos de métricas objetivas para comparar a saída do modelo com um padrão de referência. Uma das suítes de métricas mais utilizadas para essa finalidade é a ROUGE (Recall-Oriented Understudy for Gisting Evaluation). ...

À medida que os modelos de Machine Learning (ML) se tornam cada vez mais complexos e integrados em decisões críticas, a necessidade de entender seu funcionamento interno e justificar suas previsões nunca foi tão crucial. A “caixa preta” – onde até mesmo os criadores não compreendem totalmente por que um modelo chega a uma conclusão específica – está se tornando inaceitável em muitos domínios. Nesse contexto, surgem dois conceitos fundamentais, frequentemente confundidos, mas distintos: Interpretability (Interpretabilidade) e Explainability (Explicabilidade). Ambos são componentes essenciais da Transparência em ML, o objetivo maior de permitir que stakeholders compreendam como um modelo opera e por que ele gera saídas específicas. ...

Ótima pergunta! Ambos os serviços, Amazon Augmented AI (A2I) e SageMaker Ground Truth, envolvem a colaboração humana em tarefas de Machine Learning dentro do ecossistema AWS, mas eles servem a propósitos fundamentalmente diferentes e são usados em fases distintas do ciclo de vida do ML. Aqui está a diferença detalhada: SageMaker Ground Truth: Propósito Principal: Criar conjuntos de dados de treinamento de alta qualidade. O foco é pegar dados brutos (imagens, texto, vídeo, etc.) e adicionar anotações ou rótulos (labels) a eles, feitos por humanos. Fase do Ciclo de Vida: Pré-treinamento. Usado antes de treinar um modelo de Machine Learning supervisionado, para gerar os dados rotulados necessários para esse treinamento. Entrada (Input): Dados não rotulados ou brutos. Saída (Output): Dados rotulados ou anotados, prontos para serem usados no treinamento de um modelo. Tarefa Humana Típica: Rotulagem de imagens (classificação, caixas delimitadoras, segmentação), transcrição de áudio, classificação de texto, extração de entidades, etc. O texto também menciona seu uso para coletar preferências humanas para RLHF (onde humanos ranqueiam ou escolhem as melhores respostas de um modelo, que é uma forma de rotulagem de preferências). Gatilho (Trigger): A necessidade de criar um dataset de treinamento ou avaliação para um novo modelo ou para melhorar um existente com mais dados rotulados. Amazon Augmented AI (A2I): ...

Domain 4 Introduction O texto apresenta o Domínio 4 de um material de estudo, focado nas diretrizes para Inteligência Artificial Responsável (Responsible AI). Este domínio é dividido em duas declarações de tarefa principais: Declaração de Tarefa 4.1: Explicar o desenvolvimento de sistemas de IA responsáveis. Para cumprir esta tarefa, o estudante precisará: Compreender o conceito de IA responsável. Identificar as características e propriedades de sistemas de IA responsáveis. Saber usar ferramentas que auxiliam no desenvolvimento de IA responsável. Entender como os princípios da IA responsável influenciam: Seleção de modelos. Avaliações de risco. Características do conjunto de dados. Compreender os conceitos de viés (bias) e variância no contexto da IA responsável. Saber usar ferramentas para monitorar e detectar viés. Ser capaz de avaliar a confiabilidade (trustworthiness) e a veracidade (truthfulness) de um modelo. Declaração de Tarefa 4.2: Reconhecer a importância de modelos transparentes e explicáveis. ...

Domain 5 Introduction O texto apresenta o Domínio 5 de um curso ou material de estudo, focado em segurança, conformidade e governança para soluções de Inteligência Artificial (IA). Este domínio é dividido em duas tarefas principais: Tarefa 5.1: “Explicar métodos para proteger sistemas de IA.” Para esta tarefa, o estudante precisará entender: Fundamentos de gerenciamento de identidade e acesso (IAM) na AWS. O modelo de responsabilidade compartilhada entre a AWS e o cliente na segurança de aplicações e dados de IA. As vulnerabilidades de sistemas de IA a ataques e roubo. As melhores práticas para mitigar essas vulnerabilidades. Tarefa 5.2: “Reconhecer regulamentações de governança e conformidade para sistemas de IA.” ...

https://aws.amazon.com/pt/blogs/machine-learning/llm-continuous-self-instruct-fine-tuning-framework-powered-by-a-compound-ai-system-on-amazon-sagemaker/ https://github.com/aws-samples/amlc-2024-tutorial-continuous-fine-tuning-compound-ai/tree/main Este texto visa fornecer uma descrição detalhada dos tópicos abordados no artigo “LLM continuous self-instruct fine-tuning framework powered by a compound AI system on Amazon SageMaker”. O foco principal será nos seguintes conceitos cruciais para o aprimoramento contínuo de Large Language Models (LLMs): Pré-training Instruction Tuning Domain Adaptation Continuous Training Embora o artigo não se aprofunde nos detalhes do pré-treinamento, é fundamental entender seu papel como base para as etapas subsequentes. Portanto, iniciaremos com uma breve descrição do pré-treinamento antes de mergulhar nos tópicos com maior ênfase no texto. ...

Domain 3 Introduction O texto apresenta o Domínio 3, que aborda a aplicação de modelos de fundação (foundation models). Ele se conecta ao Domínio 2, que discutiu os modelos de fundação e seu ciclo de vida, reforçando que são modelos pré-treinados, prontos para uso e treinados em vastos conjuntos de dados. Pontos chave do texto: O que são modelos de fundação: Grandes redes neurais de aprendizado profundo que servem como ponto de partida para desenvolver modelos de machine learning mais rápidos e baratos para novas aplicações. Diferenciais dos modelos de fundação: Adaptabilidade: Capacidade de realizar diversas tarefas com alta precisão a partir de prompts de entrada (exemplos: NLP, question answering, classificação de imagens). Tamanho e propósito geral: Diferentemente dos modelos tradicionais de ML, que são específicos para tarefas como análise de sentimento, classificação de imagens e previsão de tendências. Aplicações dos modelos de fundação: Suporte ao cliente, tradução de idiomas, geração de conteúdo, geração de código, copywriting, classificação de imagens, criação e edição de imagens de alta resolução, geração de vídeo e áudio, extração de documentos, saúde, veículos autônomos e robótica. Estrutura do Domínio 3: Dividido em quatro tarefas (task statements) que serão discutidas em lições futuras: Tarefa 3.1: Descrever considerações de design para aplicações que usam modelos de fundação (escolha do modelo pré-treinado, efeito dos parâmetros de inferência, RAG e suas aplicações, custos de personalização, serviços AWS para embeddings, papel dos agentes). Tarefa 3.2: Escolher técnicas eficazes de prompt engineering (melhores práticas, técnicas, riscos, limitações, conceitos e constructos). Tarefa 3.3: Descrever o processo de treinamento e fine-tuning de modelos de fundação (elementos e métodos de treinamento, preparação de dados para fine-tuning). Tarefa 3.4: Descrever métodos para avaliar o desempenho de modelos de fundação (abordagens, métricas, como determinar se o modelo atende aos objetivos de negócios). Próximos passos: Os próximos vídeos abordarão cada uma das quatro tarefas individualmente, preparando o público para um exame sobre o tema. A próxima lição focará na Tarefa 3.1. Em resumo, o texto serve como uma introdução ao Domínio 3 sobre a aplicação de modelos de fundação, destacando suas características, aplicações e a estrutura dos tópicos que serão abordados nas próximas lições. O objetivo é preparar o leitor para entender os aspectos práticos da utilização desses modelos em diferentes cenários. ...

Task Statement 2.1 Lesson 1 O texto fornece uma introdução clara e concisa aos conceitos básicos da Inteligência Artificial Generativa (IA Generativa). Aqui estão os principais pontos abordados: O que é IA Generativa: É um subconjunto do aprendizado profundo (Deep Learning). Sua principal função é gerar conteúdo novo e original, em vez de classificar ou encontrar conteúdo existente. Pode criar diversos tipos de conteúdo, como texto, imagens, áudio, vídeo e até código. Aprende padrões e representações a partir de grandes volumes de dados de treinamento. Utiliza esse conhecimento para gerar outputs que se assemelham aos dados de treinamento. Modelos de Fundação: ...

O mecanismo de Self-Attention (autoatenção) é uma inovação crucial da arquitetura Transformer que permite ao modelo ponderar a importância de diferentes partes da sequência de entrada ao processá-la. Diferente de modelos sequenciais anteriores, como as Redes Neurais Recorrentes (RNNs), que processam a entrada um elemento por vez, a autoatenção permite que o modelo estabeleça conexões diretas entre todos os tokens da sequência, independentemente de sua distância posicional. Funcionamento Detalhado: Para cada token na sequência de entrada, a camada de autoatenção calcula três vetores: ...

Os modelos de difusão representam uma classe poderosa de modelos generativos, particularmente eficazes na geração de dados complexos como imagens, áudio e vídeo. Sua abordagem fundamental se baseia na reversão de um processo gradual de adição de ruído aos dados de treinamento. Vamos detalhar o funcionamento e as características desses modelos: Ideia Central: Desfazendo o Ruído A intuição por trás dos modelos de difusão é aprender o processo inverso da destruição da informação. Imagine começar com um dado limpo (por exemplo, uma imagem nítida de um gato) e, em uma série de etapas, adicionar gradualmente ruído aleatório até que o dado se torne indistinguível de ruído puro. Um modelo de difusão aprende a reverter esse processo, ou seja, a remover iterativamente o ruído de uma amostra ruidosa até gerar uma amostra de dados coerente e de alta qualidade. ...