Domain 5 Introduction O texto apresenta o Domínio 5 de um curso ou material de estudo, focado em segurança, conformidade e governança para soluções de Inteligência Artificial (IA). Este domínio é dividido em duas tarefas principais: Tarefa 5.1: “Explicar métodos para proteger sistemas de IA.” Para esta tarefa, o estudante precisará entender: Fundamentos de gerenciamento de identidade e acesso (IAM) na AWS. O modelo de responsabilidade compartilhada entre a AWS e o cliente na segurança de aplicações e dados de IA. As vulnerabilidades de sistemas de IA a ataques e roubo. As melhores práticas para mitigar essas vulnerabilidades. Tarefa 5.2: “Reconhecer regulamentações de governança e conformidade para sistemas de IA.” ...

https://aws.amazon.com/pt/blogs/machine-learning/llm-continuous-self-instruct-fine-tuning-framework-powered-by-a-compound-ai-system-on-amazon-sagemaker/ https://github.com/aws-samples/amlc-2024-tutorial-continuous-fine-tuning-compound-ai/tree/main Este texto visa fornecer uma descrição detalhada dos tópicos abordados no artigo “LLM continuous self-instruct fine-tuning framework powered by a compound AI system on Amazon SageMaker”. O foco principal será nos seguintes conceitos cruciais para o aprimoramento contínuo de Large Language Models (LLMs): Pré-training Instruction Tuning Domain Adaptation Continuous Training Embora o artigo não se aprofunde nos detalhes do pré-treinamento, é fundamental entender seu papel como base para as etapas subsequentes. Portanto, iniciaremos com uma breve descrição do pré-treinamento antes de mergulhar nos tópicos com maior ênfase no texto. ...

Domain 3 Introduction O texto apresenta o Domínio 3, que aborda a aplicação de modelos de fundação (foundation models). Ele se conecta ao Domínio 2, que discutiu os modelos de fundação e seu ciclo de vida, reforçando que são modelos pré-treinados, prontos para uso e treinados em vastos conjuntos de dados. Pontos chave do texto: O que são modelos de fundação: Grandes redes neurais de aprendizado profundo que servem como ponto de partida para desenvolver modelos de machine learning mais rápidos e baratos para novas aplicações. Diferenciais dos modelos de fundação: Adaptabilidade: Capacidade de realizar diversas tarefas com alta precisão a partir de prompts de entrada (exemplos: NLP, question answering, classificação de imagens). Tamanho e propósito geral: Diferentemente dos modelos tradicionais de ML, que são específicos para tarefas como análise de sentimento, classificação de imagens e previsão de tendências. Aplicações dos modelos de fundação: Suporte ao cliente, tradução de idiomas, geração de conteúdo, geração de código, copywriting, classificação de imagens, criação e edição de imagens de alta resolução, geração de vídeo e áudio, extração de documentos, saúde, veículos autônomos e robótica. Estrutura do Domínio 3: Dividido em quatro tarefas (task statements) que serão discutidas em lições futuras: Tarefa 3.1: Descrever considerações de design para aplicações que usam modelos de fundação (escolha do modelo pré-treinado, efeito dos parâmetros de inferência, RAG e suas aplicações, custos de personalização, serviços AWS para embeddings, papel dos agentes). Tarefa 3.2: Escolher técnicas eficazes de prompt engineering (melhores práticas, técnicas, riscos, limitações, conceitos e constructos). Tarefa 3.3: Descrever o processo de treinamento e fine-tuning de modelos de fundação (elementos e métodos de treinamento, preparação de dados para fine-tuning). Tarefa 3.4: Descrever métodos para avaliar o desempenho de modelos de fundação (abordagens, métricas, como determinar se o modelo atende aos objetivos de negócios). Próximos passos: Os próximos vídeos abordarão cada uma das quatro tarefas individualmente, preparando o público para um exame sobre o tema. A próxima lição focará na Tarefa 3.1. Em resumo, o texto serve como uma introdução ao Domínio 3 sobre a aplicação de modelos de fundação, destacando suas características, aplicações e a estrutura dos tópicos que serão abordados nas próximas lições. O objetivo é preparar o leitor para entender os aspectos práticos da utilização desses modelos em diferentes cenários. ...

Task Statement 2.1 Lesson 1 O texto fornece uma introdução clara e concisa aos conceitos básicos da Inteligência Artificial Generativa (IA Generativa). Aqui estão os principais pontos abordados: O que é IA Generativa: É um subconjunto do aprendizado profundo (Deep Learning). Sua principal função é gerar conteúdo novo e original, em vez de classificar ou encontrar conteúdo existente. Pode criar diversos tipos de conteúdo, como texto, imagens, áudio, vídeo e até código. Aprende padrões e representações a partir de grandes volumes de dados de treinamento. Utiliza esse conhecimento para gerar outputs que se assemelham aos dados de treinamento. Modelos de Fundação: ...

O mecanismo de Self-Attention (autoatenção) é uma inovação crucial da arquitetura Transformer que permite ao modelo ponderar a importância de diferentes partes da sequência de entrada ao processá-la. Diferente de modelos sequenciais anteriores, como as Redes Neurais Recorrentes (RNNs), que processam a entrada um elemento por vez, a autoatenção permite que o modelo estabeleça conexões diretas entre todos os tokens da sequência, independentemente de sua distância posicional. Funcionamento Detalhado: Para cada token na sequência de entrada, a camada de autoatenção calcula três vetores: ...

Os modelos de difusão representam uma classe poderosa de modelos generativos, particularmente eficazes na geração de dados complexos como imagens, áudio e vídeo. Sua abordagem fundamental se baseia na reversão de um processo gradual de adição de ruído aos dados de treinamento. Vamos detalhar o funcionamento e as características desses modelos: Ideia Central: Desfazendo o Ruído A intuição por trás dos modelos de difusão é aprender o processo inverso da destruição da informação. Imagine começar com um dado limpo (por exemplo, uma imagem nítida de um gato) e, em uma série de etapas, adicionar gradualmente ruído aleatório até que o dado se torne indistinguível de ruído puro. Um modelo de difusão aprende a reverter esse processo, ou seja, a remover iterativamente o ruído de uma amostra ruidosa até gerar uma amostra de dados coerente e de alta qualidade. ...

Transfer Learning: A Chave para Potencializar Modelos de Inteligência Artificial com Menos Dados e Tempo No cenário dinâmico da Inteligência Artificial (IA) e do aprendizado de máquina (Machine Learning - ML), a capacidade de construir modelos robustos e precisos é fundamental. Tradicionalmente, o treinamento de modelos complexos, especialmente aqueles baseados em Deep Learning, exigia vastas quantidades de dados rotulados e um poder computacional significativo, além de um tempo considerável. No entanto, uma técnica poderosa emergiu como um catalisador para superar essas limitações: o Transfer Learning (Aprendizado por Transferência). ...

Aprofundando nas Métricas de Avaliação de Modelos As métricas de avaliação de modelos são ferramentas cruciais para entender o desempenho de um algoritmo de Machine Learning após o treinamento. Elas nos fornecem uma maneira quantitativa de medir o quão bem o modelo está generalizando para novos dados e de comparar diferentes modelos ou configurações. A escolha da métrica certa depende fortemente do tipo de problema (classificação, regressão, clustering, etc.) e dos objetivos de negócio. ...

Domain 1 of this comprehensive material lays a robust foundation for understanding Artificial Intelligence (AI) and its practical implementation. It systematically breaks down fundamental AI concepts, terminologies, the Machine Learning (ML) development lifecycle, and real-world use cases. This detailed article will explore each task statement and lesson within Domain 1, providing an in-depth overview of the key takeaways. Domain 1 of this comprehensive material lays a robust foundation for understanding Artificial Intelligence (AI) and its practical implementation. It systematically breaks down fundamental AI concepts, terminologies, the Machine Learning (ML) development lifecycle, and real-world use cases. This detailed article will explore each task statement and lesson within Domain 1, providing an in-depth overview of the key takeaways. ...

Uma visão do que é o trivy e de como ele funciona. Percausos na sua implementação em pipelines e uma breve opinião na sua utilização. O que é trivy? Qual a sua proposta O que o trivy olha? Target Container Image Filesystem Git repository (remote) Kubernetes cluster or resource Scanners OS packages and software dependencies in use (SBOM) Known vulnerabilities (CVEs) IaC misconfigurations Sensitive information and secrets Como sua pipeline pode interagir com o trivy Exceções acontecem Como gerir essas exceções Obrigado Links de referencia Github do trivy - aquasecurity/trivy{:target="_blank"}