top of page

Full Fine-Tuning do SageMaker enfrenta o teste do LoRA

há 2 horas
14 min de leitura
Image from the source report. Source: aws.amazon.com.

A AWS defende o full fine-tuning do SageMaker, mas seus próprios experimentos mostram que atualizar todos os pesos de um modelo não garante resultados melhores. O full fine-tuning (FFT), que ajusta todos os parâmetros do modelo durante o treinamento, concorre com o Low-Rank Adaptation (LoRA), que treina adições menores enquanto congela os pesos pré-treinados. A AWS relata que uma configuração ajustada de FFT alcançou 90,0% de correção avaliada em tarefas de programação. Em outra parte da mesma análise, o LoRA supera o FFT, por 81,5% a 79,5%.

Esse contraste dá valor à comparação. O Amazon SageMaker AI Serverless Model Customization gerencia a infraestrutura de treinamento, permitindo que desenvolvedores comparem métodos de adaptação sem criar ambientes de computação separados. A gestão da infraestrutura se torna mais simples, enquanto as decisões sobre dados, avaliação e perda aceitável de capacidades permanecem com a equipe.

A questão prática é se uma adaptação mais profunda melhora o trabalho de que os usuários realmente precisam, sem prejudicar capacidades que eles ainda esperam. Os resultados da AWS contestam escolhas automáticas em qualquer uma das direções. A eficiência do LoRA não estabelece um teto de qualidade para todas as tarefas. A liberdade mais ampla do FFT não estabelece uma vantagem universal.

Full Fine-Tuning do SageMaker recebe um argumento condicional

A comparação da AWS apoia testar FFT contra LoRA, com o resultado vinculado ao experimento, e não ao nome do método.

A comparação de fine-tuning examina a adaptação para programação por meio de treinamento e avaliação controlados. Seu principal experimento descrito usa o Qwen3-4B, um modelo de linguagem pré-treinado, e fine-tuning supervisionado, que ensina um modelo com entradas de exemplo e respostas esperadas. Ambos os métodos de adaptação recebem os mesmos prompts, alvos e código de avaliação dentro de cada experimento.

A AWS descreve o uso de 110.000 pares de instrução-resposta de programação. Ela atribui 99.000 registros ao treinamento, 5.500 à validação e 5.500 a um conjunto de testes retido. Os exemplos de validação orientam as decisões de desenvolvimento. Os exemplos retidos avaliam o modelo resultante separadamente do material usado para atualizar seus pesos.

O conjunto de dados de instruções de programação subjacente contém solicitações e respostas de programação que abrangem tarefas variadas. Portanto, o experimento da AWS trata da adaptação a um corpus de programação. Ele não estabelece ganhos equivalentes para análise jurídica, atendimento ao cliente, documentação médica ou convenções internas de software de uma organização.

Esse limite importa porque o sucesso do treinamento depende da distância entre o modelo original e a aplicação pretendida. Um modelo que aprende padrões de resposta familiares enfrenta um problema diferente de um que aprende práticas especializadas de implementação. O mesmo método de adaptação pode produzir resultados distintos nessas situações.

A AWS avalia mais do que a semelhança com respostas de referência. Ela também mede a correção avaliada e a retenção de conhecimento geral. Essa visão mais ampla cria a tensão central do artigo: um modelo pode se tornar melhor em seu domínio de treinamento enquanto se torna menos útil em outros contextos.

O próprio serviço fornece o contexto operacional. Os desenvolvedores selecionam um modelo, fornecem conjuntos de dados e configuram as definições de treinamento. A AWS afirma que o sistema serverless gerencia a alocação de computação e o gerenciamento de checkpoints, que preservam estados do modelo durante o treinamento.

Isso deve ser entendido como evidência sobre uma rota de personalização disponível, e não como motivo para tratar a publicação como um lançamento recente de capacidade. A documentação atual confirma o suporte ao FFT. A questão técnica é como esse suporte altera os experimentos que as equipes podem executar de forma razoável.

O full fine-tuning do SageMaker torna atualizações mais amplas de pesos acessíveis por meio de infraestrutura gerenciada. Ele deixa para o cliente a responsabilidade de escolher um modelo bem-sucedido. A mudança útil é uma rota mais simples para comparação, acompanhada de evidências de que a comparação pode produzir respostas desconfortáveis.

Para os desenvolvedores, essas respostas desconfortáveis frequentemente são mais acionáveis do que uma pontuação de destaque. Elas identificam quais premissas exigem testes antes que um modelo especializado chegue aos usuários.

A eficiência do LoRA agora precisa de uma defesa no nível da tarefa

As equipes que escolhem LoRA devem defender seus resultados em sua carga de trabalho, enquanto as equipes que escolhem FFT devem defender suas exigências adicionais de treinamento.

O LoRA tem uma justificativa consolidada. Treinar matrizes adaptadoras menores reduz o número de parâmetros que exigem atualizações. Uma matriz é um arranjo retangular de pesos do modelo; os adaptadores introduzem uma forma restrita de alterar o comportamento do modelo.

A pesquisa original sobre Low-Rank Adaptation relatou qualidade equivalente ou superior ao full fine-tuning nos modelos e tarefas testados. Essa constatação explica por que menos parâmetros treináveis não podem ser automaticamente tratados como uma adaptação inferior. A questão relevante sempre incluiu o que esses parâmetros precisam aprender.

A comparação da AWS pressiona o outro lado desse argumento. A empresa afirma que a adaptação complexa para programação e conjuntos de dados maiores podem expor limites em atualizações restritas. Seus ganhos relatados com FFT fornecem um argumento crível para incluir atualizações completas em uma avaliação, em vez de descartá-las operacionalmente.

A pressão recai mais diretamente sobre equipes de machine learning que padronizam seu processo de personalização. Uma receita padrão de adaptadores é conveniente entre projetos. No entanto, a conveniência se torna mais difícil de defender quando uma carga de trabalho exigente revela uma lacuna mensurável de qualidade.

Por outro lado, um padrão de FFT cria seu próprio ônus. Maior liberdade para alterar pesos significa maior responsabilidade por monitorar mudanças não intencionais. Os compradores devem perguntar o que melhorou, o que piorou e como essas diferenças afetam a aplicação.

Considere uma equipe que adapta um modelo para gerar código em um framework interno. Corresponder às convenções locais de nomenclatura e aos formatos de resposta pode ser suficiente para um fluxo de trabalho. Outro fluxo pode exigir a coordenação de interfaces desconhecidas, raciocínio sobre dependências e a produção de implementações que sobrevivam a testes de execução.

Essas são situações ilustrativas de implantação, e não resultados de clientes estabelecidos pelo experimento da AWS. Elas mostram por que uma classificação única no nível do método oferece orientação limitada de compra. Os critérios reais de aceitação da equipe determinam se uma melhoria observada importa.

A comparação também muda a forma como o tempo de engenharia deve ser avaliado. O treinamento gerenciado pode reduzir o tempo gasto na montagem de infraestrutura. Ele não elimina o tempo dedicado à revisão de conjuntos de dados, à investigação de falhas ou à verificação de que uma aparente melhoria se mantém com prompts diferentes.

Um registro de avaliação útil conecta cada versão do modelo aos seus dados de treinamento, configurações, resultados e limitações conhecidas. As equipes que organizam esse material podem aplicar os mesmos princípios usados em uma base de conhecimento pesquisável. Preservar o raciocínio por trás de uma decisão ajuda revisores posteriores a distinguir um trade-off deliberado de um padrão herdado.

É aqui que SageMaker FFT vs LoRA se torna uma decisão de produto. Um pequeno ganho de qualidade importa se resolve uma falha frequente dos usuários. Um ganho maior em benchmark importa menos se os usuários ainda encontram os mesmos defeitos bloqueadores.

A consequência imediata é uma avaliação mais exigente, mesmo com uma configuração de treinamento mais simples. As equipes precisam de evidências de que a adaptação escolhida melhora a experiência pretendida, em vez de apenas produzir um resumo de experimento mais impressionante.

Atualizações mais amplas de pesos explicam a promessa, não o vencedor

O FFT expande o espaço de possíveis mudanças no modelo, mas essa liberdade matemática não estabelece quais mudanças serão úteis.

A explicação da AWS se concentra no rank, o número de direções independentes representadas por uma matriz. O LoRA restringe uma atualização por meio de matrizes menores. O FFT permite mudanças em todas as matrizes de pesos, em vez de impor essa mesma estrutura de adaptador.

Essa distinção torna plausível o argumento de qualidade. Se uma tarefa exige mudanças fora das direções que um adaptador consegue expressar de maneira eficaz, as atualizações completas têm mais espaço para acomodá-las. No entanto, espaço adicional também permite mudanças que prejudicam o comportamento existente.

A análise espectral, que examina uma matriz por meio de seus valores singulares e direções associadas, fornece uma forma de discutir essa estrutura. Os valores singulares indicam a força de direções matemáticas específicas. Eles descrevem propriedades dos pesos, em vez de medir diretamente se o código gerado funciona.

A AWS argumenta que atualizações completas podem distribuir a adaptação de forma mais ampla, evitando distorções associadas a atualizações restritas. Essa é a explicação técnica da empresa para suas vantagens relatadas de qualidade. O artigo não deve ser interpretado como uma comprovação independente desse mecanismo entre modelos.

Uma limitação decorre diretamente da distinção entre estrutura e comportamento. Mudanças diferentes nos pesos podem levar a respostas semelhantes. Pontuações agregadas semelhantes também podem ocultar padrões de falha diferentes. Uma explicação estrutural se torna mais persuasiva quando vinculada a evidências comportamentais reproduzíveis.

Por exemplo, um estudo de mecanismo mais robusto conectaria mudanças observadas nas matrizes a melhorias específicas em execuções controladas. Ele também examinaria se essas mudanças acompanham a retenção de capacidades. Isso ajudaria a separar uma hipótese explicativa de um padrão percebido após o treinamento.

A discussão publicada dá aos leitores um motivo para investigar o mecanismo, em vez de fornecer uma explicação causal completa para cada pontuação. As evidências disponíveis não justificam supor que um baixo rank sempre cria um gargalo prático. Tampouco justificam supor que atualizações irrestritas sempre preservam uma estrutura pré-treinada útil.

Uma qualificação importante diz respeito ao que o FFT permite em comparação com o que o treinamento produz. Permitir atualizações completas de matrizes não obriga a atualização aprendida a usar todas as direções disponíveis. A otimização, ou seja, o processo que ajusta pesos para reduzir o erro de treinamento, ainda depende dos dados e das configurações.

Da mesma forma, aumentar o rank de um adaptador altera sua capacidade, mas a capacidade por si só não determina o resultado. A duração do treinamento, a escala das atualizações e os exemplos apresentados podem alterar como essa capacidade é usada. Uma comparação precisa de detalhes suficientes para distinguir essas influências.

A leitura sensata de SageMaker FFT vs LoRA é, portanto, condicional. O FFT oferece uma rota de adaptação mais ampla que, segundo a AWS, ajuda em seus experimentos de programação. O LoRA oferece uma rota restrita com benefícios consolidados de eficiência e resultados competitivos em outros contextos.

Nenhuma descrição matemática substitui os testes de aplicação. O mecanismo explica por que um resultado é possível. A avaliação determina se ele ocorreu nas condições relevantes para uma implantação específica.

Os benchmarks respondem a perguntas diferentes

A pontuação mais alta da AWS e seu resultado favorável ao LoRA pertencem a comparações diferentes e não podem ser combinados em uma classificação universal.

A AWS relata 90,0% de correção de um avaliador automatizado em três épocas de treinamento, sendo que uma época representa uma passagem completa pelos dados de treinamento. Separadamente, ela relata LoRA com 81,5% e FFT com 79,5% em qualidade avaliada. Esses números precisam vir acompanhados de suas configurações.

Uma avaliação LLM-as-Judge utiliza um modelo de linguagem para avaliar as respostas de outro modelo. A AWS identifica o Amazon Nova Pro como o avaliador de sua avaliação de codificação descrita. O juiz considera a solução gerada juntamente com a solicitação original.

Isso oferece uma visão da correção semântica, ou seja, se uma resposta parece satisfazer a lógica pretendida da tarefa. Ainda assim, continua sendo uma avaliação automatizada. Um julgamento favorável não estabelece que o código passe em testes de execução, lide com entradas inesperadas ou cumpra os requisitos de segurança de uma organização.

A AWS também usa o PRIMECODE, sua avaliação de similaridade textual que combina medidas de sobreposição entre o código gerado e as soluções de referência. Essas pontuações ajudam a descrever quão de perto as saídas seguem a redação e a estrutura do material de referência.

A similaridade textual tem valor prático quando a adaptação busca convenções consistentes. Ela pode revelar que um modelo aprendeu padrões de resposta reconhecíveis. No entanto, programas válidos podem diferir substancialmente na redação, e programas semelhantes podem compartilhar um defeito sutil.

Em uma implantação de geração de código, essas métricas devem, portanto, orientar perguntas diferentes. Uma pontuação de semelhança trata da conformidade com referências. Um juiz de modelo trata da correção percebida. Testes de execução tratam de saber se o comportamento observável atende a casos definidos.

A avaliação da AWS também inclui o MMLU, um benchmark que testa conhecimentos em 57 disciplinas acadêmicas. A empresa o utiliza para monitorar se a especialização prejudica capacidades mais amplas. Isso acrescenta um contraponto importante às medidas concentradas no domínio de treinamento.

A comparação MATH reportada, que verifica a concordância exata com respostas matemáticas esperadas, oferece outro alerta. A AWS afirma que ambos os métodos de adaptação têm desempenho inferior ao modelo base nessa comparação. Portanto, uma melhor adaptação para código não comprova uma melhoria no raciocínio em tarefas não relacionadas.

O escopo dessas avaliações deve moldar a forma como os resultados chegam aos responsáveis por decisões. Um painel rotulado simplesmente como “qualidade” convida a tratar medições diferentes como intercambiáveis. Um painel útil identifica o que cada pontuação mede e qual requisito da aplicação ela representa.

Isso também muda como um vencedor deve ser escolhido. Se os usuários precisam de código executável, uma melhoria de semelhança não pode compensar automaticamente resultados piores de execução. Se os usuários precisam de explicações e código, testar apenas funções concluídas deixa uma parte da aplicação sem avaliação.

A mesma cautela se aplica à média entre tarefas. Um ganho agregado pode ocultar deterioração em uma categoria de alta importância operacional. As equipes devem inspecionar falhas nas áreas em que a aplicação tem menor tolerância, mesmo quando uma média mais ampla sobe.

Os resultados reportados pela AWS tornam essa disciplina necessária. Eles oferecem evidências de que o FFT merece consideração e, ao mesmo tempo, mostram por que essas evidências precisam de interpretação. A descoberta central é a variabilidade entre condições, em vez de uma hierarquia estável entre métodos de adaptação.

O Treinamento Agressivo Pode Eliminar os Ganhos

O alerta operacional mais claro é que um trabalho de treinamento bem-sucedido pode produzir um modelo pior para tarefas importantes.

A AWS relata deterioração severa com taxas de aprendizado agressivas de FFT de pelo menos 5e-5. A taxa de aprendizado controla a magnitude dos ajustes de pesos durante o treinamento. Nessas execuções, a empresa relata que as pontuações MATH caíram para 2–3% e que a precisão do MMLU chegou a 3,6%.

Esses são resultados das configurações da AWS, e não limites universais de falha. Ainda assim, eles expõem o risco por trás da promessa de uma adaptação mais profunda. O processo que ensina um novo comportamento também pode prejudicar comportamentos que os usuários presumiam que permaneceriam disponíveis.

O esquecimento catastrófico é a perda de capacidades aprendidas anteriormente durante o treinamento subsequente. Ele se torna especialmente relevante quando um conjunto de dados restrito puxa repetidamente um modelo geral em direção a respostas especializadas. O modelo resultante pode parecer bem adaptado enquanto perde versatilidade.

A AWS descreve uma taxa de aprendizado de 2e-5 como uma região favorável em seus experimentos. Ela também identifica uma configuração com tamanho de lote de oito e 5% de warmup para preservar o conhecimento geral. O warmup aumenta gradualmente a taxa de aprendizado no início do treinamento.

Essas configurações devem ser tratadas como um ponto de partida experimental, não como uma prescrição de produção. O código de treinamento de exemplo da AWS usa uma proporção de warmup diferente da configuração destacada para retenção. Essa diferença ilustra por que copiar um trecho não reproduz todos os resultados reportados.

O tamanho de lote, o número de exemplos que contribuem para uma atualização, também interage com o comportamento do treinamento. A AWS discute o equilíbrio entre lotes menores e mais ruidosos e lotes maiores que produzem menos atualizações. Alterar essa configuração muda o experimento, mesmo que a taxa de aprendizado permaneça fixa.

A duração do treinamento acrescenta outra interação. A AWS afirma que a correção julgada chega a 90,0% em três épocas, enquanto estender além de três degrada as variantes que testou. Essa observação apoia a verificação de checkpoints anteriores em vez de presumir que o último checkpoint é o melhor.

A perda de treinamento, o erro medido em relação aos alvos de treinamento, pode continuar melhorando enquanto capacidades não relacionadas se deterioram. A validação extraída de uma distribuição semelhante também pode parecer saudável. Portanto, um teste de retenção deve examinar o comportamento fora do alvo de especialização.

Para um assistente de programação, isso pode incluir interpretar solicitações ambíguas, explicar um erro ou reconhecer quando faltam informações. Esses exemplos são categorias de avaliação sugeridas, e não resultados medidos na comparação publicada. Sua relevância depende da aplicação.

A orientação prática é definir regressões inaceitáveis antes de revisar os resultados candidatos. Caso contrário, as equipes correm o risco de flexibilizar requisitos depois de ver uma pontuação atraente em uma tarefa. Uma regra de aceitação previamente declarada torna a troca visível e passível de revisão.

O fine-tuning completo do SageMaker só deve entrar em produção depois dessas verificações, mantendo o modelo original como ponto de comparação. Um serviço gerenciado pode concluir o processo de treinamento com sucesso. Apenas a avaliação da aplicação pode estabelecer se a especialização resultante merece implantação.

O Próximo Teste É a Reprodutibilidade e a Adequação à Implantação

A evidência complementar mais forte conectaria ganhos de qualidade reproduzíveis a capacidades preservadas e a um processo de implantação viável.

O primeiro sinal a acompanhar nos próximos meses é a reprodução independente da comparação de programação. Reproduções úteis identificariam versões de modelos, preparação do conjunto de dados, configurações de treinamento, configuração do juiz e prompts de avaliação. Elas explicariam quais mudanças produzem a vantagem reportada.

Ganhos repetidos de FFT sob condições claramente descritas reforçariam o argumento da AWS a favor de uma adaptação mais profunda. Resultados que dependem fortemente de uma configuração restrita limitariam esse argumento. Qualquer um dos resultados ajudaria as equipes a decidir onde outro experimento de treinamento se justifica.

O segundo sinal é uma validação comportamental mais forte ao lado das pontuações existentes. Para programação, isso significa verificações executáveis e uma revisão cuidadosa das categorias de falhas. Para retenção, significa testar as capacidades que uma aplicação especializada ainda exige.

Ganhos consistentes nessas medições reforçariam o argumento de que a adaptação entrega qualidade útil. Ganhos limitados à semelhança textual ou a um juiz específico sustentariam uma conclusão mais restrita. O desenvolvimento importante seria a concordância entre a avaliação e os requisitos reais da aplicação.

O terceiro sinal é um relato completo da adequação operacional. Os compradores precisam compreender as exigências de treinamento, os artefatos resultantes, as restrições de implantação e o processo de atualização de um modelo personalizado. Melhorias de qualidade só importam se o modelo resultante se encaixar no fluxo de trabalho pretendido.

A documentação atual do FFT identifica requisitos computacionais mais altos, maior tempo de treinamento e artefatos maiores do que o LoRA. Ela também afirma que o FFT é incompatível com personalização contínua. Essa limitação importa para equipes que planejam adaptações repetidas.

A pesquisa original sobre LoRA também complica comparações simplistas de implantação. Ela descreve uma abordagem sem latência adicional de inferência em sua implementação testada. Portanto, as equipes devem examinar o artefato real e a configuração de serviço antes de tratar a sobrecarga de adaptadores como uma vantagem automática do FFT.

Começar exige menos trabalho de infraestrutura do que operar um cluster de treinamento, mas ainda requer um experimento controlado. A orientação da AWS sobre fine-tuning supervisionado oferece suporte a exemplos rotulados e documenta as configurações relevantes. A escolha do método não elimina a necessidade de dados de avaliação limpos.

Uma comparação inicial sólida mantém consistentes o modelo base e o conjunto de dados, enquanto documenta configurações específicas de cada método. Ela preserva um conjunto de testes separado e registra falhas juntamente com as pontuações agregadas. Isso cria uma trilha de evidências que outro engenheiro pode inspecionar e repetir.

A documentação do serviço e o blog também apresentam exemplos diferentes de SDK. Os desenvolvedores devem adequar os detalhes de implementação à versão instalada de seu software e à interface compatível. O trecho da publicação estabelece o fluxo de trabalho pretendido, em vez de garantir compatibilidade com todos os ambientes locais.

Para os compradores, a mudança consequente é o acesso a outra rota de adaptação que pode ser testada. A AWS apresentou razões para examinar atualizações completas, ao mesmo tempo em que mostrou que essas atualizações exigem moderação. A infraestrutura gerenciada reduz o trabalho de configuração, mas mantém exigente a seleção do modelo.

Antes de adotar o fine-tuning completo do SageMaker, escolha uma carga de trabalho em que uma adaptação melhor resolveria um problema específico do usuário. Estabeleça como você medirá essa melhoria e quais capacidades existentes devem ser preservadas. Submeta o modelo base, o LoRA e o FFT aos mesmos testes relevantes. Mantenha as configurações de treinamento e os artefatos do modelo vinculados a cada resultado e, então, examine as falhas por trás das médias. Leia o contexto completo do benchmark antes de tomar emprestado seu número mais forte. Se o FFT melhorar a tarefa-alvo enquanto atende aos requisitos de retenção e implantação, o experimento apoia avançar. Se o LoRA atender a esses requisitos com menos esforço de treinamento, esse resultado é igualmente acionável. Qual método merece implantação na sua carga de trabalho, e quais evidências fariam sua equipe mudar de decisão?

 
 

Comece grátis

Um assistente de IA local-first com gestão de conhecimento pessoal

Para oferecer uma experiência de IA melhor,

atualmente, o remio é compatível apenas com Windows 10+ (x64) e M-Chip Macs.

Seu parceiro de IA no trabalho
Faça mais com o remio

Planeje. Crie. Entregue.
Tudo em um só lugar.

bottom of page