Web Scraping da OpenAI expôs um conflito que a Microsoft não conseguiu manter privado

O web scraping da OpenAI agora enfrenta uma contradição prejudicial vinda de dentro de sua parceira corporativa mais próxima. Um executivo da Microsoft teria chamado a prática de “o maior roubo de trabalho da história humana”.

A declaração não partiu de um crítico que protestava de fora do setor de IA. Brent Hecht, diretor de Ciência Aplicada da Microsoft, teria escrito isso em um memorando interno de janeiro de 2023. A Microsoft investiu na OpenAI e integrou seus modelos a produtos, incluindo o Copilot.

Material tornado público em um processo por direitos autorais trouxe agora esse alerta privado à vista do público. Os documentos sugerem que funcionários da Microsoft e da OpenAI entendiam que produtos de IA poderiam enfraquecer as editoras que forneciam seu material de treinamento.

Essas evidências não resolvem se o treinamento de modelos se qualifica como uso justo sob a lei de direitos autorais dos EUA. Mas tornam mais nítido o conflito central enfrentado pela OpenAI e pela Microsoft. Elas descrevem o treinamento como transformativo, enquanto seus próprios funcionários teriam se preocupado que os produtos resultantes substituíssem o jornalismo e prejudicassem sua economia.

O que os documentos tornados públicos dizem que aconteceu

O novo desenvolvimento não é apenas mais uma alegação de que a OpenAI copiou artigos. É uma evidência de que pessoas dentro das empresas reconheceram o conflito resultante.

O material surgiu do litígio consolidado sobre direitos autorais envolvendo o The New York Times e outras editoras. O Times processou originalmente a Microsoft e a OpenAI em tribunal federal em dezembro de 2023.

As editoras alegam que as empresas copiaram artigos protegidos por direitos autorais para criar conjuntos de dados de treinamento e produtos comerciais de IA. A OpenAI e a Microsoft sustentam que seus usos são transformativos e protegidos pelo uso justo.

Os documentos agora visíveis acrescentam comunicações internas, depoimentos e números relatados sobre conjuntos de dados a essa divergência. No entanto, uma limitação importante permanece. Grande parte das informações parece surgir do pedido de julgamento sumário das editoras, enquanto alguns anexos subjacentes seguem sob sigilo.

Isso significa que os leitores estão vendo citações selecionadas e apresentadas por uma das partes em um litígio em curso. As declarações são relevantes, mas seus contextos completos nem sempre estão disponíveis.

Segundo uma reportagem sobre o scraping da OpenAI, Hecht alertou que grandes modelos estavam absorvendo trabalho humano em uma escala extraordinária. Outras coberturas identificam sua formulação como “um roubo impressionante de proporções sem precedentes”.

Hecht teria escrito que milhões de pessoas veriam modelos “aspirando” seu trabalho como roubo. Em seguida, descreveu a prática como possivelmente o “maior roubo de trabalho da história humana”.

A expressão é deliberadamente abrangente e historicamente contestável. Sua importância aqui decorre de quem teria usado essa expressão, não de aceitar a comparação como um julgamento histórico ponderado.

Hecht trabalhava dentro da Microsoft, a empresa que atua como a mais importante parceira tecnológica e comercial da OpenAI. Seu alerta sugere que as objeções éticas e econômicas não estavam limitadas a editoras, autores ou pesquisadores externos.

A Microsoft procurou se distanciar dessa conclusão. Um porta-voz da empresa disse à AFP que os comentários de Hecht representavam a perspectiva individual de um funcionário, não a posição da Microsoft.

Os documentos descrevem, segundo relatos, mais de dez milhões de artigos jornalísticos coletados por scraping. Quase um terço teria vindo do The New York Times, segundo um relato sobre cópia de artigos baseado em reportagem da AFP.

Outro número diz respeito a conjuntos de dados de treinamento intermediário, que são coleções usadas para continuar o treinamento de um modelo após seu desenvolvimento inicial. Esses conjuntos de dados conteriam 91.692 cópias de obras do Times, do Daily News e do Center for Investigative Reporting.

Um conjunto de dados derivado do Common Crawl teria contido mais de dois milhões de documentos de nytimes.com. O Common Crawl é um arquivo sem fins lucrativos que periodicamente coleta grandes partes da web pública.

As editoras também afirmam que a Microsoft forneceu material à OpenAI por meio de iniciativas chamadas Project Taxi e Project Mango. O Project Mango teria produzido um conjunto de dados contendo pelo menos 160.903 obras únicas pertencentes a organizações de notícias envolvidas no litígio.

As alegações vão além da coleta de páginas publicamente acessíveis. O documento cita, segundo relatos, um funcionário da OpenAI que descreveu um método para contornar o paywall do Times. O presidente da OpenAI, Greg Brockman, teria respondido: “ah nice”.

Essa troca será analisada de perto porque restrições de acesso podem afetar tanto a análise jurídica quanto a factual. Copiar uma página abertamente disponível e contornar um paywall não levantam questões idênticas.

O documento também alega que parte da preparação dos conjuntos de dados removeu avisos de direitos autorais antes que as informações chegassem a um modelo. A OpenAI não reconheceu que essas práticas configuram infração, e as trocas citadas exigem seu contexto completo.

Ainda assim, esses detalhes mudam o caráter da disputa. O caso já não é enquadrado apenas como editoras inferindo como seu trabalho chegou ao ChatGPT.

Os documentos oferecem uma visão relatada de conhecimento interno, métodos técnicos de aquisição e preocupações comerciais. Esses temas podem influenciar como um tribunal avalia finalidade, efeitos sobre o mercado e a credibilidade da narrativa de cada lado.

Por que o Web Scraping da OpenAI se tornou um teste de uso justo

O web scraping da OpenAI importa juridicamente porque o mesmo conteúdo teria ajudado a criar produtos capazes de responder aos usuários sem direcioná-los de volta às editoras.

O uso justo permite alguns usos não licenciados de obras protegidas por direitos autorais. Os tribunais geralmente examinam a finalidade do uso, a natureza da obra original, a quantidade copiada e o efeito sobre seu mercado potencial.

Nenhum fator isolado decide todos os casos. A análise depende de obras específicas, métodos de cópia, resultados e mercados.

A OpenAI argumenta que o treinamento de modelos transforma o material-fonte em representações estatísticas usadas para gerar novas respostas. Também argumenta que fatos contidos em coberturas jornalísticas não são protegidos por direitos autorais.

As editoras respondem que seus processos dizem respeito à expressão protegida, não à propriedade dos fatos. Elas argumentam que a OpenAI copiou artigos completos em escala e criou produtos que competem pelos mesmos leitores.

Decisões recentes sobre direitos autorais e IA deram suporte relevante aos desenvolvedores. Tribunais na Califórnia trataram alguns usos de livros para treinamento de modelos como transformativos, embora os fatos e as reivindicações remanescentes variassem.

A OpenAI citou essas decisões em sua defesa. O Times argumenta que sua disputa apresenta um registro mais forte de substituição de mercado, porque o ChatGPT e o Copilot podem fornecer informações oportunas semelhantes à produção de uma editora.

Essa distinção torna as declarações internas especialmente importantes. Nick Turley, chefe do ChatGPT na OpenAI, teria escrito que os produtos da empresa eram “em grande medida substitutivos”.

Ele teria previsto que se tornariam mais substitutivos à medida que sua qualidade melhorasse. Turley também teria descrito produtos de IA como uma “ameaça existencial” às editoras.

O CEO da Microsoft, Satya Nadella, teria reconhecido durante um depoimento que conversas com chatbots substituíram algumas visitas a sites subjacentes. Isso não estabelece automaticamente dano de mercado juridicamente reconhecível, mas sustenta a teoria factual das editoras.

As medições internas da Microsoft podem se mostrar mais significativas. Os documentos dizem, segundo relatos, que o mecanismo de respostas do Copilot reduziu as taxas de cliques para o domínio do Times em até 93% em comparação com a busca tradicional do Bing.

A taxa de cliques mede com que frequência os usuários seguem um link exibido. Uma queda pode reduzir impressões publicitárias, assinaturas, descoberta da marca e a capacidade de construir uma relação direta com o leitor.

Esse número precisa ser tratado com cautela. Ele vem de materiais do litígio, e sua metodologia não foi plenamente testada em público. Pode refletir consultas específicas, designs de interface ou períodos de medição, em vez de todo o tráfego do Copilot.

Ainda assim, aponta para a questão no centro do caso. Uma resposta de IA cria uma nova ferramenta ou substitui o mercado da reportagem usada para produzir essa resposta?

Uma apresentação interna da Microsoft teria descrito a situação como um “ciclo de destruição”. Se respostas de IA reduzem o tráfego das editoras, elas recebem menos receita. A menor receita, então, sustenta menos repórteres e menos artigos originais.

Isso deixa os modelos futuros com menos material confiável para absorver. O serviço de IA pode, portanto, enfraquecer a oferta de informação da qual sua qualidade depende.

A preocupação é particularmente aguda para reportagens que exigem trabalho humano dispendioso. Investigações, cobertura de tribunais, reportagens internacionais e jornalismo sobre governos locais não podem ser gerados apenas a partir de texto existente.

Alguém precisa comparecer à audiência, verificar o documento, entrevistar a fonte e assumir a responsabilidade pela publicação. Um modelo pode condensar esse trabalho depois que ele aparece, mas a condensação não financia sua criação.

O caso entrou em uma fase decisiva quando as partes pediram ao juiz distrital dos EUA Sidney Stein que resolvesse questões por meio de julgamento sumário. O julgamento sumário permite que um tribunal decida reivindicações sem julgamento quando nenhuma controvérsia factual relevante exige um júri.

Uma análise de caso sobre direitos autorais e IA informou que Stein deve decidir se partes importantes devem avançar para julgamento. A decisão final não é esperada imediatamente.

O Departamento de Justiça dos EUA apoiou a posição da OpenAI sobre treinamento, enfatizando progresso científico, crescimento econômico e segurança nacional. Essa intervenção mostra o quanto a disputa se estende além de uma única editora.

Uma decisão ampla contra desenvolvedores de modelos poderia elevar o custo de montar corpora de treinamento. Uma decisão ampla favorável aos desenvolvedores poderia reduzir drasticamente o controle das editoras sobre como modelos comerciais usam seus arquivos.

Microsoft e OpenAI enfrentam suas próprias palavras

O conflito principal está entre uma defesa pública de uso justo e alertas privados de que sistemas de IA poderiam substituir seus fornecedores essenciais de conteúdo.

A OpenAI e a Microsoft não precisam provar que sua tecnologia deixa todos os mercados existentes intocados. Produtos transformativos frequentemente mudam setores, e a disrupção de mercado, por si só, não estabelece infração de direitos autorais.

Seu problema mais difícil é mais específico. Declarações internas teriam antecipado substituição, queda no tráfego de referência, prejuízo à economia das editoras e declínio na qualidade do conteúdo futuro.

Essas preocupações se assemelham a elementos do caso das editoras. Elas também complicam o esforço das empresas para retratar efeitos prejudiciais ao mercado como especulativos ou remotos.

Um documento da Microsoft observou, segundo relatos, que um produto final raramente ameaça as bases econômicas de seus fornecedores essenciais. Em seguida, afirmou que a Microsoft havia criado precisamente essa situação para a cadeia de fornecimento de conteúdo que sustenta grandes modelos de linguagem.

Um grande modelo de linguagem, ou LLM, prevê e gera texto a partir de padrões aprendidos durante o treinamento. Sua “cadeia de fornecimento de conteúdo” inclui as pessoas e organizações que produzem material incorporado a conjuntos de dados ou sistemas de recuperação.

Esse enquadramento trata o jornalismo como um insumo para o desenvolvimento de IA. Também reconhece que esse insumo não surge automaticamente.

As editoras empregam repórteres, fotógrafos, editores, designers, advogados e equipes técnicas. Elas financiam pedidos de acesso a registros, viagens, desenvolvimento de fontes, checagem de fatos e correções.

O ChatGPT consegue separar a informação da experiência de publicação que a cerca. Um usuário recebe uma resposta sintetizada sem necessariamente ver o processo de reportagem, os anúncios, a oferta de assinatura ou a relação com a fonte.

Para os leitores, essa conveniência é o produto. Para as editoras, a mesma conveniência pode eliminar o momento em que a reportagem gera valor econômico.

A tensão se torna mais acentuada quando trabalhos protegidos por paywall entram no treinamento. Segundo relatos, Nadella testemunhou que qualquer pessoa que use informações protegidas por paywall para grounding ou treinamento deveria licenciá-las.

Grounding significa fornecer a um modelo informações externas para embasar uma resposta. Ele difere do treinamento porque a informação pode ser recuperada quando o usuário faz uma pergunta.

Segundo relatos, Nadella disse que teria invocado o direito da Microsoft de exigir um novo treinamento se soubesse que a OpenAI havia treinado em material protegido por paywall. Essa declaração não prova que ele sabia que tal cópia ocorreu.

Ela revela, porém, uma distinção que o principal executivo da Microsoft considerava importante. Material protegido por pagamento e controles de acesso traz uma expectativa mais clara de uso comercial licenciado.

A OpenAI firmou acordos de licenciamento com diversas editoras desde o lançamento do ChatGPT. The Associated Press, Axel Springer, News Corp e outras organizações anunciaram vários acordos de conteúdo.

Esses acordos sustentam duas interpretações opostas. A OpenAI pode argumentar que o licenciamento reflete um esforço voltado ao futuro para construir parcerias sustentáveis, e não uma admissão sobre condutas passadas.

As editoras podem argumentar que os acordos demonstram a existência de um mercado de licenciamento funcional. Se conteúdo comparável tem valor licenciável, a cópia não autorizada pode parecer menos um processo técnico abstrato.

O setor não convergiu para uma única abordagem. Algumas editoras licenciam arquivos, outras bloqueiam crawlers de IA, e outras processam empresas. Várias usam as três estratégias em produtos e períodos distintos.

O mercado resultante favorece empresas com poder de negociação. Uma grande editora internacional pode negociar compensação, posicionamento de produtos e condições de atribuição.

Uma pequena redação local tem menos influência. Sua reportagem ainda pode conter fatos únicos que se tornam valiosos para um mecanismo de respostas, especialmente durante emergências ou disputas políticas locais.

Esse desequilíbrio ajuda a explicar por que o litígio se expandiu além do Times. O grupo mais amplo inclui organizações de notícias nacionais, especializadas, investigativas e locais.

Um juiz federal permitiu que as principais alegações de direitos autorais prosseguissem em 2025. Uma decisão judicial anterior rejeitou algumas alegações, mas preservou a disputa principal sobre cópia e desenvolvimento de modelos.

A OpenAI recebeu positivamente a rejeição dessas alegações e disse que desenvolve modelos com dados publicamente disponíveis de uma forma fundamentada no fair use. A Microsoft se recusou a comentar essa decisão.

A distinção entre disponibilidade pública e permissão permanece sem resolução. Uma obra poder ser lida online não torna necessariamente legal toda forma de cópia.

Ao mesmo tempo, os direitos autorais não concedem às editoras controle sobre fatos ou aprendizado comum. O tribunal precisa decidir onde o treinamento computacional se situa entre esses princípios estabelecidos.

Os Autos São Prejudiciais, mas Não Constituem um Veredito

A linguagem interna fortalece a narrativa das editoras, mas não decide, por si só, infração, indenizações ou fair use.

A citação mais dramática vem de um funcionário da Microsoft, não de uma conclusão judicial. Chamar uma atividade de “roubo” em um memorando interno não determina se ela atende aos elementos legais da infração de direitos autorais.

Funcionários frequentemente usam linguagem moral, estratégica ou retórica que difere da análise jurídica. Um tribunal examinará a conduta e as provas, em vez de tratar o vocabulário de uma pessoa como lei determinante.

A Microsoft já enfatizou esse ponto ao descrever os comentários de Hecht como uma perspectiva individual. A empresa também pode argumentar que o debate interno demonstra uma análise responsável de riscos, e não conhecimento corporativo de irregularidades.

As empresas costumam pedir que funcionários identifiquem os piores cenários possíveis. Um memorando de risco pode conter alertas diretos justamente porque os tomadores de decisão querem que danos potenciais sejam expostos com clareza.

Os anexos completos importam por esse motivo. Sem as mensagens ao redor, os destinatários e as respostas, os leitores não podem saber se os executivos aceitaram, rejeitaram ou investigaram cada alerta.

A petição das editoras também tem uma função de advocacia. Seus advogados selecionaram provas que favorecem sua moção e organizaram essas provas em torno de sua teoria jurídica.

OpenAI e Microsoft interpretarão o mesmo registro de maneira diferente. Elas podem contestar o significado das citações, a representatividade dos números de tráfego e a conexão causal entre respostas de IA e perdas das editoras.

Elas também podem argumentar que treinamento e resultado do produto não devem ser tratados como um único ato. Um modelo pode ser treinado em uma obra sem reproduzir essa obra para usuários.

Por outro lado, um produto pode gerar uma resposta substituta usando informações licenciadas, de domínio público ou recuperadas separadamente. O tribunal talvez precise avaliar diferentes conjuntos de dados, modelos e recursos de forma independente.

O número relatado de dez milhões de artigos também exige precisão. A existência de um artigo em um conjunto de dados não revela com que frequência ele afetou o comportamento do modelo.

Tampouco um documento copiado necessariamente permanece recuperável como um artigo armazenado. Em geral, os modelos codificam relações estatísticas aprendidas, em vez de funcionar como arquivos pesquisáveis comuns.

Ainda assim, a memorização pode ocorrer. Às vezes, modelos reproduziram passagens reconhecíveis, especialmente quando o material aparecia repetidamente nos dados de treinamento ou os prompts eram projetados para provocá-la.

As editoras argumentam que tais resultados expõem cópia e concorrem com a obra original. A OpenAI argumenta que prompts atípicos e exemplos isolados não representam o uso normal do produto.

Essa divergência factual importa porque a substituição de mercado não é simplesmente uma questão de alguém preferir o ChatGPT. Os tribunais examinarão se o uso contestado prejudica um mercado existente ou razoavelmente potencial protegido por direitos autorais.

A queda relatada de 93 por cento na taxa de cliques parece relevante, mas o número sozinho não pode responder a essa questão. A comparação deve considerar tipos de consulta, apresentação dos resultados, citações e intenção do usuário.

Uma busca navegacional por um artigo específico do Times difere de um pedido geral por um resumo meteorológico. Uma busca procura a editora, enquanto a outra busca informações que muitas fontes podem fornecer.

A expressão “maior roubo de trabalho” também pode desviar a atenção das questões jurídicas. Sua escala histórica convida a um argumento emocional que nenhum dos lados precisa vencer para ganhar o caso.

Uma investigação mais útil pergunta o que foi copiado, sob quais condições de acesso, para qual finalidade comercial e com qual efeito mensurável. Essas perguntas conectam o processo técnico à doutrina dos direitos autorais.

Os leitores também devem separar o web scraping da OpenAI de toda forma de busca assistida por IA. Treinamento, recuperação em tempo real, indexação, armazenamento em cache, sumarização e reprodução literal são operações diferentes.

Cada uma pode envolver permissões e escolhas de produto distintas. Tratá-las como uma única prática indiferenciada torna mais difícil identificar regras viáveis.

Para trabalhadores do conhecimento, a controvérsia traz um alerta prático. Material colocado online pode circular por conjuntos de dados, índices e sistemas de resposta que mais tarde são difíceis de auditar.

Manter uma base de conhecimento pessoal rastreável não pode impedir o scraping externo. Isso pode preservar fontes, autoria e contexto quando resumos gerados por IA tornam menos claro de onde a informação se originou.

A mesma disciplina importa dentro das empresas. Equipes que adotam ferramentas de IA devem documentar quais fontes sustentam alegações geradas e quais licenças regem essas fontes.

Essa exigência não se trata apenas de evitar litígios. A proveniência ajuda os usuários a distinguir evidência original de síntese gerada por modelos.

O Que Acontece em Seguida no Caso de Scraping da OpenAI

Três sinais mostrarão se essas divulgações mudam o resultado jurídico, o mercado de licenciamento ou o design dos produtos de respostas por IA.

O primeiro sinal é a decisão de julgamento sumário do juiz Stein. A decisão determinará quais questões podem ser decididas agora e quais exigem um julgamento.

Se o tribunal aceitar partes importantes do argumento das editoras, as provas internas sobre substituição e paywalls se tornarão mais relevantes. Um julgamento poderia expor anexos e depoimentos adicionais ao escrutínio público.

Se o tribunal conceder ampla proteção à OpenAI e à Microsoft, as divulgações continuarão sendo prejudiciais à reputação sem produzir a mudança jurídica que as editoras desejam. Esse resultado fortaleceria a posição de fair use de outros desenvolvedores de modelos.

Uma decisão dividida também é plausível. O juiz poderia distinguir o treinamento em páginas acessíveis da contornação de paywalls, de determinados resultados ou de programas específicos de dados da Microsoft.

Tais distinções importariam mais do que um simples rótulo de vencedor. Elas poderiam estabelecer regras diferentes para coleta, treinamento, recuperação e respostas geradas.

O segundo sinal é como as práticas de licenciamento mudam antes de um julgamento final. A OpenAI já mostrou que negociará com editoras em algumas circunstâncias.

Observe se os acordos passam a abranger treinamento histórico, recuperação em tempo real, citações de modelos, divisão de receita ou os quatro. Cada termo aborda uma parte diferente do conflito.

Licenças de treinamento histórico atribuiriam valor ao uso passado de conjuntos de dados. Acordos de recuperação regeriam o acesso atual quando uma resposta precisa de informações recentes.

Cláusulas de citação determinariam o quão visivelmente os usuários veem as fontes originais. Acordos de receita tratariam de saber se as editoras participam quando sua reportagem sustenta respostas comerciais.

A questão crucial é se veículos menores terão acesso a mercados semelhantes. Um sistema de licenciamento que atende apenas às maiores editoras deixaria sem solução o problema subjacente de oferta.

Licenciamento coletivo ou termos padronizados legíveis por máquina poderiam ampliar a participação. No entanto, esses sistemas ainda precisariam de prestação de contas transparente e de uma forma de identificar qual conteúdo influenciou qual serviço.

O terceiro sinal é o comportamento do produto. Microsoft e OpenAI podem responder sem esperar pelos tribunais, mudando a forma como os sistemas de resposta direcionam a atenção.

Links em destaque, por si só, talvez não resolvam o problema. Segundo relatos, um engenheiro da OpenAI reconheceu que os usuários podem não seguir links independentemente de sua posição.

Um teste melhor é a qualidade mensurável das referências. As editoras precisam de leitores que se envolvam, assinem ou reconheçam a fonte, e não apenas de uma citação abaixo de uma resposta substituta completa.

Empresas de IA poderiam limitar resumos quando uma consulta busca um artigo protegido específico. Elas também poderiam distinguir, na interface, a recuperação licenciada do conhecimento geral do modelo.

Enquanto isso, as editoras continuarão testando barreiras técnicas e alegações jurídicas. Espere mais disputas sobre controles de crawler, paywalls, páginas em cache e conteúdo fornecido por índices de busca.

O setor mais amplo precisa decidir se a reportagem original é apenas mais uma matéria-prima ou um serviço que exige investimento contínuo. O alerta interno da Microsoft sobre um “ciclo de destruição” torna essa escolha mais difícil de ignorar.

Para desenvolvedores, o caso deve influenciar a governança de dados agora. Um documento tecnicamente acessível não está automaticamente livre de risco contratual, de direitos autorais ou reputacional.

Para compradores empresariais, a procedência deve se tornar um requisito do produto. Pergunte aos fornecedores se as respostas vêm da memória de treinamento, de recuperação em tempo real, de bancos de dados licenciados ou de documentos controlados pelo cliente.

Para as editoras, esperar por uma decisão final também tem seu custo. Elas precisam de evidências que mostrem como as interfaces de IA alteram os encaminhamentos, as assinaturas e o comportamento dos leitores.

Para os usuários, a conveniência continua sendo real. Chatbots podem combinar informações rapidamente e tornar assuntos difíceis mais fáceis de abordar.

A resposta responsável não é fingir que a síntese cria suas próprias evidências. Os leitores devem abrir fontes primárias quando precisão, pagamento ou responsabilização forem importantes.

A raspagem da web pela OpenAI tornou-se mais do que uma disputa sobre como um modelo adquiriu texto. Agora, ela testa se as empresas de IA podem depender do jornalismo enquanto desviam a atenção que o financia.

O tribunal decidirá as alegações legais. Editoras, desenvolvedores e usuários decidirão se a economia da informação que sustenta esses sistemas consegue sobreviver ao sucesso deles.

Da próxima vez que uma resposta de IA substituir a visita a uma fonte, faça uma pergunta prática: quem financiou a reportagem original e essa organização ainda conseguirá financiar a próxima matéria?