Modelo de IA próprio: os quatro degraus antes de treinar um, e o teste que diz se você precisa

O que é um modelo próprio, e o que costuma ser vendido como um

Um modelo de IA próprio — custom model — é um modelo treinado no dado da sua empresa, e não um modelo pronto com instruções melhores. A diferença não é de grau: no primeiro caso o julgamento da sua operação entra nos pesos do modelo; no segundo, ele é explicado ao modelo toda vez, em cada pedido.

A confusão tem uma origem comercial e vale nomeá-la. “Treinamos um modelo com os seus dados” é uma frase que descreve, na maior parte das propostas, outra coisa: ligar um modelo pronto aos seus documentos, de modo que ele busque o trecho certo antes de responder. Isso é contexto, resolve a maioria dos casos, é mais barato e é mais fácil de corrigir — e não é treino. A palavra importa porque o que se compra em cada caso é diferente, e o que fica com a empresa também.

O teste rápido para saber qual das duas está na mesa: pergunte o que acontece se um documento mudar amanhã. Se a resposta é “ele passa a considerar o documento novo na hora”, é contexto. Se é “precisamos treinar de novo”, é modelo próprio. As duas respostas são legítimas; a errada é a que não sabe dizer.

Os quatro degraus entre a instrução e o treino

Existem quatro degraus, e eles são cumulativos: instrução, contexto, ajuste fino e treino próprio. Cada um custa mais que o anterior, exige mais que o anterior e resolve uma classe de problema que o anterior não resolve. Subir sem provar que o degrau de baixo falhou é a forma mais comum de gastar caro para resolver o que sairia barato.

Os dois primeiros degraus são o que as ferramentas de mercado entregam, e é por isso que a maioria dos casos para neles com razão. O terceiro é a fronteira em que as conversas se confundem: muita coisa vendida como “modelo customizado” é ajuste fino, o que é honesto quando dito com esse nome. O quarto é a exceção, e ele começa muito antes do modelo — começa em descobrir se o dado existe.

O teste que diz se o seu caso precisa de um

O teste tem uma pergunta só: você já tentou com uma ferramenta pronta, dando a ela toda a informação escrita que existe, e ela continua errando exatamente no caso que importa? Se sim, e se o erro é de julgamento — não de informação faltando —, o seu caso é candidato a modelo próprio.

Três famílias de problema costumam passar nesse teste, e as três têm a mesma característica: o conhecimento que decide nunca foi publicado.

O julgamento que só existe na sua operação. A chapa que só o seu inspetor sabe reprovar, o laudo que só o seu técnico sabe ler, o pedido que o seu analista sabe que vai dar problema antes de dar. Não há manual porque ninguém escreveu — e quando se tenta escrever, o resultado é uma regra que cobre os casos fáceis e falha nos difíceis, que são justamente os que importam.

O vocabulário da sua área. Domínios com linguagem própria, em que a mesma palavra significa outra coisa dentro da empresa, e em que o modelo pronto responde com o sentido do mundo em vez do sentido de casa. Isso às vezes se resolve com instrução; quando o vocabulário é grande e a ambiguidade é sistemática, não se resolve.

O dado que não é texto. Imagem de inspeção, sinal de equipamento, exame, áudio de operação. Aqui não é questão de o modelo pronto decidir diferente: é que o seu problema não é o problema para o qual ele foi construído.

Quando não é — e é o caso da maioria

Se a resposta certa está escrita em algum documento seu, o problema é de busca e não de treino. Três sinais indicam isso com clareza: o erro muda quando você reescreve a instrução, a informação que faltava existe num arquivo, e as exceções são poucas o bastante para caber numa regra.

O primeiro sinal é o mais barato de testar e quase ninguém testa. Pegue os casos em que a ferramenta errou, reescreva a instrução dizendo explicitamente o que ela deveria ter considerado, e rode de novo. Se o erro some, você tem um problema de instrução — e treinar um modelo para resolvê-lo é comprar uma máquina para apertar um parafuso.

O segundo é uma pergunta de arquivo: alguém aí conseguiria responder certo consultando algum documento? Se sim, o trabalho é fazer o sistema consultar esse documento — e a parte difícil passa a ser organizar o que está espalhado, que é um projeto de dado, não de modelo.

O terceiro é de volume. Exceção rara se resolve com regra escrita e com alguém decidindo os casos que escapam. Modelo próprio se justifica quando a exceção é frequente o suficiente para que decidir caso a caso seja o gargalo — e quando ela é variada demais para caber numa lista de regras.

O que o projeto exige, e por que ele começa antes do modelo

Um projeto de modelo próprio é, na maior parte do tempo, um projeto de dado: reunir exemplos do julgamento certo, incluindo os casos difíceis, e marcá-los um a um com a resposta que a sua empresa considera correta. Essa marcação é a anotação, e ela é o trabalho — o treino em si é a parte curta.

Quem anota precisa ser quem sabe julgar. É o inspetor, o técnico, o analista sênior — a mesma pessoa cuja escassez motivou o projeto, o que produz a tensão central desse tipo de trabalho: o insumo é o tempo de quem menos tem tempo. Projetos que ignoram isso terceirizam a anotação para quem não domina o critério e produzem um modelo que aprendeu um julgamento errado, com aparência perfeita.

Duas coisas reduzem esse custo sem estragar o resultado. A primeira é anotar por amostragem dirigida: em vez de marcar tudo, marcar os casos em que o modelo pronto erra e os casos de fronteira — é onde o aprendizado está concentrado. A segunda é dupla checagem apenas nos casos de fronteira, com um terceiro desempate quando os dois especialistas discordam; quando eles discordam muito, a descoberta é outra, e é sobre a empresa: o critério não está fechado nem entre humanos.

Sobre dado de cliente: parte do que se usa costuma ser pessoal, e isso define o desenho do projeto desde o início. Anonimizar antes de anotar, restringir quem acessa, registrar o uso e manter base de treino separada da base de operação são práticas mínimas — e são mais fáceis de fazer no começo que de corrigir depois que o dado já circulou.

Como se sabe que ficou bom

Por um conjunto de avaliação: um lote de casos separado antes do treino, que o modelo nunca viu, com a resposta certa definida pelo seu especialista — e comparado contra um controle, que é o modelo pronto tentando a mesma tarefa. Sem esse conjunto, não há como afirmar que o modelo melhorou; há apenas a impressão de quem o construiu.

O controle é a parte que mais se esquece e a que mais decide. Um modelo próprio que acerta bem, mas acerta o mesmo que um modelo pronto com uma boa instrução, é um projeto caro que produziu um empate. Só a comparação lado a lado responde à pergunta que a empresa está de fato fazendo, que não é “o modelo é bom?” e sim “ele é melhor do que o que eu já conseguiria sem ele?”.

A avaliação também precisa distinguir tipos de erro, porque eles não custam igual. Reprovar uma peça boa e aprovar uma peça ruim têm consequências diferentes na operação; um modelo com o mesmo acerto total pode ser péssimo ou aceitável conforme o lado para o qual ele erra. Essa ponderação é decisão de negócio, e ela precisa estar escrita antes do treino — depois, ela vira justificativa do resultado que saiu.

O que fica com a empresa no fim

Três coisas, e não uma: o modelo, o dado anotado e a avaliação. As duas últimas são o que tornam a primeira repetível — o dado anotado é o que permite treinar de novo, e a avaliação é o que diz se o modelo seguinte ficou melhor. Sem elas, a empresa é dona de um arquivo que ninguém sabe se ainda serve.

O dado anotado é o ativo mais durável dos três, e o menos comentado. Modelos base envelhecem depressa: o que era o melhor disponível ano passado hoje é concorrido por opções mais baratas. O seu conjunto anotado não envelhece do mesmo jeito — ele é o julgamento da sua empresa, escrito de uma forma que uma máquina consegue ler, e serve para treinar o modelo seguinte, e o depois dele.

Daí a pergunta de contrato que vale fazer antes de assinar: quem fica com o dado anotado, e em que formato ele é entregue? Fornecedor que entrega o modelo mas retém a base anotada está vendendo um resultado e mantendo a capacidade — e a próxima rodada de treino volta a passar por ele, necessariamente.

O que se diz por aí e não se confirma

Três afirmações circulam sobre modelo próprio sem apuração que as sustente, e as três fazem o trabalho parecer mais automático do que ele é. O que decide um projeto desses não é o treino: é o dado, a anotação e a avaliação — as três feitas por gente.

Este guia também não traz estatística de mercado, e a ausência é decisão: os números que circulam sobre ganho de acurácia com ajuste fino e sobre custo médio de projetos de IA não passaram no critério da Kapstan — estudo nomeado, instituição, amostra, data de campo e endereço primário conferido na publicação. Acurácia, além disso, é medida contra um conjunto de teste específico: fora dele, o número não significa nada.

Por onde começar

Comece escrevendo o caso em que a ferramenta pronta erra, monte o conjunto de avaliação antes de treinar qualquer coisa, prove que os degraus baratos não resolvem, e só então trate o treino como projeto — com dono do dado anotado definido em contrato.

1. Escreva o caso que erra, com exemplos na mão

   Não “ele às vezes erra”: uma pasta com casos concretos, a resposta que veio e a resposta que deveria ter vindo. É esse material que decide o degrau, e ele costuma revelar que os erros são de duas ou três naturezas diferentes — cada uma com solução própria.

2. Monte o conjunto de avaliação primeiro

   Casos separados que nenhum treino vai ver, com a resposta certa definida pelo seu especialista e com o peso de cada tipo de erro declarado. Sem ele, qualquer resultado depois será uma impressão — e impressão de quem construiu costuma ser generosa.

3. Prove que instrução e contexto não resolvem

   Rode os dois degraus baratos contra o mesmo conjunto de avaliação e guarde o número. Ele é o controle do projeto inteiro, e é o que permite dizer, no fim, se o modelo próprio ganhou de alguma coisa — ou se apenas empatou por mais dinheiro.

4. Trate a anotação como o projeto que ela é

   Quem anota, com que critério escrito, quanto tempo por semana, e o que fazer quando dois especialistas discordam. Discordância frequente não é ruído: é a descoberta de que o critério da empresa não está fechado, e isso precisa ser resolvido por gente antes de virar treino.

5. Defina em contrato de quem é o dado anotado

   Ele é o ativo mais durável do projeto — o que treina o modelo seguinte e o de depois. Quem entrega o modelo e retém a base está vendendo um resultado e mantendo a capacidade; peça também o formato em que ele será entregue.

O vocabulário mínimo

Cinco termos aparecem em toda conversa sobre modelo próprio e quase nunca são definidos por quem os usa. Eles estão aqui com o sentido que este guia lhes dá, e é o mesmo que os outros textos desta série usam.

Modelo base

O modelo pronto de um fornecedor, treinado em dado público e usado como ponto de partida. É o que quase todo projeto de IA usa hoje, e o que resolve a maioria dos casos sem qualquer treino adicional.

Contexto

Dar ao modelo, no momento do pedido, a informação de que ele precisa — buscando o trecho certo nos seus documentos antes de responder. Corrige-se em minutos, acompanha documento que muda, e é o que muita proposta chama de “treinar com os seus dados”.

Ajuste fino

Continuar o treino de um modelo base com exemplos do julgamento da sua empresa, até que ele decida como você decidiria. Serve quando o modelo tem a informação e ainda assim escolhe diferente — no critério, no formato ou no vocabulário.

Anotação

Marcar cada exemplo com a resposta que a sua empresa considera correta. É feita por quem sabe julgar, é a maior parte do custo de um projeto de modelo próprio, e o resultado dela é o ativo que sobrevive à troca de modelo.

Conjunto de avaliação

Um lote de casos separado antes do treino, que o modelo nunca viu, usado para medir se ele melhorou — sempre contra um controle. É o que transforma “achamos que ficou melhor” em número, e o que continua valendo quando sair um modelo novo.

Perguntas frequentes