Dev iconDevAug 31, 2026 ~1 min source read

TF-IDF: A matemática dos anos 70 que expõe a farsa do seu RAG de milhões

Nos últimos artigos da série, cobrimos desde a geometria da busca vetorial e os custos astronômicos de infraestrutura até a criação de Evals automatizados no CI/CD com a Tríade do RAG. E a ferramenta criada em 1972 por Karen Spärck Jones — o TF-IDF — continua sendo o teste de sanidade mais importante que o seu sistema de IA pode passar.

TF-IDF: A matemática dos anos 70 que expõe a farsa do seu RAG de milhões

Share this story

Send the public story page.

Useful takeaways from this story.

Nos últimos artigos da série, cobrimos desde a geometria da busca vetorial e os custos astronômicos de infraestrutura até a criação de Evals automatizados no CI/CD com a Tríade do RAG.

E a ferramenta criada em 1972 por Karen Spärck Jones — o TF-IDF — continua sendo o teste de sanidade mais importante que o seu sistema de IA pode passar.

Inverse Document Frequency) é uma métrica estatística projetada para medir o quão importante uma palavra é para um documento dentro de um conjunto de dados.

Building the complete brief

The page is ready to read now. The fuller skim-friendly version will appear here automatically.

The useful part

Nos últimos artigos da série, cobrimos desde a geometria da busca vetorial e os custos astronômicos de infraestrutura até a criação de Evals automatizados no CI/CD com a Tríade do RAG. E a ferramenta criada em 1972 por Karen Spärck Jones — o TF-IDF — continua sendo o teste de sanidade mais importante que o seu sistema de IA pode passar. Inverse Document Frequency) é uma métrica estatística projetada para medir o quão importante uma palavra é para um documento dentro de um conjunto de dados.

How it works

  • A matemática por trás dele se divide em duas partes simples e elegantes: A.
  • Term Frequency (TF) — Frequência do Termo Mede a frequência com que uma palavra aparece em um texto específico.
  • Se a palavra "kernel" aparece 10 vezes em um bloco de código, ela é estatisticamente relevante para aquele bloco.
  • TF(termo, documento) = (Ocorrências do termo no documento) / (Total de palavras no documento) B.
  • Inverse Document Frequency (IDF) — Frequência Inversa no Corpus Criado por Karen Spärck Jones, o IDF é a verdadeira sacada do algoritmo.

Details worth keeping

(A genialidade de 1972) O TF-IDF (Term Frequency. Ele penaliza palavras extremamente comuns (como "de", "que", "para...

Keep reading in the app

Open the app view to save this story, compare related coverage, and continue from the same source.

Open in app