Modelos de linguagem grandes claramente retêm toneladas de dados de treinamento em suas redes neurais, mas aqui está o que me incomoda: ninguém realmente entende onde essas informações memorizadas vivem dentro desses modelos. Tipo, quais camadas as mantêm? Como a arquitetura armazena e recupera fatos específicos? Todo o mecanismo por trás da memorização em LLMs continua surpreendentemente confuso, mesmo à medida que confiamos cada vez mais nesses sistemas.