Los grandes modelos de lenguaje claramente retienen toneladas de datos de entrenamiento en sus redes neuronales, pero aquí está lo que me molesta: nadie realmente entiende dónde vive esta información memorizada dentro de estos modelos. ¿Qué capas la retienen? ¿Cómo almacena y recupera la arquitectura hechos específicos? Todo el mecanismo detrás de la memorización en los LLM sigue siendo sorprendentemente confuso, incluso a medida que dependemos de estos sistemas cada vez más.