Các mô hình ngôn ngữ lớn rõ ràng giữ lại rất nhiều dữ liệu huấn luyện trong các mạng nơ-ron của chúng, nhưng điều làm tôi bực mình là: không ai thực sự hiểu nơi thông tin đã được ghi nhớ này sống ở đâu bên trong các mô hình này. Như, lớp nào giữ nó? Kiến trúc đó lưu trữ và truy xuất các sự thật cụ thể như thế nào? Toàn bộ cơ chế đằng sau việc ghi nhớ trong các LLM vẫn còn khá mơ hồ, ngay cả khi chúng ta ngày càng phụ thuộc vào những hệ thống này.