Model bahasa besar jelas menyimpan banyak data pelatihan dalam jaringan saraf mereka, tetapi inilah yang mengganggu saya: tidak ada yang benar-benar memahami di mana informasi yang diingat ini sebenarnya berada di dalam model-model ini. Seperti, lapisan mana yang menyimpannya? Bagaimana arsitektur menyimpan dan mengambil fakta-fakta spesifik? Seluruh mekanisme di balik memorisasi dalam LLM tetap mengejutkan kabur, meskipun kita semakin bergantung pada sistem-sistem ini.