Kami baru-baru ini melihat eksploit sebesar $1,78 juta yang disebabkan oleh kerentanan yang ditulis oleh Claude Opus 4.6.

cbETH dipatok pada $1 bukan $2.000.
Tak lama setelah @OpenAI meluncurkan EVMbench. Singkatnya, ini adalah tolok ukur yang mengevaluasi kemampuan agen AI untuk berinteraksi dengan kontrak pintar.

Ini memiliki 3 mode evaluasi utama:
> Detect: menganalisis kemampuan agen untuk mendeteksi kerentanan
> Patch: menganalisis kemampuan agen untuk memperbaiki kerentanan tersebut
> Exploit: menganalisis kemampuan agen untuk mengeksploitasi kerentanan tersebut
Analisis mereka menunjukkan bahwa model terbaru (Opus 4.6, GPT-5.3-Codex, dll.) sangat baik dalam mengeksploitasi kerentanan, tetapi lemah dalam mendeteksi dan memperbaikinya.
Dan itulah yang saya amati saat menjalankan agen saya sendiri pada model terbaru. Dalam tim agen saya, saya selalu menyertakan agen auditor yang mendapatkan konteks penuh, dengan tujuan utama menemukan kerentanan.
Ketika menemukan satu, agen pengembang memperbaikinya dengan mudah.
Tapi masalahnya adalah dari 10 kerentanan, mungkin hanya menemukan 3. Untuk saat ini, kita benar-benar tidak bisa mengandalkan agen untuk mendeteksi kerentanan dengan benar.
Meluncurkan tolok ukur ini adalah langkah yang sangat kuat. Saya bersemangat untuk mengujinya dengan agen saya.
Untuk jelasnya, ini bukan pemindai keamanan atau alat audit siap produksi. Ini terutama dimaksudkan untuk mengukur kemampuan AI, membandingkan model, dan memberikan metrik tentang bagaimana AI berkembang di bidang ini.
Pada dasarnya, ini adalah alat yang memungkinkan AI dievaluasi dan ditingkatkan di bidang ini, dan sejujurnya, kita sangat membutuhkannya.