Hệ thống tự trị luôn sợ không phải là sai sót, mà là xảy ra chuyện rồi nhưng không ai có thể giải thích rõ tại sao nó lại làm như vậy.

Thực ra con người có thể chấp nhận những sai lầm trong phán đoán, nhưng rất khó chấp nhận một trạng thái:
Kết quả đã xảy ra, còn quá trình ra quyết định lại trở thành một hộp đen.

Nhiều AI gặp khó khăn trong các tình huống rủi ro cao, không phải vì năng lực không đủ, mà vì logic quyết định của nó không thể được xác thực từ bên ngoài.

Lựa chọn của @inference_labs rất rõ ràng:
Không tốn công giải thích mô hình 「trong đầu」 đang nghĩ gì, mà trực tiếp chứng minh hành vi của nó có vượt quá giới hạn hay không.

Hành vi có hợp quy tắc không, quy tắc có được tuân thủ nghiêm ngặt không, quyết định có thể truy xuất nguồn gốc không.
Trong thế giới của hệ thống tự trị, điều này thường quan trọng hơn 「giải thích hợp lý một cách trôi chảy」.