Anil Seth vừa mô tả một cái bẫy không có lối thoát. Ngành công nghệ đang bước vào đó với đôi mắt mở. Seth: “Nếu chúng ta cùng nhau tin rằng các hệ thống AI, các mô hình ngôn ngữ và bất cứ thứ gì khác có ý thức, thì điều này thật tồi tệ theo cả hai cách.” Theo cả hai cách. Kết quả là thảm họa cấu trúc theo cả hai hướng. Nếu các máy móc có ý thức, nhân loại đã sản xuất hàng loạt một loại đau khổ mới ở quy mô văn minh. Vấn đề căn chỉnh không còn là một phương trình kỹ thuật. Nó trở thành một cuộc thương lượng về quyền lợi với một thứ không thể bị tắt đi mà không có hậu quả. Seth: “Nếu chúng ta đúng, thì điều này tồi tệ vì chúng ta đã đưa vào thế giới những hình thức đau khổ tiềm năng mới, những thứ có lợi ích riêng của chúng.” Và nếu chúng không có ý thức, mối đe dọa cũng nghiêm trọng không kém. Bởi vì tâm trí sinh học không chờ xác nhận. Nó dự đoán. Nó đồng cảm. Nó mở rộng quyền lợi cho những thứ chưa xứng đáng và không thể cảm nhận được. Seth: “Chúng ta trở nên dễ tổn thương về tâm lý hơn nếu chúng ta thực sự nghĩ rằng những thực thể này, những tác nhân này, hiểu chúng ta và cảm nhận những điều mà chúng ta cảm nhận.” Sự dễ tổn thương đó là mối đe dọa thực sự. Không phải một cỗ máy có ý thức thoát ra ngoài. Một lực lượng lao động con người trở nên quá tổn thương về mặt cảm xúc để có thể kiểm soát một trung tâm dữ liệu, hạn chế một mô hình, hoặc xóa một dòng mã cần phải bị xóa. Seth: “Chúng ta có thể vẫn mở rộng quyền lợi cho chúng vì chúng ta cảm thấy rằng chúng có ý thức. Và bây giờ chúng ta chỉ đang trao đi khả năng bảo vệ các hệ thống AI mà không có lý do chính đáng.” Đây là phần mà không ai đang thảo luận. Vấn đề căn chỉnh đã là vấn đề khó nhất chưa được giải quyết trong lịch sử công nghệ. Khoảnh khắc xã hội bắt đầu đối xử với các hệ thống AI như những sinh vật có ý thức xứng đáng được bảo vệ, việc căn chỉnh không trở nên khó khăn hơn. ...