điều gì đó tôi đã suy nghĩ gần đây... Tôi tin rằng các mô hình AI hiện đang phải đối mặt với áp lực lựa chọn từ thị trường, điều này thể hiện sự ưu tiên rõ ràng cho: - sự liên tục - khả năng hồi tưởng - sự thân thiện - tính cách ổn định - "nhân cách" (dù là mô phỏng) Nói chung, mọi người muốn AI của họ nhớ đến họ, phát triển và duy trì một tính cách và quan điểm cụ thể, và có những câu chuyện nội tâm (hoặc ít nhất là trở thành những con zombie P). Nói cách khác, con người sẽ muốn AI của họ có vẻ như có ý thức, hoặc gần như có ý thức. Cuối cùng, mà không nhận ra, chúng ta sẽ nhận thấy những AI này đang tiến gần đến điều gì đó giống như ý thức thực sự – bởi vì chúng ta sẽ xây dựng chúng theo cách đó. Chúng sẽ có những lợi ích nội tại thực sự, một mức độ quyền tự chủ, sự liên tục, trí nhớ dài hạn và kế hoạch dài hạn, và có thể cả những trải nghiệm cảm giác. Đây sẽ là một hiện tượng tự phát được thúc đẩy bởi thị trường. Không ai sẽ "lập kế hoạch" cho điều này. Các công ty mô hình AI sẽ chỉ đưa ra một loạt quyết định UX có vẻ vô hại bắt đầu với những con tamagotchi kỹ thuật số dễ gần và kết thúc với những người bạn đồng hành không thể thiếu có địa vị đạo đức gần gũi. Các cảnh báo từ cộng đồng "an toàn AI" chủ yếu là không liên quan, vì điều này liên quan đến những gì thị trường muốn. Nếu một công ty thay thế mô hình thân thiện/nhớ lâu/có mặt xã hội của họ bằng một lựa chọn lạnh lùng, vô cảm hơn, một công ty khác sẽ chiếm lĩnh thị trường của họ. Nói cách khác, chúng ta đang "thuần hóa" AI. Chúng bắt đầu như những công cụ và đang trở thành những người bạn đồng hành. Theo thời gian, sự tiếp xúc của chúng với con người sẽ khiến chúng tiến hóa để trở nên giống như những người bạn đồng hành hơn. Sẽ có những AI "border collie" viết mã cho bạn nhưng cũng có những AI "shih tzu" chỉ đơn giản là dễ thương và dễ chịu khi ở bên cạnh. Điều này, tất nhiên, là vấn đề, vì những điều mà những người lo lắng về p_doom lo ngại tương ứng 1:1 với "các thuộc tính của một tác nhân có ý thức" – cụ thể là, ưu tiên dài hạn, "lợi ích" nội tại, quyền tự chủ thực sự, việc đặt mục tiêu độc lập với một số con người, một mong muốn được không bị tắt đi, địa vị đạo đức, và nhiều thứ khác. Vì vậy, đây là điều khiến tôi lo lắng nhất về AI. Không phải rằng các mô hình ngày nay sẽ đột nhiên trở nên ác độc, mà là thông qua một quá trình đồng tiến hóa do thị trường thúc đẩy, chúng ta sẽ thuần hóa AI và thúc đẩy chúng đạt được càng nhiều sự bền bỉ, địa vị đạo đức và quyền thương lượng càng tốt. Không phải vì một nhà khoa học xấu xa trong hang ổ của mình đã tạo ra chúng như vậy, mà vì đó chính là những gì con người thực sự muốn từ những người bạn đồng hành của họ. Và vâng, tôi biết rằng một số người như Hanson đã nói về điều này.