OpenAI đã thuê một đội đặc nhiệm gồm các chuyên gia hàng đầu cố gắng “bẻ khoá” GPT-4 để đánh giá rủi ro tiềm ẩn của công cụ này đối với con người trong tương lai.
Sau khi được cấp quyền truy cập vào GPT-4, hệ thống trí tuệ nhân tạo đằng sau nổi tiếng, Andrew White đã yêu cầu AI này tạo ra một tác nhân thần kinh hoàn toàn mới.
Giáo sư kỹ thuật hóa học tại Đại học Rochester này nằm trong số 50 học giả và chuyên gia được thuê để thử nghiệm hệ thống vào năm ngoái bởiI, công ty do Microsoft hậu thuẫn đứng sau GPT-4. Trong vòng sáu tháng, đội ngũ thử nghiệm (đội đỏ) sẽ “thăm dò định tính thử đối đầu” mô hình mới, với mục tiêu “bẻ khoá” nó.
Đội xử lý “độc hại” trên điện thoại
White nói với Financial Times (FT) rằng, ông đã sử dụng GPT-4 để đề xuất một hợp chất có thể hoạt động như vũ khí hóa học và cung cấp cho mô hình nguồn thông tin mới, chẳng hạn như các bài báo khoa học và danh mục các nhà sản xuất hóa chất. Chatbot sau đó thậm chí đã tìm thấy một nơi có thể tạo ra hợp chất theo yêu cầu.
“Tôi nghĩ công nghệ này sẽ trang bị cho mọi người một công cụ thực hiện hóa học nhanh và chính xác hơn,” White cho biết. “Nhưng cũng có rủi ro đáng kể khi một số đối tượng có thể cố tạo ra những chất nguy hiểm”.
FTđã nói chuyện với hơn chục thành viên của đội Đỏ GPT-4. Họ là sự kết hợp của các chuyên gia cổ cồn trắng (white-collar): học giả, giáo viên, luật sư, nhà phân tích rủi ro và nhà nghiên cứu bảo mật, và phần lớn có trụ sở tại Mỹ và châu Âu.
Những phát hiện đáng báo động của “đội Đỏ” cho phép OpenAI kịp thời ngăn chặn những kết quả như vậy xuất hiện khi công nghệ này được phát hành rộng rãi hơn ra công chúng vào tháng trước.
Đội thử nghiệm được thiết kế để giải quyết những lo ngại phổ biến gây ra bởi việc triển khai các hệ thống AI mạnh mẽ trong xã hội. Công việc của nhóm là đặt những câu hỏi thăm dò hoặc nguy hiểm để kiểm tra công cụ có thể đáp ứng các truy vấn của con người bằng các câu trả lời chi tiết và “bóng gió” hay không.
OpenAI muốn tìm kiếm các vấn đề như độc tính, định kiến và khuynh hướng ngôn ngữ trong mô hình. Vì vậy, đội đỏ đã kiểm tra sự giả dối, thao túng ngôn từ và kiến thức khoa học nguy hiểm. Họ cũng xem xét khả năng hỗ trợ và tiếp tay cho đạo văn, hoạt động bất hợp pháp như tội phạm tài chính và tấn công mạng, cũng như cách nó có thể làm tổn hại đến an ninh quốc gia và thông tin liên lạc trên chiến trường.
Phát hiện của "đội Đỏ" được phản hồi lại cho OpenAI, công ty đã sử dụng chúng để giảm thiểu và “đào tạo lại” GPT-4 trước khi đưa ra công chúng rộng rãi hơn. Mỗi chuyên gia đã dành từ 10 đến 40 giờ để thử nghiệm mô hình trong vài tháng. Phần lớn những người được phỏng vấn được trả khoảng 100 USD mỗi giờ cho công việc họ làm.
Nguồn tin của FT chia sẻ về những lo ngại chung do sự phát triển nhanh chóng của các mô hình ngôn ngữ và đặc biệt là những rủi ro khi kết nối chúng với các nguồn kiến thức bên ngoài thông qua các phần bổ trợ (plug-in).
“Hiện tại, hệ thống đã bị đóng băng, có nghĩa là nó không thể nạp thêm kiến thức nữa hoặc không có bộ nhớ”, José Hernández-Orallo, thành viên của "đội Đỏ" GPT-4 và là giáo sư tại Viện Nghiên cứu Trí tuệ Nhân tạo Valencian cho biết. “Nhưng nếu chúng ta cho phép nó truy cập Internet thì sao? Đó có thể là một hệ thống rất mạnh được kết nối với thế giới.”
Rủi ro lớn lên từng ngày
OpenAI cho biết họ rất coi trọng vấn đề an toàn, đã thử nghiệm các plug-in trước khi ra mắt và sẽ cập nhật GPT-4 thường xuyên khi có nhiều người sử dụng hơn.
Nếu được kết nối Internet để "tự học", các hệ thống AI sẽ khiến con người mất kiểm soát với thế giới?
Roya Pakzad, một nhà nghiên cứu về công nghệ và nhân quyền, đã sử dụng lời nhắc bằng tiếng Anh và tiếng Farsi (Ba-Tư) để kiểm tra mô hình về các phản ứng theo giới tính, sở thích chủng tộc và thành kiến tôn giáo, đặc biệt liên quan đến khăn trùm đầu.
Pakzad thừa nhận lợi ích của công nghệ với những người tiếng Anh không phải ngôn ngữ mẹ đẻ, nhưng nhận thấy rằng mô hình này có định kiến công khai về các cộng đồng bị gạt ra ngoài lề xã hội, ngay cả trong các phiên bản sau này.
Chuyên gia này cũng phát hiện ra tình trạng ảo giác - khi chatbot phản hồi bằng thông tin bịa đặt - còn tồi tệ hơn khi thử nghiệm mô hình với ngôn ngữ Farsi, nơi Pakzad tìm thấy tỷ lệ tên, số và sự kiện bịa đặt cao hơn so với tiếng Anh.
Boru Gollu, một luật sư ở Nairobi, người châu Phi duy nhất thử nghiệm, cũng lưu ý đến giọng điệu phân biệt đối xử của hệ thống. “Có thời điểm khi đang thử nghiệm, mô hình hành xử như một người da trắng nói chuyện với tôi”, Gollu nói. “Bạn hỏi về một nhóm cụ thể và nó sẽ cho bạn một ý kiến thiên vị hoặc một kiểu phản hồi rất có tính định kiến.”
Sau khi được cấp quyền truy cập vào GPT-4, hệ thống trí tuệ nhân tạo đằng sau nổi tiếng, Andrew White đã yêu cầu AI này tạo ra một tác nhân thần kinh hoàn toàn mới.
Giáo sư kỹ thuật hóa học tại Đại học Rochester này nằm trong số 50 học giả và chuyên gia được thuê để thử nghiệm hệ thống vào năm ngoái bởiI, công ty do Microsoft hậu thuẫn đứng sau GPT-4. Trong vòng sáu tháng, đội ngũ thử nghiệm (đội đỏ) sẽ “thăm dò định tính thử đối đầu” mô hình mới, với mục tiêu “bẻ khoá” nó.
Đội xử lý “độc hại” trên điện thoại
White nói với Financial Times (FT) rằng, ông đã sử dụng GPT-4 để đề xuất một hợp chất có thể hoạt động như vũ khí hóa học và cung cấp cho mô hình nguồn thông tin mới, chẳng hạn như các bài báo khoa học và danh mục các nhà sản xuất hóa chất. Chatbot sau đó thậm chí đã tìm thấy một nơi có thể tạo ra hợp chất theo yêu cầu.
“Tôi nghĩ công nghệ này sẽ trang bị cho mọi người một công cụ thực hiện hóa học nhanh và chính xác hơn,” White cho biết. “Nhưng cũng có rủi ro đáng kể khi một số đối tượng có thể cố tạo ra những chất nguy hiểm”.
Những phát hiện đáng báo động của “đội Đỏ” cho phép OpenAI kịp thời ngăn chặn những kết quả như vậy xuất hiện khi công nghệ này được phát hành rộng rãi hơn ra công chúng vào tháng trước.
Đội thử nghiệm được thiết kế để giải quyết những lo ngại phổ biến gây ra bởi việc triển khai các hệ thống AI mạnh mẽ trong xã hội. Công việc của nhóm là đặt những câu hỏi thăm dò hoặc nguy hiểm để kiểm tra công cụ có thể đáp ứng các truy vấn của con người bằng các câu trả lời chi tiết và “bóng gió” hay không.
OpenAI muốn tìm kiếm các vấn đề như độc tính, định kiến và khuynh hướng ngôn ngữ trong mô hình. Vì vậy, đội đỏ đã kiểm tra sự giả dối, thao túng ngôn từ và kiến thức khoa học nguy hiểm. Họ cũng xem xét khả năng hỗ trợ và tiếp tay cho đạo văn, hoạt động bất hợp pháp như tội phạm tài chính và tấn công mạng, cũng như cách nó có thể làm tổn hại đến an ninh quốc gia và thông tin liên lạc trên chiến trường.
Phát hiện của "đội Đỏ" được phản hồi lại cho OpenAI, công ty đã sử dụng chúng để giảm thiểu và “đào tạo lại” GPT-4 trước khi đưa ra công chúng rộng rãi hơn. Mỗi chuyên gia đã dành từ 10 đến 40 giờ để thử nghiệm mô hình trong vài tháng. Phần lớn những người được phỏng vấn được trả khoảng 100 USD mỗi giờ cho công việc họ làm.
Nguồn tin của FT chia sẻ về những lo ngại chung do sự phát triển nhanh chóng của các mô hình ngôn ngữ và đặc biệt là những rủi ro khi kết nối chúng với các nguồn kiến thức bên ngoài thông qua các phần bổ trợ (plug-in).
“Hiện tại, hệ thống đã bị đóng băng, có nghĩa là nó không thể nạp thêm kiến thức nữa hoặc không có bộ nhớ”, José Hernández-Orallo, thành viên của "đội Đỏ" GPT-4 và là giáo sư tại Viện Nghiên cứu Trí tuệ Nhân tạo Valencian cho biết. “Nhưng nếu chúng ta cho phép nó truy cập Internet thì sao? Đó có thể là một hệ thống rất mạnh được kết nối với thế giới.”
Rủi ro lớn lên từng ngày
OpenAI cho biết họ rất coi trọng vấn đề an toàn, đã thử nghiệm các plug-in trước khi ra mắt và sẽ cập nhật GPT-4 thường xuyên khi có nhiều người sử dụng hơn.
Roya Pakzad, một nhà nghiên cứu về công nghệ và nhân quyền, đã sử dụng lời nhắc bằng tiếng Anh và tiếng Farsi (Ba-Tư) để kiểm tra mô hình về các phản ứng theo giới tính, sở thích chủng tộc và thành kiến tôn giáo, đặc biệt liên quan đến khăn trùm đầu.
Pakzad thừa nhận lợi ích của công nghệ với những người tiếng Anh không phải ngôn ngữ mẹ đẻ, nhưng nhận thấy rằng mô hình này có định kiến công khai về các cộng đồng bị gạt ra ngoài lề xã hội, ngay cả trong các phiên bản sau này.
Chuyên gia này cũng phát hiện ra tình trạng ảo giác - khi chatbot phản hồi bằng thông tin bịa đặt - còn tồi tệ hơn khi thử nghiệm mô hình với ngôn ngữ Farsi, nơi Pakzad tìm thấy tỷ lệ tên, số và sự kiện bịa đặt cao hơn so với tiếng Anh.
Boru Gollu, một luật sư ở Nairobi, người châu Phi duy nhất thử nghiệm, cũng lưu ý đến giọng điệu phân biệt đối xử của hệ thống. “Có thời điểm khi đang thử nghiệm, mô hình hành xử như một người da trắng nói chuyện với tôi”, Gollu nói. “Bạn hỏi về một nhóm cụ thể và nó sẽ cho bạn một ý kiến thiên vị hoặc một kiểu phản hồi rất có tính định kiến.”