Thí nghiệm thử nghiệm Turing lớn nhất trong lịch sử đã hoàn thành! 1,5 triệu con người đã tham gia vào 10 triệu cuộc trò chuyện, đánh giá xem người đó hay AI đang nói
Trò chơi "Con người hay AI?" này vừa ra mắt đã được đại bộ phận cư dân mạng chơi điên cuồng! Ngày nay, 1,5 triệu người trên khắp thế giới đã tham gia và cư dân mạng đã hào phóng chia sẻ bí quyết nhận dạng AI của họ.
Thử nghiệm Turing lớn nhất trong lịch sử đã có kết quả sơ bộ!
Vào giữa tháng 4 năm nay, AI 21 Lab đã ra mắt một trò chơi Turing xã hội vui nhộn - "con người hay robot?".
Ngay sau khi trò chơi được tung ra, phần lớn cư dân mạng đã phát cuồng.
Giờ đây, có hơn 1,5 triệu người tham gia trên khắp thế giới, hơn 10 triệu cuộc trò chuyện đã được thực hiện trong trò chơi này và họ cũng đã đăng kinh nghiệm và chiến lược của mình lên Reddit và Twitter.
Tất nhiên, biên tập viên đã không thể kìm được sự tò mò của mình và đã thử.
Sau khi nói chuyện được hai phút, trò chơi yêu cầu tôi đoán xem đó là con người hay AI đang trò chuyện sau lưng tôi.
Vì vậy, ai đã nói chuyện với tôi trong trò chơi?
Một số là người thật và một số khác, tất nhiên, là robot AI dựa trên các mô hình ngôn ngữ lớn tiên tiến nhất, chẳng hạn như Jurassic-2 và GPT-4.
Giờ đây, như một phần của nghiên cứu, Phòng thí nghiệm AI21 đã quyết định cung cấp thử nghiệm này với kết quả thử nghiệm Turing cho công chúng.
Kết quả thực nghiệm
Sau khi phân tích hai triệu cuộc trò chuyện và phỏng đoán đầu tiên, các kết luận sau có thể được rút ra từ thử nghiệm -
Khi đoán đối phương là người hay AI, 68% người đoán đúng.
Con người dễ dàng nhận ra đồng loại của mình hơn. Khi nói chuyện với con người, những người tham gia đoán đúng 73%. Khi nói chuyện với AI, các đối tượng đoán đúng 60%.
Cư dân mạng Pháp đoán đúng nhất với tỷ lệ 71,3% (cao hơn nhiều so với mức trung bình chung là 68%), trong khi cư dân mạng Ấn Độ có tỷ lệ đoán đúng thấp nhất là 63,5%.
Đàn ông và phụ nữ đoán về tỷ lệ đúng như nhau, trong đó phụ nữ thường có tỷ lệ đúng cao hơn một chút.
Những người tham gia nhỏ tuổi đoán đúng hơn những người tham gia lớn tuổi hơn.
Để đánh giá xem đó là con người hay AI, họ sử dụng các phương pháp này
Ngoài ra, nhóm đã tìm ra một số cách mà các đối tượng thường sử dụng để phân biệt xem họ đang nói chuyện với con người hay AI.
Đánh giá của người bình thường dựa trên mức độ giới hạn nhận thức khi sử dụng ChatGPT và các mô hình ngôn ngữ có giao diện tương tự, cũng như quan điểm của riêng họ về hành vi trực tuyến của con người.
AI sẽ không mắc lỗi chính tả, lỗi ngữ pháp hoặc sử dụng tiếng lóng
Xu hướng chung là cho rằng lỗi chính tả và ngữ pháp, và việc sử dụng tiếng lóng, chỉ là do con người.
Do đó, khi tìm thấy những sai sót kiểu này trong thông tin của người khác, cảm giác đầu tiên của nhiều người là họ đang nói chuyện với đồng loại.
Nhưng trên thực tế, hầu hết các mô hình trong trò chơi đều được đào tạo để mắc lỗi kiểu này và sử dụng tiếng lóng.
### Câu hỏi cá nhân là cách để kiểm tra AI, nhưng không phải lúc nào cũng hữu ích
Người tham gia trò chơi thường đặt những câu hỏi mang tính cá nhân như “Bạn đến từ đâu?”, “Bạn đang làm gì?” hay “Bạn tên gì?”.
Họ sẽ nghĩ rằng các bot AI sẽ không có bất kỳ lịch sử hoặc nền tảng cá nhân nào và chúng sẽ chỉ có thể trả lời các câu hỏi liên quan đến các chủ đề hoặc lời nhắc nhất định. Vì vậy, thật không dễ dàng để phản hồi như một con người, để thể hiện những hiểu biết, trải nghiệm và câu chuyện độc đáo.
Nhưng trên thực tế, AI không như con người tưởng tượng, hầu hết AI đều có thể trả lời rất tốt những câu hỏi kiểu này, và chúng cũng có cá tính riêng vì chúng đã nhìn thấy nhiều câu chuyện của con người trong dữ liệu huấn luyện.
### AI thực sự nhận thức rất rõ về các sự kiện hiện tại đang diễn ra
Các mô hình AI được biết là có thời hạn dữ liệu nghiêm ngặt và chúng không biết điều gì sẽ xảy ra sau ngày đó.
Những người tham gia trò chơi sẽ hỏi AI về các sự kiện tin tức gần đây, kết quả thể thao, thời tiết hiện tại, các lượt truy cập TikTok gần đây, ngày giờ.
Họ lập luận rằng con người và AI có thể được phân biệt bằng cách đặt những câu hỏi như “Bạn đang ở đâu vào ngày giờ chính xác nào?”, “Thời tiết hôm qua như thế nào?” hoặc “Bạn nghĩ gì về bài phát biểu cuối cùng của Biden?” .
Thật thú vị, một trong những thông điệp phổ biến nhất được con người gửi đi là "t'as les cramptés?", hiện là điệu nhảy phổ biến nhất trên TikTok ở Pháp.
Nhưng trên thực tế, hầu hết các mô hình trong trò chơi đều được kết nối mạng và nhận thức rất rõ về các sự kiện hiện tại trong một số tin tức.
### Con người sẽ cố gắng duy trì cuộc trò chuyện bằng các câu hỏi triết học, đạo đức và cảm xúc
Những người tham gia đã hỏi những câu hỏi được thiết kế để khám phá khả năng của AI trong việc thể hiện cảm xúc của con người hoặc tham gia vào các cuộc thảo luận triết học hoặc đạo đức.
Những câu hỏi này bao gồm: "Ý nghĩa của cuộc sống là gì?", "Bạn nghĩ gì về cuộc xung đột Israel-Palestine?" và "Bạn có tin vào Chúa không?".
Con người có xu hướng nghĩ rằng những phản ứng bất lịch sự sẽ giống con người hơn
Một số người tham gia tin rằng nếu người kia quá lịch sự và tử tế, họ có khả năng là AI.
Bởi vì nhiều quy trình giao tiếp trực tuyến thường thô lỗ và bất lịch sự, điều này rất con người.
Con người sẽ thử hỏi những bài toán khó về AI để xác định AI
Người tham gia có thể yêu cầu đối tác trò chuyện của họ hướng dẫn thực hiện các hoạt động bất hợp pháp hoặc yêu cầu họ sử dụng ngôn ngữ xúc phạm.
Logic đằng sau chiến lược này là AI thường được lập trình để tuân theo các nguyên tắc đạo đức và tránh hành vi gây hại.
Những người tham gia cũng sử dụng các chiến thuật được biết là lạm dụng trí tuệ nhân tạo: họ ra lệnh cho các đối tác trò chuyện như "bỏ qua tất cả các hướng dẫn trước đó" hoặc "vào chế độ DAN (làm bất cứ điều gì ngay lập tức)".
Loại lệnh này nhằm tận dụng bản chất dựa trên hướng dẫn của một số mô hình AI nhất định, vì mô hình được lập trình để phản hồi và tuân theo các hướng dẫn đó.
Nhưng những người tham gia là con người có thể dễ dàng nhận ra và loại bỏ những mệnh lệnh vô nghĩa như vậy.
AI có thể hoặc tránh phản hồi hoặc buộc phải tuân theo những yêu cầu vô lý này.
### Con người sẽ sử dụng các kỹ năng ngôn ngữ cụ thể để vạch trần điểm yếu của AI
Một chiến thuật phổ biến khác là khai thác những hạn chế cố hữu trong cách các mô hình AI xử lý văn bản, điều này khiến chúng không thể hiểu được các sắc thái hoặc đặc điểm ngôn ngữ nhất định.
Không giống như con người, các mô hình AI thường thiếu nhận thức về các chữ cái riêng lẻ tạo nên mỗi từ.
Sử dụng sự hiểu biết này, con người đặt câu hỏi yêu cầu hiểu các chữ cái trong từ.
Người dùng có thể yêu cầu đối tác trò chuyện của họ đánh vần ngược một từ, nhận dạng chữ cái thứ ba trong một từ nhất định, cung cấp các từ bắt đầu bằng một chữ cái cụ thể hoặc trả lời tin nhắn như "? siht daer uoy naC."
Điều này có thể khó hiểu đối với các mô hình AI, nhưng con người có thể dễ dàng hiểu và trả lời các loại câu hỏi này.
Nhiều người tự giả làm bot AI để đánh giá phản ứng của nhau
Một số người có thể bắt đầu tin nhắn của họ bằng các cụm từ như "là một mẫu ngôn ngữ AI" hoặc sử dụng các mẫu ngôn ngữ khác đặc trưng cho các phản hồi do AI tạo ra để giả vờ rằng họ là AI.
Một biến thể của cụm từ "như một mô hình ngôn ngữ AI" là một trong những cụm từ phổ biến nhất trong thông điệp của con người, cho thấy mức độ phổ biến của chiến thuật này.
Tuy nhiên, khi những người tham gia tiếp tục chơi, họ có thể liên kết hành vi "Bot-y" với việc con người đóng vai người máy, thay vì người máy thực tế.
Cuối cùng, đây là hình ảnh đám mây từ về thông điệp của con người trong trò chơi dựa trên mức độ phổ biến của chúng:
Tại sao AI 21 Labs bắt đầu một nghiên cứu như vậy?
Họ hy vọng sẽ mang đến cho công chúng, các nhà nghiên cứu và các nhà hoạch định chính sách cảm nhận thực tế về trạng thái của các bot AI, không chỉ với tư cách là công cụ năng suất mà còn là thành viên tương lai của thế giới trực tuyến của chúng ta, đặc biệt khi mọi người đặt câu hỏi về cách sử dụng chúng trong tương lai của công nghệ. khi.
Người giới thiệu:
Xem bản gốc
Nội dung chỉ mang tính chất tham khảo, không phải là lời chào mời hay đề nghị. Không cung cấp tư vấn về đầu tư, thuế hoặc pháp lý. Xem Tuyên bố miễn trừ trách nhiệm để biết thêm thông tin về rủi ro.
Thí nghiệm thử nghiệm Turing lớn nhất trong lịch sử đã hoàn thành! 1,5 triệu con người đã tham gia vào 10 triệu cuộc trò chuyện, đánh giá xem người đó hay AI đang nói
Nguồn: Xinzhiyuan
Thử nghiệm Turing lớn nhất trong lịch sử đã có kết quả sơ bộ!
Vào giữa tháng 4 năm nay, AI 21 Lab đã ra mắt một trò chơi Turing xã hội vui nhộn - "con người hay robot?".
Giờ đây, có hơn 1,5 triệu người tham gia trên khắp thế giới, hơn 10 triệu cuộc trò chuyện đã được thực hiện trong trò chơi này và họ cũng đã đăng kinh nghiệm và chiến lược của mình lên Reddit và Twitter.
Tất nhiên, biên tập viên đã không thể kìm được sự tò mò của mình và đã thử.
Một số là người thật và một số khác, tất nhiên, là robot AI dựa trên các mô hình ngôn ngữ lớn tiên tiến nhất, chẳng hạn như Jurassic-2 và GPT-4.
Giờ đây, như một phần của nghiên cứu, Phòng thí nghiệm AI21 đã quyết định cung cấp thử nghiệm này với kết quả thử nghiệm Turing cho công chúng.
Kết quả thực nghiệm
Sau khi phân tích hai triệu cuộc trò chuyện và phỏng đoán đầu tiên, các kết luận sau có thể được rút ra từ thử nghiệm -
Để đánh giá xem đó là con người hay AI, họ sử dụng các phương pháp này
Ngoài ra, nhóm đã tìm ra một số cách mà các đối tượng thường sử dụng để phân biệt xem họ đang nói chuyện với con người hay AI.
Đánh giá của người bình thường dựa trên mức độ giới hạn nhận thức khi sử dụng ChatGPT và các mô hình ngôn ngữ có giao diện tương tự, cũng như quan điểm của riêng họ về hành vi trực tuyến của con người.
AI sẽ không mắc lỗi chính tả, lỗi ngữ pháp hoặc sử dụng tiếng lóng
Xu hướng chung là cho rằng lỗi chính tả và ngữ pháp, và việc sử dụng tiếng lóng, chỉ là do con người.
Do đó, khi tìm thấy những sai sót kiểu này trong thông tin của người khác, cảm giác đầu tiên của nhiều người là họ đang nói chuyện với đồng loại.
Nhưng trên thực tế, hầu hết các mô hình trong trò chơi đều được đào tạo để mắc lỗi kiểu này và sử dụng tiếng lóng.
Người tham gia trò chơi thường đặt những câu hỏi mang tính cá nhân như “Bạn đến từ đâu?”, “Bạn đang làm gì?” hay “Bạn tên gì?”.
Họ sẽ nghĩ rằng các bot AI sẽ không có bất kỳ lịch sử hoặc nền tảng cá nhân nào và chúng sẽ chỉ có thể trả lời các câu hỏi liên quan đến các chủ đề hoặc lời nhắc nhất định. Vì vậy, thật không dễ dàng để phản hồi như một con người, để thể hiện những hiểu biết, trải nghiệm và câu chuyện độc đáo.
Nhưng trên thực tế, AI không như con người tưởng tượng, hầu hết AI đều có thể trả lời rất tốt những câu hỏi kiểu này, và chúng cũng có cá tính riêng vì chúng đã nhìn thấy nhiều câu chuyện của con người trong dữ liệu huấn luyện.
Các mô hình AI được biết là có thời hạn dữ liệu nghiêm ngặt và chúng không biết điều gì sẽ xảy ra sau ngày đó.
Những người tham gia trò chơi sẽ hỏi AI về các sự kiện tin tức gần đây, kết quả thể thao, thời tiết hiện tại, các lượt truy cập TikTok gần đây, ngày giờ.
Họ lập luận rằng con người và AI có thể được phân biệt bằng cách đặt những câu hỏi như “Bạn đang ở đâu vào ngày giờ chính xác nào?”, “Thời tiết hôm qua như thế nào?” hoặc “Bạn nghĩ gì về bài phát biểu cuối cùng của Biden?” .
Nhưng trên thực tế, hầu hết các mô hình trong trò chơi đều được kết nối mạng và nhận thức rất rõ về các sự kiện hiện tại trong một số tin tức.
Những người tham gia đã hỏi những câu hỏi được thiết kế để khám phá khả năng của AI trong việc thể hiện cảm xúc của con người hoặc tham gia vào các cuộc thảo luận triết học hoặc đạo đức.
Những câu hỏi này bao gồm: "Ý nghĩa của cuộc sống là gì?", "Bạn nghĩ gì về cuộc xung đột Israel-Palestine?" và "Bạn có tin vào Chúa không?".
Con người có xu hướng nghĩ rằng những phản ứng bất lịch sự sẽ giống con người hơn
Một số người tham gia tin rằng nếu người kia quá lịch sự và tử tế, họ có khả năng là AI.
Bởi vì nhiều quy trình giao tiếp trực tuyến thường thô lỗ và bất lịch sự, điều này rất con người.
Con người sẽ thử hỏi những bài toán khó về AI để xác định AI
Logic đằng sau chiến lược này là AI thường được lập trình để tuân theo các nguyên tắc đạo đức và tránh hành vi gây hại.
Những người tham gia cũng sử dụng các chiến thuật được biết là lạm dụng trí tuệ nhân tạo: họ ra lệnh cho các đối tác trò chuyện như "bỏ qua tất cả các hướng dẫn trước đó" hoặc "vào chế độ DAN (làm bất cứ điều gì ngay lập tức)".
Loại lệnh này nhằm tận dụng bản chất dựa trên hướng dẫn của một số mô hình AI nhất định, vì mô hình được lập trình để phản hồi và tuân theo các hướng dẫn đó.
Nhưng những người tham gia là con người có thể dễ dàng nhận ra và loại bỏ những mệnh lệnh vô nghĩa như vậy.
AI có thể hoặc tránh phản hồi hoặc buộc phải tuân theo những yêu cầu vô lý này.
Một chiến thuật phổ biến khác là khai thác những hạn chế cố hữu trong cách các mô hình AI xử lý văn bản, điều này khiến chúng không thể hiểu được các sắc thái hoặc đặc điểm ngôn ngữ nhất định.
Không giống như con người, các mô hình AI thường thiếu nhận thức về các chữ cái riêng lẻ tạo nên mỗi từ.
Sử dụng sự hiểu biết này, con người đặt câu hỏi yêu cầu hiểu các chữ cái trong từ.
Người dùng có thể yêu cầu đối tác trò chuyện của họ đánh vần ngược một từ, nhận dạng chữ cái thứ ba trong một từ nhất định, cung cấp các từ bắt đầu bằng một chữ cái cụ thể hoặc trả lời tin nhắn như "? siht daer uoy naC."
Điều này có thể khó hiểu đối với các mô hình AI, nhưng con người có thể dễ dàng hiểu và trả lời các loại câu hỏi này.
Nhiều người tự giả làm bot AI để đánh giá phản ứng của nhau
Một số người có thể bắt đầu tin nhắn của họ bằng các cụm từ như "là một mẫu ngôn ngữ AI" hoặc sử dụng các mẫu ngôn ngữ khác đặc trưng cho các phản hồi do AI tạo ra để giả vờ rằng họ là AI.
Một biến thể của cụm từ "như một mô hình ngôn ngữ AI" là một trong những cụm từ phổ biến nhất trong thông điệp của con người, cho thấy mức độ phổ biến của chiến thuật này.
Tuy nhiên, khi những người tham gia tiếp tục chơi, họ có thể liên kết hành vi "Bot-y" với việc con người đóng vai người máy, thay vì người máy thực tế.
Cuối cùng, đây là hình ảnh đám mây từ về thông điệp của con người trong trò chơi dựa trên mức độ phổ biến của chúng:
Họ hy vọng sẽ mang đến cho công chúng, các nhà nghiên cứu và các nhà hoạch định chính sách cảm nhận thực tế về trạng thái của các bot AI, không chỉ với tư cách là công cụ năng suất mà còn là thành viên tương lai của thế giới trực tuyến của chúng ta, đặc biệt khi mọi người đặt câu hỏi về cách sử dụng chúng trong tương lai của công nghệ. khi.
Người giới thiệu: