Giải Loebner 1991 là cuộc thi phép thử Turing đầu tiên có giám khảo và giải thưởng, tổ chức ngày 8/11/1991 tại Boston. Người thắng là Joseph Weintraub với chương trình PC Therapist, được năm giám khảo tin là con người. Câu chuyện đáng nhớ vì nó cho thấy một cuộc thi có thể đo độ cả tin của giám khảo hơn là trí thông minh của máy.
Tóm tắt nhanh
Để máy năm 1991 có cơ hội, ban tổ chức thêm luật: mỗi màn hình chỉ bàn một đề tài và giám khảo không được gài bẫy. Weintraub chọn đề tài «bông đùa», nơi nói nhảm không bị coi là sai, và luật cấm đúng những mẹo có thể vạch mặt chương trình. Máy thắng nhờ người viết luật, không nhờ hiểu ngôn ngữ.
Diễn biến chính
1950: Turing viết «luật số không»
Alan Turing đề nghị bỏ câu hỏi «máy có biết nghĩ không» và thay bằng một trò chơi: người hỏi chỉ trò chuyện bằng chữ gõ với một người và một cái máy. Ông dự đoán đến năm 2000, sau năm phút, người hỏi bình thường đoán đúng không quá 70%. Luật này không giới hạn đề tài hay câu hỏi.
Hugh Loebner rút ví
Loebner điều hành xưởng gia đình ở New Jersey, làm cột chắn, tay vịn đồng và sàn disco phát sáng. Theo lời kể, ông không mặn mà với nghề ấy; thứ ông mê là máy tính. Ông treo 100.000 đô la và một huy chương vàng khối cho cỗ máy đầu tiên vượt phép thử, với hai điều kiện: năm nào cũng thi, năm nào cũng có người nhận giải.
Bảo tàng Máy tính Boston đăng cai, Quỹ Khoa học Quốc gia Mỹ và một quỹ tư nhân góp tiền. Ủy ban viết luật do triết gia Daniel Dennett đứng đầu, có cả Joseph Weizenbaum, cha đẻ ELIZA. Hơn 130 cá nhân và tổ chức xin hồ sơ dự thi.
Luật số một và PC Therapist
Vì máy năm 1991 sẽ bị lật tẩy sau vài câu, ủy ban đặt luật giới hạn chủ đề và cấm giám khảo dùng mánh khóe. Giám khảo được tuyển qua quảng cáo báo, không cần chuyên về máy tính. Họ xếp các màn hình từ ít giống người nhất đến giống nhất rồi kẻ một vạch giữa máy và người.
Weintraub, 48 tuổi, sống ở New York, là một người tư vấn máy tính. Năm 1986 ông thấy ELIZA nhàm và quyết làm hay hơn. Sau hơn ba năm, PC Therapist ra đời, nặng 5 megabyte, chứa hàng nghìn câu đùa, câu trích và luật hội thoại, lại nhớ lời người dùng để dùng lại sau.
8/11/1991: ngày thi ở Boston
Khoảng 300 người và 70 phóng viên của 35 cơ quan báo chí có mặt. Ba máy IBM dành cho người thật bị hỏng, buổi thi hoãn gần hai tiếng. Ủy ban đành chỉ thi với hai người thật và cắt mỗi lượt từ 15 xuống khoảng 7 phút.
Khi xem lại bản ghi, PC Therapist hay lặp lại câu của giám khảo, đổi «tôi» thành «bạn» và chêm một câu mở đầu, tức mánh của ELIZA trong áo mới. Cynthia Clay, người thật nói về Shakespeare, trả lời gọn và đúng nhưng bị vài giám khảo xếp vào nhóm máy vì «không ai biết nhiều về Shakespeare đến thế».
Kết quả: máy bị nhầm là người tám lần; Weintraub nhận 1.500 đô la và huy chương đồng. Dennett nói đại ý rằng họ vẫn ở giai đoạn máy bay giấy.
Họp báo và bài phân tích của Shieber
Tại buổi họp báo, Stuart Shieber, trọng tài trẻ của Harvard, hỏi Weintraub sẽ vạch mặt chương trình của mình thế nào. Cả hai cách ông nêu đều là mẹo bị luật cấm. Shieber nhận xét «bông đùa» là một phong cách chứ không phải đề tài, và gọi việc này là cú lách luật khéo, còn nói Weintraub xứng đáng thắng.
1992–2019: luật đổi, vòng lặp vẫn còn
Weintraub gỡ quảng cáo sau lời dọa kiện của Dennett, rồi thắng tiếp năm 1992 (đề tài đàn ông đấu với đàn bà) và 1993. Năm 1994 Shieber đăng bài «Bài học từ một phép thử Turing bị giới hạn», dùng ẩn dụ giải «da Vinci» cho chuyến bay bằng sức người: năm nào cũng phải trao giải thì người thắng là kẻ gắn lò xo to dưới giày. Ông đặt cạnh giải Kremer năm 1959, không bắt buộc trao hằng năm.
Năm 1995 luật bỏ giới hạn chủ đề, nhưng PC Therapist vẫn thắng. Loebner mất tháng 12/2016. Lần thi cuối cùng là năm 2019 ở Swansea, khi người dự biết trước mình nói chuyện với chương trình; Mitsuku thắng lần thứ năm. Giải vàng chưa ai đoạt.
Điều còn tranh cãi hoặc cần thận trọng
- Lỗi gõ sai: bản ghi 1991 đầy lỗi chính tả và Shieber cho rằng luật thưởng cho mánh chèn lỗi. Nhưng chưa thấy Weintraub nhận cài lỗi có chủ ý; một phần lỗi có thể do bộ đảo câu chạy vấp.
- Con số «lừa nửa hội đồng»: ra đời trong điều kiện lệch (hai người thật, lượt bảy phút, cấm hỏi mẹo). Ban tổ chức và Shieber còn cãi nhau về mức lệch do sự cố hôm ấy. Số lần Clay bị xếp vào nhóm máy cũng được ghi khác nhau giữa các nguồn.
- Chuyện hậu trường: việc ủy ban Dennett từ chức và giải thưởng ngược 100 đô la của Marvin Minsky chủ yếu đến từ một bài báo viết hơn mười năm sau, nên chỉ nên xem là lời kể.
Vì sao câu chuyện này đáng nhớ?
Giải Loebner chưa bao giờ đo được trí thông minh của máy. Nó đo độ cả tin của giám khảo dưới một bộ luật cụ thể, và người quyết định ai thắng là người viết luật chứ không phải lập trình viên. Dennett từng nói riêng với Shieber đại ý rằng ta sẽ học được ít về AI từ giải này nhưng học được nhiều về con người.
Ngày nay các mô hình ngôn ngữ lớn trò chuyện trôi chảy hơn PC Therapist rất nhiều, và tin AI «vượt qua» một bài kiểm tra xuất hiện liên tục. Bài học cũ vẫn dùng được: lừa được người và hiểu là hai đường đua khác nhau, nên trước hết hãy hỏi ai kẻ vạch đích.
Câu hỏi thường gặp
Giải Loebner là gì?
Là cuộc thi phép thử Turing do Hugh Loebner treo giải, tổ chức lần đầu ngày 8/11/1991 tại Bảo tàng Máy tính ở Boston. Giải có hai điều kiện: năm nào cũng thi và năm nào cũng phải có người nhận giải.
Ai thắng cuộc thi Loebner đầu tiên?
Joseph Weintraub với chương trình PC Therapist, đề tài «trò chuyện bông đùa». Ông nhận 1.500 đô la và một huy chương đồng; năm trên mười giám khảo xếp chương trình về phía con người.
PC Therapist có thật sự vượt qua phép thử Turing không?
Không. Ủy ban do Dennett đứng đầu yêu cầu Weintraub gỡ quảng cáo «chương trình đầu tiên vượt qua phép thử Turing». Chính Shieber cũng cho rằng chương trình chỉ thắng nhờ khéo tận dụng kẽ hở của luật.
Vì sao giám khảo bị một chương trình đơn giản đánh lừa?
Theo Shieber, con người rất giỏi tìm ý nghĩa trong những thứ rời rạc, như thấy tàu trong đám mây. Đề tài bông đùa lại cho phép nói nhảm mà vẫn hợp lý, nên giám khảo tự lấp chỗ trống.
Giải Loebner kết thúc khi nào?
Hugh Loebner mất tháng 12/2016. Lần thi cuối diễn ra năm 2019 ở Đại học Swansea, xứ Wales, với luật rất khác; sau đó giải lặng lẽ khép lại. Giải vàng chưa ai đoạt.
Nguồn tham khảo
- Stuart Shieber, «Lessons from a Restricted Turing Test» (1994)
- The Computer Museum News (Summer 1991, Winter 1992)
- Salon (2003) về Hugh Loebner
- Discover (31/3/1992, Zimmer)
- Hutchens, tài liệu về giải Loebner; tệp loebner.txt (CMU)
- Wikipedia: mục Loebner Prize
Bài viết tóm tắt từ video của kênh; nội dung mang tính giới thiệu.
