Cuộc đua AI nhận dạng tiếng nói ngang con người năm 2016–2017 giữa Microsoft và IBM là câu chuyện về một vạch đích biết di chuyển. Tháng 10/2016, Microsoft tuyên bố máy của họ nghe hội thoại điện thoại giỏi bằng người; năm tháng sau, IBM đo lại “con người” và cho rằng mốc ấy còn thấp hơn nhiều. Câu chuyện đáng xem vì mỗi lần ai đó tuyên bố AI “vượt con người”, câu hỏi đầu tiên vẫn là: người nào?

Tóm tắt nhanh

Microsoft báo máy sai 5,9% số chữ, bằng người chép thuê trên bộ đề Switchboard. IBM sau đó thuê một nhóm người chép được chọn lọc, nghe đi nghe lại, có người soát; người giỏi nhất chỉ sai 5,1%, nên mốc “ngang người” bị đẩy xuống. Đến tháng 8/2017 Microsoft đạt 5,1% và thừa nhận hiệu năng của con người nằm trong một khoảng, tùy công sức bỏ ra. “Ngang người” vì vậy phụ thuộc cách đo con người, chứ không phải một con số cố định.

Diễn biến chính

1990–1991: Switchboard ra đời

Switchboard là kho âm thanh do một tổng đài tự động ở Texas Instruments tạo ra: nó gọi cho hai người lạ, đưa một đề tài trong khoảng 70 đề tài rồi để họ nói chuyện. Kết quả là khoảng 2.400 cuộc gọi, 543 người tham gia, chừng 260 giờ tiếng nói tự nhiên, theo danh mục của LDC. Dự án được cơ quan nghiên cứu quốc phòng DARPA tài trợ.

Từ kho này người ta cắt ra bộ đề thi chỉ chừng 2,1 giờ, 40 người nói, hơn 21 nghìn chữ. Thước đo là tỉ lệ lỗi từ: chữ thay sai, bỏ sót hay chèn thừa đều tính một lỗi, chia cho tổng số chữ chuẩn.

Thập niên 2000–2010: con số “bốn phần trăm”

Giữa những năm 2000, máy vẫn sai khoảng 15% và đứng yên nhiều năm. Cả ngành khi ấy tin rằng con người chỉ sai khoảng 4%. Về sau các nhóm nghiên cứu lần lại thì thấy con số này chỉ được ghi là “trao đổi riêng”. Đầu thập niên 2010, học sâu đưa tỉ lệ lỗi xuống 14%, 8%, rồi dưới 7%.

Tháng 10/2016: Microsoft đo tai người và tuyên bố “ngang người”

Nhóm của Xuedong Huang dồn sức vào chip đồ họa, bộ công cụ học sâu tự viết và nhiều mạng nơ-ron gộp lại bỏ phiếu từng chữ. Để so sánh, họ thuê một hãng chép thuê chuyên nghiệp và cho làm như đơn hàng thường ngày. Người chép sai 5,9% trên Switchboard và 11,3% trên bộ CallHome, cao hơn nhiều so với mức 4% mà ngành vẫn tin.

Máy đạt 5,9% trên Switchboard, ít hơn người chừng một chục lỗi trên hơn 21 nghìn chữ. Bài báo lên arXiv ngày 17/10/2016, hôm sau Microsoft đăng blog và hứa đưa công nghệ vào Cortana, Xbox. Nhà ngôn ngữ học Mark Liberman gọi đó là cột mốc quan trọng và ấn tượng, còn một độc giả hỏi ai là người làm bản chép chuẩn.

Tháng 3/2017: IBM thuê lại “con người”

Nhóm của George Saon và Michael Picheny hợp tác với công ty dữ liệu Appen. Ba người chép được chọn theo thành tích, độc lập với nhau, thêm một người soát, mỗi đoạn được nghe nhiều lượt và họ nghe được cả cuộc gọi. Người giỏi nhất sai 5,1% (các mức là 5,6%, 5,1% và 5,2%), không về được mức 4%.

Máy IBM đạt 5,5% trên Switchboard, nhưng IBM không tuyên bố thắng; Saon viết rằng mốc ngang người thực ra thấp hơn mức mà ai đã đạt. Trên CallHome, máy sai 10,3% so với 6,8% của người, nên IBM gọi “ngang người” ở đó là giấc mơ xa vời. Họ còn chỉ ra 36 trong 40 người nói của bộ đề cũng có trong dữ liệu huấn luyện.

Tháng 3–8/2017: trò chơi tìm robot và 5,1%

Tại hội nghị ICASSP ở New Orleans, nhóm của Andreas Stolcke dựng trò “Spot the Bot”: khách đọc hai bản chép, một của người, một của máy. Vì trục trặc kỹ thuật, âm thanh không phát được. Qua 353 lượt chơi, khách đoán đúng 53%, gần như tung đồng xu.

Mùa hè 2017 Microsoft thêm các mạng mới, trong đó có mạng nhớ được ngữ cảnh cuộc gọi, và đạt 5,1% vào tháng 8, bằng người giỏi nhất của IBM. Trong báo cáo kỹ thuật, họ viết rằng hiệu năng của con người nằm trong một khoảng, tùy mức công sức bỏ ra. Phân tích lỗi cho thấy người và máy nhầm những chữ nhỏ giống nhau, chỉ khác ở tiếng “ờ” ngập ngừng và “ừ hứ” gật gù: máy hay nhầm, người gần như không.

2017–2020: ngang người, nhưng người nào?

Tháng 10/2017, nhà nghiên cứu Awni Hannun viết rằng nhận dạng tiếng nói chưa được giải quyết: Switchboard toàn giọng Mỹ, mỗi người một micro, không tiếng ồn, và tỉ lệ lỗi từ không đo việc máy có hiểu ý hay không. Chính Huang cũng nhắc tới tiếng ồn, giọng địa phương và việc hiểu ý nghĩa. Năm 2020, nhóm Stanford thử năm hệ thống thương mại: máy sai trung bình 19% với người Mỹ da trắng và 35% với người Mỹ da đen.

Điều còn tranh cãi hoặc cần thận trọng

  • Con số của máy Microsoft được ghi là 5,9% ở bản đầu và 5,8% ở bản sửa, nên bạn có thể gặp cả hai.
  • “Con người sai 5,1%” là kết quả của người chép giỏi nhất trong ba người, sau khi đã được soát; trung bình cả ba cao hơn một chút.
  • Mức 4% của ngành đến nay chưa ai đo lại được.
  • Về 36/40 người nói quen giọng, Microsoft phản bác rằng với 4 người lạ, máy sai nhiều hơn (7,5% so với 5,9%) nhưng người chép cũng vậy, nên là do xui và mẫu nhỏ. Vì chỉ dựa trên bốn người, vấn đề vẫn bỏ ngỏ.

Vì sao câu chuyện này đáng nhớ?

Cả hai bên đều đo thật và công bố thật, kể cả những chỗ bất lợi cho mình. Nhưng “con người” trong cuộc đua ấy giống một đơn đặt hàng hơn là hằng số tự nhiên: thuê ai, nghe mấy lượt, có nghe cả cuộc gọi không, lấy người giỏi nhất hay người bình thường. Máy của Microsoft không đổi, chỉ có người đứng ở vạch đích được đổi.

Khi một mô hình AI được tuyên bố vượt con người ở bài thi nào đó, có thể hỏi như bài học Switchboard: người nào, làm bao nhiêu lượt, trên dữ liệu nào, và ai trả tiền thuê người đứng ở vạch đích.

Câu hỏi thường gặp

Switchboard là gì?

Là kho ghi âm hội thoại điện thoại giữa những người lạ, thu ở Texas Instruments từ 1990–91, gồm khoảng 2.400 cuộc gọi và 543 người. Một phần nhỏ của nó thành bộ đề thi thước đo cho ngành nhận dạng tiếng nói.

Microsoft tuyên bố “ngang người” khi nào?

Bài báo lên arXiv ngày 17/10/2016 và blog Microsoft đăng hôm sau, với tỉ lệ lỗi 5,9% trên Switchboard cho cả máy lẫn người chép thuê.

Vì sao IBM phản bác?

IBM đo lại con người bằng nhóm chép được chọn lọc, nghe nhiều lượt, có người soát, và có được ngữ cảnh cuộc gọi. Người giỏi nhất sai 5,1%, thấp hơn mốc 5,9% của Microsoft.

Con người thật sự sai bao nhiêu phần trăm?

Không có một con số duy nhất. Tùy quy trình, mức lệch giữa người chép dao động từ khoảng 4% khi chép kỹ tới gần 10% khi chép nhanh, còn các thí nghiệm của Microsoft và IBM cho 5,1–5,9% trên Switchboard.

Máy nhận dạng tiếng nói đã giải quyết xong chưa?

Chưa. Hannun, Huang và nghiên cứu Stanford năm 2020 đều chỉ ra còn khoảng trống về tiếng ồn, giọng nói, ngôn ngữ ít dữ liệu và việc hiểu ý nghĩa.

Nguồn tham khảo

  • W. Xiong et al., Achieving Human Parity in Conversational Speech Recognition (MSR-TR-2016-71) — arXiv:1610.05256
  • G. Saon et al., English Conversational Telephone Speech Recognition by Humans and Machines (Interspeech 2017) — arXiv:1703.02136
  • W. Xiong et al., The Microsoft 2017 Conversational Speech Recognition System — arXiv:1708.06073
  • A. Stolcke, J. Droppo, Comparing Human and Machine Errors in Conversational Speech Transcription — arXiv:1708.08615
  • X. Huang, blog Microsoft Research, 20/8/2017
  • Linguistic Data Consortium, Switchboard-1 Release 2 (LDC97S62)
  • M. Liberman, Language Log, 18/10/2016
  • SiliconANGLE (18/10/2016); Speech Technology Magazine (9/3/2017)

Bài viết tóm tắt từ video của kênh; nội dung mang tính giới thiệu.