Cuộc thi dịch máy NIST 2005, nơi Google lần đầu dự thi và đứng đầu cả bốn bảng xếp hạng, là một trong những bước ngoặt ít được kể của lịch sử trí tuệ nhân tạo. Franz Och cùng nhóm nhỏ ở Google không ai đọc được tiếng Ả Rập hay tiếng Trung, vậy mà bản dịch của họ vượt cả những hãng lão làng. Câu chuyện đáng quan tâm vì nó cho thấy yếu tố quyết định không hẳn là dữ liệu riêng, mà là khả năng “đọc” được nhiều chữ.

Tóm tắt nhanh

Năm 2005, Google thắng cuộc thi dịch máy do NIST tổ chức, với khoảng 51 điểm BLEU ở bảng Ả Rập hạng dữ liệu lớn, trong khi Systran, hãng đang cung cấp phần mềm dịch cho chính Google, chưa tới 11 điểm. Điều đáng chú ý là ở hạng dữ liệu lớn, mọi đội dùng chung một kho dữ liệu, và phần lớn đối thủ còn dùng chung bộ công cụ do Och viết. Khác biệt nằm ở năng lực tính toán đủ sức xử lý hàng tỷ chữ, không nằm ở một thuật toán thần kỳ hay kho chữ bí mật.

Diễn biến chính

Cuối thập niên 1980 – 1993: IBM dịch bằng thống kê

Dịch máy thuở đầu là địa hạt của các nhà ngôn ngữ học, những người dạy máy bằng từ điển và hàng nghìn luật ngữ pháp viết tay. Systran là bậc thầy lối làm này: đến năm 2005, phần mềm của họ dịch mỗi ngày hơn hai mươi lăm triệu trang web cho AOL, Babelfish và cả Google.

Cuối thập niên 1980, một nhóm ở IBM, gồm Peter Brown, Robert Mercer và hai anh em Della Pietra, đề xuất hướng khác: coi câu tiếng Pháp như bản mã của câu tiếng Anh và cho máy học từ thật nhiều cặp câu đã dịch, trong đó có biên bản Quốc hội Canada (Hansard). Năm 1993 họ công bố bài báo nền móng về các mô hình IBM. Sau đó nhóm rời IBM, và ngọn lửa dịch thống kê được các phòng thí nghiệm đại học giữ tiếp.

1999 – 2003: Franz Och và GIZA++

Och làm nghiên cứu sinh ở Aachen trong nhóm giáo sư Hermann Ney. Mùa hè năm 1999, ở Đại học Johns Hopkins, anh tham gia xưởng hè viết lại các mô hình IBM thành phần mềm dùng chung, rồi viết phần mở rộng GIZA++, công cụ căn chỉnh chữ giữa hai ngôn ngữ, và phát miễn phí. Cùng đồng nghiệp như Philipp Koehn, anh góp phần định hình lối dịch theo cụm từ. Năm 2003, anh công bố cách tinh chỉnh hệ thống nhắm thẳng vào điểm BLEU, và phần lớn các đội thi tiếng Ả Rập về sau làm theo.

Bối cảnh chung: sau năm 2001, DARPA tài trợ lớn cho xử lý văn bản đa ngôn ngữ, kèm một cuộc thi thường niên do NIST làm trọng tài. Từ năm 2002, NIST chấm bằng thước đo BLEU, đếm số cụm từ trùng giữa bản máy và bốn bản dịch của người.

2004: Och sang Google

Och làm ở Viện Khoa học Thông tin (ISI) của Đại học Nam California thì được Google mời. Theo lời kể trên New York Times, anh ngần ngại cho đến khi Larry Page gọi điện nói rằng muốn sắp xếp thông tin của thế giới thì không thể để ngôn ngữ cản đường. Năm 2004 anh chuyển sang Mountain View. Nhóm của anh nhỏ, và theo lời anh với báo chí, không ai trong nhóm đọc được chữ Trung Quốc.

2005: luật chơi của NIST

Có hai mươi đơn vị dự thi, mỗi đội dịch một trăm bản tin tiếng Ả Rập (AFP) và một trăm bản tin tiếng Trung (Tân Hoa xã), đăng từ tháng 12/2004 đến tháng 1/2005. Dữ liệu huấn luyện phải có trước ngày 1/12/2004. Hạng dữ liệu lớn chỉ được dùng kho do LDC phân phối, gồm cả khoảng năm tỷ chữ tiếng Anh để dạy máy chọn câu nghe xuôi tai. Hạng không giới hạn cho dùng mọi dữ liệu công khai. Các đội tự chạy máy ở nhà rồi nộp bài. Google là đội duy nhất dự cả bốn bảng.

1/8/2005: bảng điểm công bố

Ở bảng Ả Rập hạng dữ liệu lớn, Google đạt khoảng 51 điểm, phòng thí nghiệm ISI cũ của Och chưa tới 47, Systran chưa tới 11. Ở bảng tiếng Trung, Google hơn 35 điểm, ISI 31, Aachen 29. Google đứng đầu cả bốn bảng.

Chi tiết then chốt nằm ở hạng không giới hạn: điểm Ả Rập là 51,37 so với 51,31 ở hạng dùng kho chung, còn tiếng Trung thậm chí giảm nhẹ. Nghĩa là dữ liệu riêng gần như không giúp thêm.

2006 – 2013: từ cuộc thi đến nhà máy dịch

Ngày 28/4/2006, Och thông báo hệ dịch Ả Rập – Anh của Google lên mạng. Cùng năm, Google tiếp tục đứng đầu kỳ thi NIST, vượt 39 bài dự thi khác, và phát hành kho một nghìn tỷ từ tiếng Anh kèm số lần xuất hiện của các chuỗi tới năm chữ.

Tháng 6/2007, bài báo ở Praha (Och, Brants, Jeff Dean và cộng sự) mô tả mô hình ngôn ngữ huấn luyện trên hai nghìn tỷ chữ, dựng trong một ngày trên 1.500 máy, bằng kỹ thuật đơn giản mà chính họ đặt tên là “Stupid Backoff”. Mùa thu năm đó, Google thôi dùng Systran, chuyển sang hệ thống kê tự làm. Năm 2009, Halevy, Norvig và Pereira viết về “hiệu quả phi lý của dữ liệu”. Năm 2010, Google Translate nói được 52 thứ tiếng. Năm 2013, Google Research trao lại cho LDC bộ biên bản Liên Hợp Quốc 1993–2007 gồm 673.670 văn bản.

Điều còn tranh cãi hoặc cần thận trọng

  • “Google thắng vì nhiều dữ liệu hơn” là cách kể lùi từ những năm 2007–2009. Bảng điểm 2005 lại cho thấy dữ liệu riêng gần như không thêm gì; nhưng vì Google chưa công bố chi tiết hệ thống năm đó, đây vẫn chỉ là suy luận.
  • BLEU không hoàn hảo. Khoảng cách gần năm lần giữa Google và Systran là theo BLEU. Nghiên cứu ở Edinburgh (2006) cho thấy hệ Linear B, không được xếp hạng chính thức vì có người hỗ trợ, đứng đầu khi người thật chấm nhưng chỉ thứ sáu theo BLEU, và BLEU còn chấm thấp Systran so với người đọc.
  • Giai thoại. Chuyện thư khen của người dùng Hàn Quốc bị dịch thành “cá sống thái lát đôi giày” và phản ứng của Sergey Brin là theo lời kể trên New York Times. Chuyện phiên dịch của Putin gọi Schröder là “Führer” là giai thoại do chính Och kể. Câu nói đùa về việc sa thải nhà ngôn ngữ học của Frederick Jelinek có nhiều dị bản, không rõ năm hay dịp.
  • Con số hay bị kể lẫn. “39 đối thủ” là của kỳ thi 2006, không phải 2005; “một triệu cuốn sách” chỉ là cách nói hình ảnh trên báo; thời điểm Google bỏ Systran (mùa thu 2007) lấy từ nguồn thứ cấp.

Vì sao câu chuyện này đáng nhớ?

Năm 2005, kho chữ là của chung, công thức gần như của chung, và phần lớn do chính người thắng phát cho cả phòng thi. Thứ không chia được là cỗ máy đủ sức đọc hết kho chữ ấy. Bài học khắt khe hơn câu quen thuộc “ai có dữ liệu thì thắng”: ai đọc được nhiều hơn thì thắng.

Hôm nay các mô hình ngôn ngữ lớn học từ một internet ai cũng truy cập được, nhưng chỉ vài công ty đủ sức đọc trọn. Vì thế, khi ai đó khoe có dữ liệu tốt nhất, câu đáng hỏi thêm là hạ tầng tính toán của họ lớn cỡ nào.

Câu hỏi thường gặp

Ai thắng cuộc thi dịch máy NIST 2005?

Google đứng đầu cả bốn bảng (tiếng Ả Rập và tiếng Trung, hạng dữ liệu lớn và hạng không giới hạn). Ở bảng Ả Rập hạng dữ liệu lớn, Google đạt khoảng 51 điểm BLEU, còn Systran chưa tới 11.

Vì sao Google thắng dù nhóm của Franz Och không đọc được tiếng Ả Rập hay tiếng Trung?

Hệ thống học thống kê từ các cặp câu đã dịch và từ lượng lớn văn bản tiếng Anh, nên không cần người biết ngôn ngữ. Theo kịch bản, điểm khác biệt nằm ở năng lực tính toán để xử lý nhiều chữ, vì dữ liệu riêng gần như không thêm điểm; tuy vậy đây vẫn là suy luận.

BLEU là gì?

BLEU là thước đo NIST dùng từ năm 2002: đặt bản dịch của máy cạnh bốn bản dịch của người và đếm số cụm từ trùng nhau. Nghiên cứu năm 2006 cho thấy nó có thể lệch so với đánh giá của người đọc.

GIZA++ là gì và liên quan gì đến Google?

GIZA++ là công cụ căn chỉnh chữ giữa hai ngôn ngữ do Och viết, phát miễn phí và mã nguồn mở. Nhiều phòng thí nghiệm dịch thống kê dùng nó, nên nhiều đối thủ trong kỳ thi 2005 mang dấu ấn công cụ của Och.

Stupid Backoff là gì?

Là kỹ thuật làm trơn đơn giản mà nhóm Google dùng trong bài báo 2007 để huấn luyện mô hình ngôn ngữ trên hai nghìn tỷ chữ. Tên gọi xuất phát từ lúc họ nghĩ mẹo đơn giản như vậy khó mà tốt được.

Nguồn tham khảo

  • NIST — NIST 2005 Machine Translation Evaluation Official Results (v3, 1/8/2005)
  • LDC — NIST 2005 Open Machine Translation (OpenMT) Evaluation, LDC2010T14
  • G. M. Lamb — Fancy math takes on je ne sais quoi (Christian Science Monitor, 2/6/2005)
  • S. Ornes — Not Lost in Translation (MIT Technology Review, 16/11/2006)
  • F. Och — Statistical machine translation live (Google Research Blog, 28/4/2006)
  • Brants, Popat, Xu, Och, Dean — Large Language Models in Machine Translation (EMNLP-CoNLL 2007)
  • Halevy, Norvig, Pereira — The Unreasonable Effectiveness of Data (IEEE Intelligent Systems, 2009)
  • Callison-Burch, Osborne, Koehn — Re-evaluating the Role of BLEU in Machine Translation Research (EACL 2006)
  • Reuters qua Mail & Guardian — Google seeks world of instant translations (28/3/2007)
  • M. Helft — Google's Computing Power Refines Translation Tool (New York Times, 3/2010)
  • LDC — 1993-2007 United Nations Parallel Text, LDC2013T06
  • Brown, Della Pietra, Della Pietra, Mercer — The Mathematics of Statistical Machine Translation (Computational Linguistics, 1993)

Bài viết tóm tắt từ video của kênh; nội dung mang tính giới thiệu.