Phép tính chữ nghĩa «vua trừ đàn ông cộng phụ nữ bằng nữ hoàng» của word2vec năm 2013 là câu chuyện về Tomáš Mikolov, một nhà nghiên cứu người Séc, và cách ông làm cho vectơ từ rẻ đến mức ai cũng chạy được. Mười năm sau, bài báo liên quan đoạt giải «trụ vững với thời gian» của hội nghị NeurIPS 2023, nhưng chính phép tính nổi tiếng ấy lại có một chi tiết ít người đọc tới.

Tóm tắt nhanh

Word2vec thành công không phải vì nó hiểu ngôn ngữ giỏi hơn các mạng nơ-ron trước đó, mà vì nó rẻ hơn rất nhiều. Mikolov cắt bỏ tầng ẩn phi tuyến, thứ cả ngành coi là trái tim của mạng nơ-ron, rồi thêm lấy mẫu âm và bỏ bớt từ quá phổ biến. Nhờ vậy, vectơ từ có thể học trên hàng chục, hàng trăm tỉ chữ chỉ trong một ngày. Còn phép tương tự «vua – nữ hoàng» là màn trình diễn đẹp, nhưng cần đọc kèm phần chú thích nhỏ của nó.

Diễn biến chính

Trước 2013: đẹp thì đắt, rẻ thì thô

Đầu những năm 2010, phần lớn hệ thống ngôn ngữ máy coi mỗi từ là một ô riêng và đoán chữ bằng cách đếm cụm vài chữ liền nhau (n-gram). Ở rìa thế giới ấy là một ý tưởng cũ hơn: từ năm 1986 đã có «biểu diễn phân tán», và năm 2003 Yoshua Bengio cùng cộng sự dựng mạng nơ-ron vừa đoán chữ vừa học vectơ cho từng từ.

Vấn đề là chi phí. Theo bài báo của nhóm Google, một mạng hồi quy học trên 320 triệu chữ mất tám tuần trên một bộ xử lý, còn mạng kiểu Bengio chạy mười bốn ngày trên 180 lõi. Collobert và Weston năm 2008 cũng cần hai tháng cho vectơ của họ.

Tomáš Mikolov và mạng hồi quy

Mikolov sinh ra ở Šumperk, học ở Đại học Kỹ thuật Brno và theo đề tài dạy máy nghe tiếng Séc. Năm 2007, khi còn là sinh viên, ông cho một mạng nơ-ron nhỏ tự viết văn và thấy nó trôi chảy hơn máy đếm chữ. Ông từng ghé Johns Hopkins và phòng thí nghiệm của Bengio ở Montréal. Dù được khuyên bỏ mạng hồi quy vì khó huấn luyện, ông vẫn theo đuổi; năm 2010 mô hình ngôn ngữ hồi quy của ông làm mức «bối rối» giảm một nửa. Theo lời kể, nhiều người nghĩ mã của ông có lỗi.

2012–2013: khoảnh khắc ở Redmond

Năm 2012, ông bảo vệ luận án ở Brno rồi thực tập ba tháng tại Microsoft Research ở Redmond. Ở đó, nhóm nhận thấy vectơ từ do mạng hồi quy học được tự mang các quy luật: lấy «vua», trừ «đàn ông», cộng «phụ nữ» thì rơi gần «nữ hoàng»; số ít – số nhiều hay quá khứ – hiện tại cũng thành những mũi tên đều đặn. Phép tính nằm ngay trong phần tóm tắt của bài NAACL 2013. Theo lời Mikolov, phản ứng đầu tiên là hoài nghi, rồi người ta bảo ông chỉ gặp may.

2013: bớt đi để đi nhanh hơn

Về Google Brain, Mikolov đặt câu hỏi ngược đời: nếu chấp nhận kém chính xác một chút để đọc nhiều hơn gấp trăm, gấp nghìn lần thì sao? Ông bỏ tầng ẩn phi tuyến và dựng hai mô hình đơn sơ: túi từ liên tục (đoán chữ bị che từ các chữ xung quanh) và skip-gram (từ một chữ đoán các chữ quanh nó). Cỗ máy điền chỗ trống chỉ cần hai ngày thay vì hai tuần mà vectơ tốt hơn. Trên bộ gần hai mươi nghìn câu đố tương tự do nhóm tự soạn, skip-gram đạt hơn 53%; nhóm cũng tự ghi rằng bảng ví dụ như «urani – plutoni» hay «Google – Yahoo» chỉ đúng khoảng 60%.

Mã nguồn word2vec mở ngày 29 tháng 7 năm 2013, kèm bộ vectơ học từ tin tức Google gồm ba triệu từ và cụm từ, mỗi từ ba trăm con số. Bài báo thứ hai, tháng Mười, có thêm Ilya Sutskever; nó thêm lấy mẫu âm (chỉ phân biệt chữ thật với vài chữ nhiễu) và bỏ bớt từ quá phổ biến, tới mức một máy học được hơn một trăm tỉ chữ trong một ngày. Bảng kết quả còn cho thấy «Việt Nam» cộng «thủ đô» gần nhất là Hà Nội và Thành phố Hồ Chí Minh.

2014–2016: cơn sốt rồi tiếng chuông cảnh tỉnh

Từ 2013, vectơ từ thành nguyên liệu của gần như mọi hệ thống xử lý ngôn ngữ. Năm 2014 Stanford công bố GloVe, còn Mikolov sang Facebook và làm fastText. Năm 2016, nhóm nghiên cứu Đại học Boston và Microsoft soi bộ vectơ tin tức của Google và thấy cặp «đàn ông – lập trình viên» tương ứng «phụ nữ – người nội trợ». Họ cảnh báo rằng một công cụ tìm kiếm dùng các vectơ ấy có thể vô tình đẩy một cái tên nam lên trước.

2019: phép trừ bị giấu

Năm 2019, nhà ngôn ngữ học Malvina Nissim cùng hai đồng nghiệp đọc lại bài gốc và để ý một dòng trong ngoặc đơn: các từ trong câu hỏi bị loại khỏi phần tìm kiếm. Gỡ ràng buộc đó, độ chính xác trên bộ vectơ tin tức của Google rơi từ 74% xuống 21%, và «vua trừ đàn ông cộng phụ nữ» trả về chính «vua». Nhóm này không phủ nhận định kiến, mà cho rằng phép tương tự giống chiếc kính lúp méo: phóng to chỗ này, giấu chỗ khác. Từ năm 2018, các mô hình hiểu chữ theo ngữ cảnh ra đời và bài thi tương tự gần như không còn được dùng.

Điều còn tranh cãi hoặc cần thận trọng

  • Mũi tên giới tính: một nhóm nghiên cứu ở Israel cho rằng phép cộng trừ thực chất là tìm từ vừa gần «vua», vừa gần «phụ nữ», vừa xa «đàn ông». «Nữ hoàng» thắng vì đứng gần cả hai.
  • Chuyện bị từ chối: bài bị từ chối là bài tháng Giêng 2013, còn bài đoạt giải là bài tháng Mười. Việc bị từ chối là lời của Mikolov; hồ sơ phản biện chưa được đọc.
  • Những ấm ức của Mikolov: chuyện GloVe vay kỹ thuật, ý tưởng dịch máy bằng mạng nơ-ron và mã nguồn chờ duyệt là lời kể một phía trên mạng xã hội; những người được nhắc tới chưa đáp lại. Phía GloVe thì tự nhận vượt word2vec.
  • Công lao: word2vec không phát minh ra vectơ từ; Hinton, Bengio, Collobert và Weston đã đi trước, và bài 2013 cũng thừa nhận.

Vì sao câu chuyện này đáng nhớ?

Theo cách đọc của kênh, word2vec thắng vì rẻ hơn chứ không vì đúng hơn. Một ý tưởng tốt nằm trong vài phòng thí nghiệm giàu chỉ là một bài báo; cũng ý tưởng ấy, rẻ đến mức sinh viên chạy được trên máy cũ, thì thành một làn sóng.

Câu chuyện cũng nhắc rằng màn trình diễn đẹp nhất thường là chỗ cần đọc kỹ nhất. Không ai lừa ai, nhưng phần chú thích nhỏ dễ bị bỏ qua. Lần sau thấy một cỗ máy trả lời đúng đến ngỡ ngàng, hãy hỏi: trước khi nó được trả lời, những đáp án nào đã bị gạch đi?

Câu hỏi thường gặp

word2vec là gì?

Là bộ phương pháp và mã nguồn mở do nhóm của Tomáš Mikolov tại Google công bố năm 2013, giúp máy học cho mỗi từ một dải số (vectơ từ) từ lượng văn bản rất lớn, nhanh hơn nhiều so với các mạng nơ-ron trước đó.

Phép tính «vua trừ đàn ông cộng phụ nữ bằng nữ hoàng» xuất hiện ở đâu?

Lần đầu ở bài báo của Mikolov cùng hai nhà nghiên cứu Microsoft tại hội nghị NAACL 2013, viết trong thời gian ông thực tập ở Redmond, không phải ở bài word2vec của Google.

word2vec nhanh hơn các mạng trước đó bao nhiêu?

Bài báo tháng Mười 2013 nêu một máy đơn lẻ, đã tối ưu, học được trên hơn một trăm tỉ chữ trong một ngày. Trước đó, một mạng hồi quy cần tám tuần cho ba trăm hai mươi triệu chữ.

Vì sao phép tương tự của word2vec bị nghi ngờ?

Nhóm của Malvina Nissim (2019) chỉ ra rằng bài gốc đã loại các từ trong câu hỏi khỏi đáp án. Khi bỏ ràng buộc ấy, độ chính xác trên bộ vectơ tin tức của Google tụt từ 74% xuống 21%, và nhiều đáp án quay lại đúng từ đầu vào.

Bài báo word2vec có thật sự từng bị từ chối không?

Đó là lời của chính Mikolov: bài đưa lên mạng tháng Giêng 2013 bị một hội nghị từ chối. Bài đoạt giải mười năm sau là bài tháng Mười, và hồ sơ phản biện thì chưa được kiểm chứng.

Nghiên cứu năm 2016 phát hiện định kiến gì trong vectơ từ?

Nhóm ở Đại học Boston và Microsoft thấy bộ vectơ tin tức của Google cho ra những cặp như đàn ông với lập trình viên thì phụ nữ với người nội trợ, cho thấy định kiến trong văn bản con người viết đã được máy học theo.

Nguồn tham khảo

Bài viết tóm tắt từ video của kênh; nội dung mang tính giới thiệu.