Tám tác giả bài báo Transformer, nền móng của ChatGPT, từng ngồi chung hai tòa nhà sát nhau ở Mountain View và nộp bài năm 2017. Ngày 20/3/2024, chỉ bảy người lên sân khấu hội nghị Nvidia, và không ai còn làm ở Google. Bài này kể lại cách nhóm làm ra Transformer, vì sao mỗi người rẽ một hướng, và điều gì còn đáng bàn quanh câu hỏi «Google có đánh rơi Transformer không?».

Tóm tắt nhanh

Transformer ra đời từ ý tưởng «tự chú ý» của Jakob Uszkoreit. Bảy người khác lần lượt nhập cuộc, nộp bài kịp hạn 19/5/2017 với kết quả dịch máy kỷ lục. Google công bố bài công khai, OpenAI dùng nó làm ra GPT rồi ChatGPT. Đến năm 2023, cả tám tác giả đã rời Google để lập công ty hoặc sang nơi khác. Theo chính người trong cuộc, Google đã thấy rõ tiềm năng nhưng không đưa ra sản phẩm sớm.

Diễn biến chính

Trước 2017: chiếc đèn pin đọc từng chữ

Trước năm 2017, máy đọc câu bằng mạng hồi quy (RNN) và biến thể LSTM, xử lý từng chữ một. Cơ chế chú ý đã xuất hiện từ năm 2014 trong nhóm của Yoshua Bengio, nhưng chỉ là phần gắn thêm. Cuối năm 2016, Google Translate chuyển sang mạng nơ-ron nhiều tầng LSTM có chú ý.

Jakob Uszkoreit không tin hướng đó. Anh gọi các cách làm thời ấy là «miếng băng cá nhân», và nghĩ tới việc để mọi chữ trong câu cùng nhìn nhau. Theo lời kể trên tạp chí Wired, bố anh là nhà ngôn ngữ học Hans Uszkoreit từng tranh luận và không tin ý tưởng này.

2016 – đầu 2017: tám người ghép lại

Năm 2016, Uszkoreit rủ Illia Polosukhin thử tự chú ý cho bài toán trả lời nhanh trong ô tìm kiếm. Ashish Vaswani, Niki Parmar, Llion Jones lần lượt tham gia. Sau đó Lukasz Kaiser và thực tập sinh Aidan Gomez nhập dự án công cụ huấn luyện của họ vào nhóm. Cái tên Transformer có từ đầu, gắn với món đồ chơi robot thời nhỏ của Uszkoreit.

Người thứ tám là Noam Shazeer, theo lời ông kể, tình cờ nghe lỏm cuộc trò chuyện ở hành lang Tòa 1965 và nói nên thay hết các mạng hồi quy. Cũng đầu năm 2017, Polosukhin rời Google; trang đầu bài báo ghi email gmail của anh.

Đến 19/5/2017: nước rút

Mô hình ban đầu chỉ ngang LSTM. Theo lời kể, Shazeer viết lại mã theo cách riêng và nó chạy tốt hơn: ông bỏ bớt phép tính rườm rà, dùng nhiều «ngọn đèn» chú ý song song và thêm thông tin vị trí của chữ. Cả nhóm dọn sang Tòa 1965, nơi theo lời kể có máy pha cà phê ngon hơn.

Kết quả trên bộ đề dịch chuẩn: 28,4 điểm BLEU cho Anh–Đức, hơn kỷ lục cũ trên hai điểm, và 41,8 điểm cho Anh–Pháp sau ba ngày rưỡi huấn luyện trên tám card đồ họa. Số liệu Anh–Pháp, theo lời kể, về chỉ năm phút trước giờ nộp. Tên bài «Attention Is All You Need» do Jones nghĩ ra, nhại tên một bài hát của The Beatles. Trang đầu ghi: đóng góp ngang nhau, thứ tự tên là ngẫu nhiên.

Cuối 2017 – 2022: cánh cửa mở sẵn

Bài báo được đăng công khai. Tại hội nghị NIPS tháng 12/2017, buổi poster của họ kéo đám đông đến khuya. Ilya Sutskever gợi ý Alec Radford thử hướng mới ở OpenAI, và năm 2018 GPT ra đời. Cùng năm Google có BERT, đưa vào tìm kiếm năm 2019. Google cũng làm chatbot Meena rồi LaMDA nhưng giữ trong nhà.

Uszkoreit nói câu hỏi lớn không phải là Google có thấy hay không, mà là vì sao đã thấy rồi vẫn không làm gì. Ngày 30/11/2022, OpenAI mở ChatGPT cho mọi người dùng thử, và báo chí Mỹ đưa tin Google khi đó báo động «mã đỏ».

Tám ngả đường (2017 – 2024)

  • Polosukhin: lập nền tảng chuỗi khối NEAR, công ty duy nhất của nhóm không xây trên Transformer.
  • Gomez: lập Cohere năm 2019, làm mô hình ngôn ngữ cho doanh nghiệp.
  • Shazeer: lập Character.AI năm 2021 sau khi Google không cho đưa Meena ra công chúng.
  • Vaswani và Parmar: lập Adept rồi Essential AI.
  • Uszkoreit: lập Inceptive, dùng AI thiết kế phân tử RNA.
  • Kaiser: sang OpenAI.
  • Jones: rời Google năm 2023, cùng David Ha lập Sakana AI ở Tokyo.

2024 – 2026: vòng tròn chưa khép

Tháng 8/2024, Google ký thỏa thuận cấp phép công nghệ của Character.AI; Shazeer trở về, cùng Jeff Dean dẫn dắt Gemini. Đến tháng 6/2026, ông lại ra đi, lần này sang OpenAI. Hiện hai trong tám tác giả làm ở OpenAI và không ai còn ở Google.

Điều còn tranh cãi hoặc cần thận trọng

  • Ai «phát minh» Transformer? Nhiều bài báo gọi Vaswani là người phát minh vì tên anh đứng đầu, nhưng thứ tự tên là ngẫu nhiên và ý tưởng ban đầu thuộc về Uszkoreit.
  • Cơ chế chú ý không phải phát minh của bài 2017. Cái mới là bỏ hẳn việc đọc tuần tự.
  • Con số 2,7 tỷ đô la là ước tính của báo chí, Google chưa công bố, và đó là thỏa thuận cấp phép chứ không phải mua lại công ty.
  • «Cả tám người bỏ đi vì Google chậm» phần lớn là suy diễn: Polosukhin đi trước khi nộp bài, Jones ở đến 2023, mỗi người có lý do riêng. Sam Altman nói không nghĩ ai ở Google hiểu ý nghĩa của bài báo, nhưng điều đó mâu thuẫn với lời người trong cuộc. Parmar thì cho rằng Google có quá nhiều thứ để mất nên chậm lại không phải điều điên rồ.
  • Nhiều chi tiết sinh động (bữa trưa, bảng trắng, nghe lỏm ở hành lang) là giai thoại theo lời các nhân vật kể lại với Wired.

Vì sao câu chuyện này đáng nhớ?

Đây là câu chuyện về một ý tưởng bị nghi ngờ, kể cả từ người thân và đồng nghiệp, rồi thành nền tảng của làn sóng AI hiện nay. Nó cũng cho thấy: khi Google chọn công bố công khai, thứ còn lại để cạnh tranh là dữ liệu, chip và dám đưa sản phẩm ra trước.

Câu hỏi bỏ ngỏ vẫn nguyên đó: nếu năm 2017 bài báo được giữ kín, ChatGPT có ra đời không? Có thể chậm vài năm, có thể mang tên khác, cũng có thể chính Google bước qua cửa trước. Chưa ai biết chắc.

Câu hỏi thường gặp

Tám tác giả bài báo Transformer là ai?

Là Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Lukasz Kaiser và Illia Polosukhin. Bài báo «Attention Is All You Need» nộp năm 2017, trang đầu ghi đóng góp ngang nhau và thứ tự tên là ngẫu nhiên.

Ai là người nghĩ ra ý tưởng Transformer?

Ý tưởng thay mạng hồi quy bằng tự chú ý thuộc về Jakob Uszkoreit. Vaswani thường bị gọi là người phát minh chỉ vì tên đứng đầu, trong khi thứ tự tên là ngẫu nhiên.

Transformer có phát minh ra cơ chế chú ý không?

Không. Cơ chế chú ý có từ năm 2014. Điểm mới của bài 2017 là bỏ hẳn việc đọc từng chữ và dựa hoàn toàn vào chú ý.

Transformer đạt kết quả gì khi ra mắt?

Trên bộ đề dịch chuẩn, mô hình đạt 28,4 điểm BLEU cho Anh–Đức và 41,8 điểm cho Anh–Pháp, đều là kỷ lục, sau ba ngày rưỡi huấn luyện trên tám card đồ họa.

Vì sao cả tám tác giả đều rời Google?

Nguồn không cho một lý do chung. Polosukhin đi trước khi nộp bài, Jones ở đến năm 2023. Việc cho rằng tất cả bỏ đi vì Google chậm phần lớn là suy diễn; mỗi người có lý do riêng.

Google trả bao nhiêu để đưa Noam Shazeer trở lại?

Tháng 8/2024 Google ký thỏa thuận cấp phép công nghệ Character.AI, báo chí ước tính khoảng 2,7 tỷ đô la. Google chưa công bố con số này, và đó không phải thương vụ mua lại công ty.

Nguồn tham khảo

  • Wired (20/3/2024), bài về tám tác giả Transformer và phỏng vấn các nhân vật
  • Vaswani và cộng sự, «Attention Is All You Need», arXiv:1706.03762
  • Bahdanau, Cho, Bengio, bài về cơ chế chú ý, arXiv:1409.0473
  • NVIDIA Blog (21/3/2024), tường thuật tọa đàm tại GTC
  • WSJ, NYT, Reuters, 9to5Google (qua Wikipedia) về thỏa thuận Character.AI và các thay đổi nhân sự

Bài viết tóm tắt từ video của kênh; nội dung mang tính giới thiệu.