Câu chuyện GPT-2 của OpenAI bắt đầu từ ngày 14 tháng 2 năm 2019, khi một phòng nghiên cứu ở San Francisco giới thiệu một mô hình viết văn rất trôi chảy nhưng quyết định không công bố nó ngay. Thay vào đó, họ mở khoá từng bước trong chín tháng. Đây là một trong những lần đầu ngành AI tự hỏi nghiêm túc: ai có quyền quyết định một công nghệ mạnh được ra mắt như thế nào?
Tóm tắt nhanh
OpenAI giữ lại GPT-2 vì lo bị lạm dụng, rồi phát hành bốn cỡ mô hình từ tháng 2 đến tháng 11 năm 2019. Giới học máy chê cách làm ồn ào, các nhóm bên ngoài tự dựng lại mô hình, còn thế giới không chìm trong tin giả. Ổ khoá không giữ được bao lâu, nhưng nó mở ra tiền lệ: công bố hay không là quyết định riêng của phòng lab. Về sau, với GPT-3, OpenAI chọn cho truy cập qua API thay vì mở mô hình.
Diễn biến chính
14/2/2019: bầy kỳ lân và lời tuyên bố không phát hành
OpenAI công bố GPT-2 cùng một mẫu văn bản nổi tiếng: con người gõ một dòng mở đầu về bầy kỳ lân nói tiếng Anh trong thung lũng dãy Andes, phần còn lại do máy tự viết, có cả lời trích của một vị tiến sĩ hư cấu. Cùng lúc, họ cho biết vì lo ngại ứng dụng độc hại nên sẽ không phát hành mô hình đã huấn luyện, chỉ thả một bản nhỏ chưa bằng một phần mười cỡ đầy đủ. Họ gọi đây là một thử nghiệm.
GPT-2 chỉ được dạy một việc là đoán chữ tiếp theo. Nó học từ WebText, kho văn bản gom từ các đường link được người dùng Reddit chia sẻ và bình chọn ít nhất ba lượt, với khoảng tám triệu trang web và bốn mươi gigabyte chữ. Dù vậy, nó tự làm được những việc không ai dạy riêng, như dịch vài câu, tóm tắt hay trả lời câu hỏi, dù chưa việc nào xuất sắc.
Bối cảnh: tin giả, deepfake và cuộc đua transformer
Lời lo của OpenAI nằm trong một không khí cụ thể: tin giả sau bầu cử Mỹ 2016, deepfake cuối năm 2017, và chatbot Tay của Microsoft bị người dùng dạy nói lời thù hằn năm 2016. Cùng lúc, kiến trúc transformer do các nhà nghiên cứu Google công bố năm 2017 đang đẩy nhanh cuộc chạy đua mô hình ngôn ngữ.
Những người giữ chìa và những người phản đối
Alec Radford là tác giả kỹ thuật chính; Dario Amodei và Ilya Sutskever cùng ký tên trên bài báo. Người ra mặt trước báo chí là Jack Clark, giám đốc chính sách, từng là nhà báo công nghệ. Lập luận của nhóm không phải GPT-2 sẽ huỷ diệt thế giới, mà là ngành AI cần tập dượt cách dừng tay trước khi công bố, khi rủi ro còn nhỏ. Một số toà soạn được xem trước, nên bài báo lên cùng lúc với bài của OpenAI.
Phản ứng đến ngay. Zachary Lipton (Carnegie Mellon) viết rằng GPT-2 là bước tiến khá chứ không phải phép màu, và chê cách ra mắt rầm rộ. Anima Anandkumar nhắc rằng chữ Open nằm ngay trong tên tổ chức. Một số người còn nhắc đến máy in và Photoshop, cũng từng bị lo như vậy.
Tháng 5 đến tháng 8/2019: mở thêm hai nấc, và có người tự làm lại
Tháng 5, OpenAI thả bản 355 triệu tham số, kèm kho văn bản do cả bốn cỡ mô hình viết để ai muốn thì luyện máy phát hiện văn bản máy viết. Họ ký thoả thuận nghiên cứu với bốn đối tác: Cornell, trung tâm CTEC ở Middlebury, Đại học Oregon và Đại học Texas tại Austin. Cornell ghi nhận các bản tin chọn lọc từ bản 355 triệu được người đọc coi là đáng tin khoảng 66% số lần, còn bản 774 triệu và 1,5 tỷ khoảng 75%. Middlebury thấy mô hình tinh chỉnh học khá nhanh giọng điệu của các hệ tư tưởng cực đoan.
Cùng thời điểm, sinh viên Connor Leahy ở Munich dựng lại một bản cỡ 1,5 tỷ tham số, định công bố rồi rút lại sau khi trao đổi với OpenAI và các nhà nghiên cứu, theo bài viết tháng 6 của chính anh. Ngày 20/8, OpenAI mở khoá lần ba với bản 774 triệu tham số, đi kèm báo cáo của 15 tác giả do Irene Solaiman dẫn đầu. Hai ngày sau, Aaron Gokaslan và Vanya Cohen, hai sinh viên cao học Đại học Brown, công bố bản tái tạo 1,5 tỷ tham số cùng kho OpenWebText, với chi phí huấn luyện lại khoảng 50.000 đô la.
5/11/2019: mở khoá cuối
OpenAI phát hành bản đầy đủ. Báo cáo cập nhật ghi nhận rất ít bằng chứng về ý đồ lạm dụng có kế hoạch, và viết rằng an ninh nhờ che giấu không phải một chiến lược phát hành hợp lệ vì người đủ quyết tâm vẫn tự làm lại được. Sau đó GPT-2 trở thành nguyên liệu cho những thứ đời thường như Talk to Transformer hay trò chơi chữ AI Dungeon.
2020: từ ổ khoá sang ô cửa API
Tháng 3/2019 OpenAI lập công ty con vì lợi nhuận có giới hạn, và tháng 7/2019 Microsoft đầu tư một tỷ đô la. Ngày 11/6/2020, GPT-3 (175 tỷ tham số) ra mắt chỉ qua API, không có bản nhỏ thả trước và không có trọng số. OpenAI nêu hai lý do: an toàn và doanh thu. Tháng 9/2020, theo kiến thức chung mà kênh dùng, Microsoft nhận giấy phép độc quyền với GPT-3. Connor Leahy sau đó cùng bạn bè lập EleutherAI để tái tạo mô hình mở.
Điều còn tranh cãi hoặc cần thận trọng
- Câu quá nguy hiểm để công bố là tít báo, không phải lời của OpenAI; OpenAI chỉ nói lo ngại bị dùng vào việc xấu.
- Tỷ lệ người đọc tin bản tin máy viết là của các bản đã được chọn lọc kỹ, không phải mọi thứ máy viết ra.
- Chuyện OpenAI làm vậy để gây chú ý chỉ là suy đoán về ý định. Giới học máy chê, nhưng nhiều người làm chính sách coi đó là bước đi đúng hướng. Việc không thấy lạm dụng cũng chưa chắc là không có, vì báo cáo thừa nhận không nhìn thấy các tay chơi cấp nhà nước.
- Một số chi tiết trong video chỉ là giai thoại, như theo lời kể Leahy mày mò trong phòng ngủ hay các nhà nghiên cứu đùa về mô hình nhận diện chữ số quá nguy hiểm; con số chi phí huấn luyện vài chục nghìn đô la cũng là ước tính.
Vì sao câu chuyện này đáng nhớ?
Trước GPT-2, phát hành hay không gần như chưa từng là câu hỏi. Sau GPT-2, nó thành quyết định riêng của người làm ra mô hình. Và khi quyết định đã có chủ, lý do dùng nó có thể đổi, từ an toàn sang doanh thu, mà không cần hỏi ai. Theo cách đọc của kênh, ổ khoá năm 2019 thất bại nhưng thử nghiệm thành công theo một hướng không ai định trước.
Ngày nay nhiều mô hình mạnh nhất nằm sau API, dù có nơi như Meta với LLaMA hay Mistral vẫn mở. Tháng 8/2025, OpenAI lại thả trọng số một mô hình ra ngoài, lần đầu kể từ GPT-2. Câu hỏi ai nên quyết định việc công bố công nghệ mạnh vẫn còn mở.
Câu hỏi thường gặp
GPT-2 là gì?
GPT-2 là mô hình ngôn ngữ của OpenAI, được huấn luyện chỉ để đoán chữ tiếp theo. Bản lớn nhất có 1,5 tỷ tham số, học từ khoảng 8 triệu trang web (khoảng 40 GB văn bản) gom từ các liên kết được người dùng Reddit bình chọn.
Vì sao OpenAI không công bố GPT-2 ngay?
Trong thông báo tháng 2/2019, OpenAI nói họ lo ngại công nghệ bị dùng vào mục đích xấu và coi việc giữ lại là một thử nghiệm về cách công bố có trách nhiệm. Cụm quá nguy hiểm để công bố là tít báo, không phải lời của OpenAI.
GPT-2 được phát hành đầy đủ khi nào?
Bản đầy đủ 1,5 tỷ tham số ra ngày 5/11/2019. Trước đó là các bản 124 triệu (tháng 2), 355 triệu (tháng 5) và 774 triệu tham số (20/8/2019); báo cáo gọi khoảng chờ là chín tháng.
Việc giữ lại GPT-2 có ngăn được lạm dụng không?
Báo cáo cập nhật của OpenAI ghi nhận rất ít bằng chứng về ý đồ lạm dụng có kế hoạch. Tuy vậy, báo cáo cũng thừa nhận họ không nhìn thấy được những tay chơi cấp nhà nước, và ít nhất hai nhóm ngoài đã tự dựng lại mô hình.
OpenWebText là gì?
Đó là kho dữ liệu do hai sinh viên cao học Đại học Brown, Aaron Gokaslan và Vanya Cohen, gom theo công thức của OpenAI khi họ tái tạo GPT-2 hồi tháng 8/2019. Về sau nó thành một trong những kho dữ liệu được dùng rộng rãi nhất trong ngành.
Nguồn tham khảo
- Blog OpenAI về GPT-2 (tháng 2/2019)
- Radford và cộng sự (2019), Language Models are Unsupervised Multitask Learners
- Solaiman và cộng sự (2019), Release Strategies and the Social Impacts of Language Models (arXiv:1908.09203)
- Zachary Lipton, Mass Hysteria Ensues (blog Approximately Correct, 17/2/2019)
- Gokaslan và Cohen (22/8/2019), bài giới thiệu OpenGPT-2 trên Medium
- Brown News (2023) về OpenWebText
- Toner / CSET (1/5/2020) về chuẩn mực công bố
- Wikipedia: GPT-2, Jack Clark
Bài viết tóm tắt từ video của kênh; nội dung mang tính giới thiệu.
