DQN của DeepMind, hay mạng Q sâu, là cỗ máy đầu tiên tự học chơi hàng chục trò Atari chỉ bằng điểm ảnh và điểm số, không ai mớm. Câu chuyện bắt đầu từ bài báo cuối năm 2013 và đỉnh điểm là bài trên tạp chí Nature năm 2015. Nó đáng quan tâm vì cho thấy cả sức mạnh lẫn giới hạn của một ý tưởng từng bị cả ngành bỏ rơi.

Tóm tắt nhanh

Nhóm DeepMind ở London ghép mạng nơ-ron sâu với học tăng cường, một cách làm mà nhiều người đã bỏ vì quá bất ổn. Nhờ kho ký ức phát lại và, ở bản 2015, một mạng mục tiêu đóng băng, cỗ máy học ổn định và tự chơi giỏi nhiều trò bằng cùng một công thức. Nhưng nó đứng chết trân ở những trò cần lập kế hoạch dài như Montezuma's Revenge, và việc nó giỏi hơn con người phụ thuộc nhiều vào cách so sánh.

Diễn biến chính

Bộ đề thi Atari và con ma bất ổn

Ở Đại học Alberta, Marc Bellemare và các đồng nghiệp gói hàng chục hộp băng Atari vào một giả lập tên là ALE (Môi trường học trò chơi điện tử), với hơn 55 trò. Ý tưởng là một cỗ máy tổng quát phải làm tốt trên cả bộ, không chỉ trên một trò. Những phương pháp giỏi nhất thời đó cho điểm lổn nhổn, và thường phải được con người mớm sẵn đặc trưng.

Công cụ lẽ ra phù hợp là học tăng cường. Đầu thập niên 1990, Gerald Tesauro ở IBM dùng nó để dạy mạng nơ-ron chơi cờ thỏ cáo, ra chương trình TD-Gammon. Nhưng khi đem sang các trò khác thì thất bại, nên giới nghiên cứu dần tin TD-Gammon chỉ là trường hợp đặc biệt, và mạng nơ-ron trong học tăng cường hay phân kỳ.

2010: DeepMind ra đời

Năm 2010, Demis Hassabis, Shane Legg và Mustafa Suleyman lập DeepMind với sứ mệnh nghe như lời thách thức: trước hết giải quyết trí tuệ, rồi dùng nó giải quyết mọi thứ khác. Nhóm có thêm Volodymyr Mnih, người vừa học xong tiến sĩ ở Toronto, và David Silver, bạn cũ của Hassabis, người nghiên cứu học tăng cường và cờ vây.

Kho ký ức và luật chơi khắt khe

Nhóm nhận ra các khung hình nối nhau gần như giống hệt, khiến mạng bị cuốn theo những khoảnh khắc na ná nhau. Lời giải là phát lại kinh nghiệm: cất tới cả triệu khoảnh khắc vào kho, rồi học từ một nắm ký ức bốc ngẫu nhiên. Ý tưởng này có từ đầu thập niên 1990, và nhóm liên hệ nó với hồi hải mã, vùng não cũng phát lại trải nghiệm.

Họ tự đặt luật: không mớm gì, cùng kiến trúc và cùng các con số tinh chỉnh cho mọi trò, phần thưởng ép về cộng một hoặc trừ một. Chỉ có một ngoại lệ ở Space Invaders, nơi tia laser nhấp nháy trùng nhịp bỏ khung hình khiến máy không thấy đạn, nên phải chỉnh cho nhìn cách ba khung.

19/12/2013: bài báo bảy trò

Bài báo đưa lên arXiv ngày 19 tháng 12 năm 2013, thử trên bảy trò. DQN vượt các phương pháp trước ở sáu trò và hơn người ở ba trò, trong đó có Pong và Breakout (168 điểm so với 31 của chuyên gia người). Ở Seaquest, đồ thị giá trị cho thấy thứ giống như sự mong đợi, nhưng máy chỉ được khoảng 1.705 điểm so với 28.010 của người, vì không biết lên kế hoạch xa. Chính nhóm tác giả đã tự viết điều này trong bài.

Ngày 26 tháng 1 năm 2014, Google xác nhận mua DeepMind khi công ty mới có chừng năm mươi người. Giá không công bố, và báo chí đồn nhiều con số.

26/2/2015: Nature và 49 trò

Bài trên Nature (tập 518, trang 529–533) có 19 tác giả và 49 trò, dùng cùng thuật toán, kiến trúc và siêu tham số. Bản này thêm mạng mục tiêu: cứ sau một quãng, một bản sao của mạng được giữ nguyên làm đích để nhắm tới, nên cỗ máy thôi đuổi theo cái bóng đang chạy của chính nó. Space Invaders cũng được xử lý bằng cách gộp hai khung hình, không cần chỉnh tay.

Kết quả: 43 trên 49 trò vượt các phương pháp máy học trước, 29 trò đạt ít nhất 75% điểm người. Ở Breakout máy được gấp 13 lần điểm người, ở đấm bốc gấp 17 lần. Đối thủ người là một người thử nghiệm chuyên nghiệp, tập khoảng hai giờ cho mỗi trò, chơi không âm thanh.

Căn phòng đầu tiên của Montezuma's Revenge

Montezuma's Revenge (Robert Jaeger, Parker Brothers, 1984) là trò khó với DQN. Tầng đầu có 24 phòng, và chỉ khi lấy được chìa khóa mới có điểm thưởng đầu tiên. Bấm lung tung thì không bao giờ tình cờ đi trọn chuỗi leo, nhảy, tránh. Trên bảng điểm Nature, trò này ghi 0%, Private Eye 2%, Gravitar 5%, Frostbite 6%.

Máy cũng học rất tốn kém: 50 triệu khung hình cho mỗi trò, tương đương khoảng 38 ngày chơi liền, so với hai giờ tập của người. Năm 2016, một nhóm DeepMind thêm thưởng tò mò và máy đi qua được 15 trong 24 phòng. Cùng năm, AlphaGo do David Silver dẫn dắt gây chú ý ở Seoul.

Điều còn tranh cãi hoặc cần thận trọng

  • Một mạng cho 49 trò? Không đúng: mỗi trò một mạng riêng. Bản 2013 chỉ có bảy trò, và mạng mục tiêu chỉ có từ bản 2015.
  • Giỏi hơn con người? Mốc so sánh là điểm một người thử nghiệm sau hai giờ tập. Về sau có nhóm chỉ ra rằng đặt cạnh kỷ lục thế giới, nhiều chữ siêu phàm bỗng xẹp hẳn.
  • Độ bền. Một nghiên cứu năm 2017 của công ty Vicarious cho biết dời tấm vợt vài điểm ảnh làm các tác tử học sâu cùng dòng (không phải DQN 2015) sụp điểm, dù người thích nghi rất nhanh.
  • Những con số đẹp. Cảnh cỗ máy đục hầm trong Breakout được kể là sau 300, 500 hoặc 600 ván tùy nguồn. Giá mua DeepMind dao động từ khoảng 400 đến hơn 500 triệu đô la, và chưa ai chứng minh Google mua vì đoạn phim đó.
  • Giai thoại. Chuyện Hassabis giữ chân nhà đầu tư Peter Thiel bằng một câu hỏi về cờ vua là chuyện được kể lại, các nguồn không hoàn toàn thống nhất.

Vì sao câu chuyện này đáng nhớ?

DQN không chứng minh rằng máy đã thông minh. Một cỗ máy thông minh sẽ không đứng chết trân ở cửa căn phòng đầu tiên. Thứ nó chứng minh nhỏ hơn nhưng bền hơn: một công thức có thể tự học ở nhiều thế giới mà không ai phải mớm.

Câu chuyện cũng cho thấy một bộ đề thi tốt có thể lái cả một ngành. Mấy chục hộp băng cũ của chiếc máy năm 1977 đã định hình cách người ta đo tiến bộ và hiểu chữ tổng quát. Chữ này dễ bị nghe thành chữ thông minh, nhưng rộng không có nghĩa là sâu. Với mỗi cỗ máy mới đứng đầu bảng, hai câu đáng hỏi là: nó đã được thả vào bao nhiêu trò, và đâu là căn phòng nó chưa bước ra nổi?

Câu hỏi thường gặp

DQN là gì?

DQN (mạng Q sâu) là hệ thống của DeepMind kết hợp mạng nơ-ron sâu với học tăng cường. Nó nhìn thẳng vào điểm ảnh và điểm số của trò chơi, tự học bằng thưởng phạt mà không được chỉ cách chơi.

DQN chơi được bao nhiêu trò Atari?

Bài báo arXiv ngày 19/12/2013 thử trên bảy trò. Bài trên Nature ngày 26/2/2015 mở rộng ra 49 trò, trong đó DQN vượt các phương pháp máy học trước đó ở 43 trò.

Có phải một mạng nơ-ron duy nhất chơi cả 49 trò không?

Không. Mỗi trò được huấn luyện một mạng riêng, chỉ chung thuật toán, kiến trúc và bộ siêu tham số. Bộ siêu tham số được dò trên năm trò rồi giữ nguyên cho tất cả.

Vì sao DQN thất bại ở Montezuma's Revenge?

Trò này chỉ cho điểm thưởng khi lấy được chìa khóa sau một chuỗi leo, nhảy, tránh dài. Cỗ máy bấm lung tung nên không bao giờ gặp tín hiệu thưởng, nên không có gì để học. Nó ghi 0% điểm người.

DQN có thật sự giỏi hơn con người không?

Chỉ theo một mốc cụ thể: điểm của một người thử nghiệm chuyên nghiệp sau khoảng hai giờ tập. Về sau có nhóm nghiên cứu chỉ ra rằng so với kỷ lục thế giới, nhiều chữ siêu phàm bỗng xẹp hẳn.

Google mua DeepMind vào lúc nào và với giá bao nhiêu?

Google xác nhận mua DeepMind ngày 26/1/2014. Giá không được công bố; các báo ghi con số từ khoảng 400 triệu đến hơn 500 triệu đô la.

Nguồn tham khảo

  • Mnih và cộng sự, bài báo arXiv 1312.5602 (2013)
  • Bài báo Nature 518, tr. 529–533 (2015)
  • Bellemare, Naddaf, Veness, Bowling, về ALE, JAIR 47 (2013), arXiv 1207.4708
  • Bài báo về thưởng tò mò trong Montezuma's Revenge, arXiv 1606.01868 (2016)
  • Kansky và cộng sự (Vicarious), arXiv 1706.04317 (2017)
  • Toromanoff và cộng sự, arXiv 1908.04683 (2019)
  • Holloway, Making Things Think; các bài báo về thương vụ Google mua DeepMind (Re/code, The Information, CSMonitor)

Bài viết tóm tắt từ video của kênh; nội dung mang tính giới thiệu.