Lan truyền ngược (backpropagation) là phép tính giúp mạng nơ-ron học từ sai lầm của chính nó, và năm 1986 nó bước ra ánh sáng nhờ một bài báo trên tạp chí Nature của David Rumelhart, Geoffrey Hinton và Ronald Williams. Điều đáng chú ý là phép tính này không phải do họ nghĩ ra đầu tiên: nó đã ra đời độc lập ít nhất ba lần trước đó, rồi gần nửa thế kỷ sau còn dính vào một cuộc tranh cãi về giải Nobel và lời buộc tội đạo văn. Bài viết kể lại hành trình ấy để trả lời câu hỏi: vì sao phải đợi một thí nghiệm đồ chơi với hai gia đình bằng giấy, cả ngành mới chịu ngoái nhìn?
Tóm tắt nhanh
Phép tính lan truyền lỗi ngược về từng mối nối của mạng có gốc từ quy tắc chuỗi trong giải tích, được dùng ở các bài toán kỹ thuật từ thập niên 1960 và được Seppo Linnainmaa viết ra năm 1970. Paul Werbos và David Rumelhart sau đó cũng tự tìm ra. Nhưng chỉ nhóm của Rumelhart ở San Diego gắn nó với một câu hỏi về trí tuệ và chứng minh bằng hình ảnh: các nơ-ron ẩn tự học ra những khái niệm như quốc tịch hay thế hệ. Vì thế hỏi «ai phát minh ra lan truyền ngược» là hỏi chưa đúng; điều làm nó thành công là việc nó trở nên có nghĩa.
Diễn biến chính
Trước 1970: quy tắc chuỗi và cái tên chưa có phép tính
Ông tổ xa nhất của phép tính là quy tắc chuỗi quen thuộc với học sinh học giải tích, có từ thời Leibniz. Theo các nguồn thứ cấp, các kỹ sư điều khiển thập niên 1960 cũng tính ngược để tối ưu quỹ đạo. Năm 1962, Frank Rosenblatt, cha đẻ của perceptron, đặt ra một cái tên nghe y hệt là sửa lỗi bằng cách lan truyền ngược, nhưng nơ-ron của ông chỉ biết bật hoặc tắt nên không có độ dốc để biết phải chỉnh bao nhiêu.
Năm 1969, cuốn Perceptrons của Marvin Minsky và Seymour Papert chứng minh mạng một lớp không học nổi những bài toán rất đơn giản. Mạng nhiều lớp thì về lý thuyết làm được, nhưng không ai biết dạy các nơ-ron ẩn, và mạng nơ-ron bị cất vào ngăn kéo.
1970–1974: hai lần ra đời lặng lẽ
Năm 1970 ở Helsinki, sinh viên thạc sĩ Seppo Linnainmaa nghiên cứu sai số làm tròn của máy tính và lần ngược từ kết quả về từng bước tính. Luận văn viết bằng tiếng Phần Lan và không có chữ nào về não hay nơ-ron.
Khoảng năm 1971 ở Harvard, nghiên cứu sinh Paul Werbos nảy ra ý tưởng tương tự; theo lời tự thuật của ông, nguồn cảm hứng là «dòng năng lượng tâm thần» của Freud. Luận án năm 1974 của ông thử trên bài toán dự báo chủ nghĩa dân tộc và có nhắc đến việc huấn luyện mạng nơ-ron, nhưng không ai để ý và phải đến đầu thập niên 1980 ông mới công bố được.
Đầu thập niên 1980: nhóm PDP ở San Diego
David Rumelhart, nhà tâm lý học sinh năm 1942 ở South Dakota, làm việc tại San Diego từ 1967. Ông cùng James McClelland, Geoffrey Hinton (đến làm nghiên cứu sau tiến sĩ cuối thập niên 1970) và Ronald Williams theo hướng xử lý phân tán song song (PDP), tin rằng kiến thức rải trên vô số mối nối giữa các nơ-ron. Đầu thập niên 1980, ông tự tìm lại phép tính mà không biết đến Linnainmaa hay Werbos, bằng cách thay công tắc bật tắt bằng nơ-ron sáng dần theo đường cong mềm để có độ dốc.
Theo lời Hinton kể về sau, ban đầu nó chạy được nhưng chưa gây ấn tượng nên bị cất đi. Hinton còn mê máy Boltzmann hơn. Năm 1984, khi so sòng phẳng hai phương pháp, ông thấy lan truyền ngược tốt hơn rất nhiều, và người hoài nghi lớn nhất trở thành người tin.
1986: hai gia đình bằng giấy
Để có bằng chứng nhìn là thấy, Hinton chọn chuyện họ hàng: hai cây phả hệ giống hệt hình dáng, một Anh một Ý, mỗi nhà 12 người, cùng 12 kiểu quan hệ. Mỗi người chỉ là một «bóng đèn» riêng, và thông tin phải chen qua chỉ sáu nơ-ron ẩn. Máy học 100 trong 104 câu đúng qua 1.500 lượt, rồi trả lời đúng cả 4 câu chưa từng thấy.
Khi mở máy ra xem, một nơ-ron tự tách người Anh khỏi người Ý, một nơ-ron xếp theo thế hệ, một nơ-ron tách các nhánh họ. Bài báo được gửi Nature ngày 1/5 và ra ngày 9/10/1986. Các tác giả còn tự nhận cách học này, ở dạng hiện tại, không phải mô hình hợp lý cho cách não học, và ghi rõ David Parker cùng Yann LeCun cũng tìm ra độc lập.
1986–1990s: nở hoa rồi vào mùa đông
Chương tám trong hai tập sách PDP năm 1986 thành tài liệu sinh viên truyền tay nhau. Rồi NETtalk của Terry Sejnowski và Charles Rosenberg học đọc to tiếng Anh; năm 1989 LeCun dạy mạng đọc mã bưu chính viết tay ở Bell; cũng có mạng học lái xe tải nhỏ và mạng tự chơi backgammon. Hội nghị NIPS đầu tiên mở ở Denver năm 1987.
Nhưng mạng càng sâu càng khó dạy. Năm 1991, Sepp Hochreiter, sinh viên của Jürgen Schmidhuber, chỉ ra tín hiệu lỗi teo dần khi truyền ngược, gọi là đạo hàm tiêu biến. Máy vectơ hỗ trợ của Vladimir Vapnik lên ngôi, và vào những năm 2000 mạng nơ-ron bị đẩy ra rìa, chỉ còn Hinton ở Toronto cùng nhóm nhỏ kiên trì giữ.
2011–2024: mùa xuân muộn và cuộc tranh cãi
Rumelhart được học bổng MacArthur và vào Viện Hàn lâm Khoa học Mỹ năm 1987, nhưng từ thập niên 1990 mắc bệnh Pick, về hưu năm 1998 và qua đời ngày 13/3/2011. Mùa thu 2012, hai học trò của Hinton đưa một mạng nơ-ron sâu đến cuộc thi nhận dạng ảnh lớn và bỏ xa đối thủ, mở màn kỷ nguyên học sâu. Năm 2024, Nobel Vật lý trao cho John Hopfield và Geoffrey Hinton; phần của Hinton được nêu là máy Boltzmann chứ không phải lan truyền ngược.
Điều còn tranh cãi hoặc cần thận trọng
- Ai là người đầu tiên? Không có đáp án sạch sẽ. Luận văn của Linnainmaa không có nơ-ron; Werbos kể ông nghĩ ra từ đầu thập niên 1970, còn Schmidhuber cho rằng đến năm 1982 ông mới thật sự áp dụng cho mạng nơ-ron. Mỗi bên định nghĩa chữ «phát minh» một kiểu.
- Hinton có phát minh ra nó không? Cách nói đó của báo chí là sai, và Hinton phủ nhận. Theo ông, Rumelhart tìm ra độc lập, còn phần của ông là chứng minh nó học được các biểu diễn bên trong thú vị. Schmidhuber thì gọi giải Nobel 2024 là «Nobel cho sự đạo văn» và chê bài 1986 không ghi nguồn gốc của phương pháp.
- Giai thoại. Nhiều chi tiết là lời kể lại sau nhiều năm: Rumelhart đáp «không có gì» khi đang viết mã xuyên đêm, NETtalk bập bẹ như em bé, vụ cược với Vapnik ở Bell, hay việc Hinton nhận tin Nobel trong khách sạn. Nên giữ tinh thần, đừng đóng khung từng chữ.
Vì sao câu chuyện này đáng nhớ?
Một ý tưởng có thể ra đời nhiều lần mà không ai hay; nó chỉ thật sự sống khi gặp đúng câu hỏi của mình. Linnainmaa có phép tính nhưng không có câu hỏi về trí tuệ, Werbos có câu hỏi nhưng chưa có bức hình, còn nhóm San Diego có cả hai.
Hôm nay, các mô hình học sâu vẫn học bằng chính phép tính ấy. Phần máy móc là con cháu của luận văn Helsinki; còn lý do nó được dùng là món quà của hai gia đình bằng giấy. Khi viết lại cây phả hệ này, bạn sẽ đặt ai ở gốc: người nghĩ ra trước, hay người khiến nó có nghĩa?
Câu hỏi thường gặp
Lan truyền ngược là gì?
Là cách chia lỗi ở đầu ra ngược về từng mối nối trong mạng nơ-ron, mỗi lượt chỉnh một chút để mạng dần trả lời đúng. Nó dựa trên quy tắc chuỗi trong giải tích.
Ai phát minh ra lan truyền ngược?
Không có một người duy nhất. Linnainmaa viết ra phép tính năm 1970, Werbos nghĩ ra khoảng 1971, Rumelhart tự tìm lại đầu thập niên 1980. Hinton nói rõ ông chưa bao giờ nhận mình phát minh ra nó.
Bài báo Nature 1986 chứng minh điều gì?
Nó cho thấy các nơ-ron ẩn tự học được những đặc trưng cốt lõi của bài toán. Trong thí nghiệm hai gia đình, một nơ-ron tự phân biệt người Anh với người Ý và một nơ-ron khác nhận ra thế hệ.
Vì sao mạng nơ-ron bị bỏ rơi sau thập niên 1990?
Mạng sâu khó dạy vì tín hiệu lỗi teo dần khi truyền ngược (đạo hàm tiêu biến), máy tính chậm, dữ liệu ít, và máy vectơ hỗ trợ của Vapnik gọn hơn, có lý thuyết đẹp hơn.
Nobel Vật lý 2024 có trao cho lan truyền ngược không?
Giải trao cho John Hopfield và Geoffrey Hinton. Công trình của Hinton được nêu là máy Boltzmann, không phải lan truyền ngược. Schmidhuber chỉ trích giải này là đạo văn.
Nguồn tham khảo
- Rumelhart, Hinton, Williams, bài «Learning representations by back-propagating errors», Nature 323, 533–536 (1986)
- Chương 8 sách PDP, «Learning Internal Representations by Error Propagation» (1986)
- APS Observer: các bài tưởng niệm David Rumelhart (Bjork, McClelland, Weigend)
- Wikipedia: Backpropagation, David Rumelhart, NETtalk
- Jürgen Schmidhuber, trang IDSIA về lịch sử lan truyền ngược
- SyncedReview, 23/4/2020 (phản hồi của Hinton)
- Phỏng vấn Hinton: Architects of Intelligence, deeplearning.ai, Talking Nets
- Stanford News về David Rumelhart
Bài viết tóm tắt từ video của kênh; nội dung mang tính giới thiệu.
