Kunihiko Fukushima và Neocognitron là một trong những khởi nguồn ít được nhắc tới của mạng tích chập (CNN), công nghệ đứng sau việc điện thoại nhận ra khuôn mặt. Cuối tháng 10 năm 1979, một kỹ sư 43 tuổi của đài truyền hình NHK ở Tokyo gửi sang Đức một bản thảo vẽ ra cỗ máy nhìn nhiều tầng, rồi bài được in năm 1980. Câu chuyện đáng quan tâm vì bản vẽ ấy có đủ bộ khung, nhưng thiếu một mảnh để học thật sự hiệu quả.
Tóm tắt nhanh
Neocognitron (1980) là mạng nhiều tầng do Fukushima thiết kế, mô phỏng cách não nhìn: tầng dưới bắt nét, tầng trên ghép nét, các bộ dò nét được dùng chung và mạng nhận ra chữ dù chữ bị lệch hay méo. Nó có những thành phần mà CNN sau này dùng, nhưng học bằng cách “bầu cử” chứ không biết sửa lỗi ngược từ đáp án. Phải đến năm 1989, Yann LeCun thêm lan truyền ngược trên dữ liệu thật thì bộ khung ấy mới chứng tỏ sức mạnh. Vì thế nói “Fukushima phát minh ra CNN” chỉ đúng một nửa.
Diễn biến chính
1958–1969: con mèo, perceptron và mùa đông của mạng nơ-ron
Năm 1958, David Hubel và Torsten Wiesel nghiên cứu vùng não thị giác của một con mèo. Theo lời kể, một mép tấm kính trượt qua màn chiếu tình cờ làm tế bào thần kinh reo lên: nó chỉ phản ứng với một nét thẳng nghiêng đúng một góc. Hai ông mô tả tế bào đơn giản (canh một nét ở chỗ cố định) và tế bào phức hợp (vẫn nhận nét ấy khi nó nhích đi chút ít). Họ nhận giải Nobel Y học năm 1981.
Cũng năm 1958, Frank Rosenblatt gây sốt với perceptron. Năm 1969, Marvin Minsky và Seymour Papert xuất bản cuốn Perceptrons, chỉ ra giới hạn của mạng một tầng; tiền tài trợ rút dần và mạng nơ-ron bước vào một mùa đông dài.
1965–1975: một kỹ sư truyền hình bị não cuốn hút
Năm 1965, NHK lập phòng thí nghiệm sinh học thị giác, nơi kỹ sư ngồi chung với nhà sinh lý thần kinh và nhà tâm lý học. Fukushima sinh ngày 16/3/1936 ở Đài Loan thuộc Nhật, tốt nghiệp Đại học Kyoto năm 1958, vào NHK và lấy tiến sĩ năm 1966 về mã hóa tín hiệu truyền hình. Sau này ông nói ban đầu mình không quan tâm đến học máy, thứ ông muốn biết là não động vật xử lý thông tin ra sao.
Năm 1969 ông công bố mạng nhiều tầng rút nét từ ảnh, và năm 1975 ra mắt Cognitron, mạng tự học không cần thầy. Cognitron có một tật: cùng một chữ đặt lệch đi một chút là bị coi như chữ khác.
1979–1980: Neocognitron thành hình
Từ tế bào phức hợp của Hubel và Wiesel, Fukushima nghĩ đến việc xếp chồng nhiều tầng chịu được sự xê dịch. Theo lời ông kể, các thí nghiệm về dây thần kinh mắt của cá và ếch tự mọc lại gợi cho ông ý tưởng “tế bào hạt giống”: cả một mặt phẳng tế bào có chung kiểu kết nối.
Mạng có bảy tầng, ảnh vào là lưới 16×16. Các tế bào S (theo tế bào đơn giản) dò nét, cả mặt phẳng dùng chung một bộ kết nối; các tế bào C (theo tế bào phức hợp) gom tín hiệu của cụm S kề nhau nên nét lệch một chút vẫn được nhận. Ba lượt S–C chồng lên nhau, và ở tầng cao nhất chỉ một ô sáng lên để gọi tên chữ. Mạng học theo kiểu tế bào phản ứng mạnh nhất được củng cố, không có “thầy” chấm đúng sai. Ông thử với năm chữ số (0–4), mỗi chữ 20 lần, rồi với các chữ X, Y, T, Z. Trong bài, ông thừa nhận với đủ mười chữ số thì máy thiếu bộ nhớ, và gọi mô hình chỉ là một giả thuyết làm việc.
1986–1989: lan truyền ngược và LeCun
Bài báo năm 1980 nằm trong một tạp chí sinh học, ít người làm máy tính đọc tới. Năm 1986, bài trên Nature với sự góp mặt của Geoffrey Hinton làm lan truyền ngược vang lên khắp nơi. Theo lời kể, Yann LeCun, khi làm việc với Hinton, đã đọc Neocognitron và thấy nó rất giống ý mình, chỉ thiếu thuật toán học kiểu lan truyền ngược.
Năm 1988, LeCun sang phòng thí nghiệm Bell và có dữ liệu thật: 7.291 ảnh chữ số mã bưu chính viết tay, mỗi ảnh 16×16. Mạng của ông, huấn luyện khoảng ba ngày trên một máy trạm, đọc đúng chừng 95% chữ số chưa từng thấy. Bài báo ra năm 1989. Về sau, thí nghiệm này chạy lại trên một chiếc MacBook chỉ mất khoảng 90 giây.
1988 trở đi: hai con đường
Giữa thập niên 1980, Neocognitron đạt đỉnh ở NHK: một giải thưởng của cơ quan khoa học kỹ thuật Nhật năm 1985 và một đoạn phim ngắn năm 1986. Theo lời kể của các nhà sử học, ông không chọn hướng phóng to mô hình để làm máy đọc chữ công nghiệp mà tiếp tục hỏi bộ não hoạt động ra sao. Năm 1988, sau ba mươi năm, ông rời NHK, rồi làm việc ở Osaka, Tokyo, Fukuoka và nhiều nơi khác.
Trong khi đó, mạng nơ-ron lại chìm xuống đến những năm 2000, cho đến khi dữ liệu ImageNet của Lý Phi Phi và card đồ họa gặp nhau. Năm 2012, một mạng tích chập tám tầng của nhóm Hinton ở Toronto sai khoảng 15% so với khoảng 26% của đội về nhì trong cuộc thi ImageNet. Năm 2015, Jürgen Schmidhuber ghi “1979, Neocognitron” ở gốc cây mạng tích chập.
2018–2024: sự công nhận chậm rãi
Năm 2018, giải Turing được trao cho ba người làm nên học sâu, trong đó có Hinton và LeCun. Fukushima được ghi nhận từng bậc: giải Takayanagi Kenjiro năm 2020, giải Bower của Viện Franklin năm 2021, với lời tuyên dương nói ông đã tạo ra mạng nơ-ron tích chập sâu đầu tiên. Ngoài tám mươi lăm tuổi, ông vẫn viết báo khoa học và nghiên cứu cách dạy máy học từ thật ít ví dụ.
Điều còn tranh cãi hoặc cần thận trọng
- “Fukushima phát minh ra CNN”: năm 1980 đã có trọng số dùng chung, tầng gom và nhiều tầng chồng lên nhau, nhưng chưa có lan truyền ngược, chưa có kiểu gom lấy giá trị lớn nhất, và chưa dạy cả mạng cùng lúc theo đáp án. Gọi đó là CNN hay không tùy cách định nghĩa.
- “Trước LeCun mười năm”: hơi tròn. Báo cáo sơ bộ ra năm 1979, bài tạp chí năm 1980, bài của LeCun năm 1989, tức khoảng chín đến mười năm. Nói LeCun chép Fukushima là quá lời, vì phần LeCun thêm vào mới làm bộ khung học được.
- Phản ứng vượt ngưỡng năm 1969: ông dùng rất sớm, nhưng trước đó đã có người dùng.
- Lý do rời NHK: chỉ biết qua lời kể của một nhóm sử học; chính ông chưa nói về cảm xúc lúc ấy.
- Các giai thoại (mép tấm kính, món quà của người chú, lần sang Mỹ năm 1968, LeCun đọc Neocognitron) là lời kể lại, không phải sự kiện có tài liệu kiểm chứng.
- Nobel Vật lý 2024: giải trao cho John Hopfield và Geoffrey Hinton. Tờ Asahi viết rằng các nhà khoa học Nhật lẽ ra cũng phải được giải, và Hội Mạng nơ-ron Nhật Bản lên tiếng nhắc tới những người tiên phong của Nhật. Phía bên kia đáp rằng đây là giải Vật lý và công trình của hai người gắn với vật lý hơn.
Vì sao câu chuyện này đáng nhớ?
Một bộ khung không biết tự sửa sai thì dù đúng đến mấy cũng giống tòa nhà chưa ai dọn vào ở. Nhưng thiếu lan truyền ngược chỉ là một nửa lý do. Nửa kia là câu hỏi: Fukushima hỏi “bộ não nhìn thế nào?”, còn thế giới về sau hỏi “làm sao để máy đọc đúng con chữ?”. Cùng một bản vẽ, hai câu hỏi dẫn tới hai con đường.
Lịch sử thường ghi công người làm cho máy chạy, ít khi ghi công người đặt câu hỏi. Ai xứng được ghi tên trong cây phả hệ của học sâu: người vẽ ra hình dạng, hay người dạy nó biết sửa sai? Câu chuyện không đưa ra đáp án cuối cùng.
Câu hỏi thường gặp
Neocognitron là gì?
Là mạng nơ-ron nhiều tầng do Kunihiko Fukushima công bố năm 1980 trên tạp chí Biological Cybernetics, có tế bào S dò nét và tế bào C gom tín hiệu, giúp nhận ra chữ dù chữ bị lệch hoặc méo.
Fukushima có phải người phát minh ra mạng tích chập không?
Chỉ đúng một phần. Neocognitron có trọng số dùng chung và nhiều tầng chồng lên nhau, nhưng chưa có lan truyền ngược, nên CNN hiện đại thường gắn với công trình của LeCun năm 1989.
Vì sao Neocognitron không nổi tiếng ngay?
Bài đăng ở tạp chí sinh học mà người làm máy tính ít đọc, mạng thiếu thuật toán sửa lỗi, và máy thời đó không đủ bộ nhớ cho đủ mười chữ số.
Yann LeCun đã thêm gì vào bộ khung của Fukushima?
Theo lời kể, LeCun thấy Neocognitron thiếu lan truyền ngược. Năm 1989 ông áp dụng nó để đọc mã bưu chính viết tay, đạt khoảng 95% độ đúng trên chữ số chưa từng thấy.
Fukushima có nhận được giải thưởng nào không?
Có, như giải Takayanagi Kenjiro năm 2020 và giải Bower của Viện Franklin năm 2021. Ông không có tên trong Nobel Vật lý 2024, điều gây tranh luận ở Nhật.
Nguồn tham khảo
- Fukushima, K. (1980), Neocognitron, Biological Cybernetics 36:193–202
- Fukushima, K. (1975), Cognitron, Biological Cybernetics 20:121–136
- LeCun và cộng sự (1989), Neural Computation 1(4):541–551
- Viện Franklin: tiểu sử và lời tuyên dương giải Bower của Fukushima
- Hsiung và cộng sự, The Conversation (2024)
- Asian Scientist (2021): phỏng vấn Fukushima
- Karpathy (2022): chạy lại thí nghiệm của LeCun 1989
- Schmidhuber (2015): tổng quan về học sâu
- Asia Times (2024) về tranh luận Nobel
Bài viết tóm tắt từ video của kênh; nội dung mang tính giới thiệu.
