LeNet, mạng nơ-ron tích chập của Yann LeCun tại Bell Labs, là một trong những hệ thống trí tuệ nhân tạo đầu tiên chạy thật trong đời sống: từ năm 1996 nó đọc số tiền viết tay trên séc ngân hàng Mỹ. Câu chuyện trải từ cuối thập niên 1980 đến năm 2012, và đáng quan tâm vì nó cho thấy một ý tưởng có thể làm việc hữu ích hàng chục năm mà vẫn bị giới học thuật quay lưng.

Tóm tắt nhanh

Nhóm của LeCun tại Holmdel, bang New Jersey, dạy một mạng nơ-ron tự học cách nhìn chữ số, rồi ghép nó vào máy đọc séc của hãng NCR. Hệ thống chạy trong ngân hàng Mỹ từ tháng 6/1996, nhưng cuộc chia tách công ty AT&T, cùng làn sóng quay sang các phương pháp khác, khiến mạng nơ-ron gần như biến mất khỏi sân khấu học thuật. Đến năm 2012, AlexNet thắng cuộc thi ImageNet bằng một mạng tích chập lớn và đưa ý tưởng ấy trở lại.

Diễn biến chính

Bối cảnh: núi séc của nước Mỹ và phòng thí nghiệm Holmdel

Theo Fed Payments Study, năm 2000 người Mỹ trả khoảng 41,9 tỷ tấm séc, và đến năm 2003 thanh toán điện tử mới vượt séc. Mỗi tờ phải được đọc và ghi sổ, nhưng máy khó đọc nhất là số tiền do người ký viết tay. Tại Bell Labs ở Holmdel, phòng Nghiên cứu Hệ thống Thích nghi của Larry Jackel đã thử dạy máy đọc mã bưu chính: bộ dữ liệu gồm 9.298 ảnh từ những lá thư qua Buffalo, và theo tài liệu dẫn bài 1989 của LeCun, con người đọc bộ này cũng sai khoảng 2,5%. Năm 1991, AT&T mua lại NCR, hãng làm máy rút tiền và máy phân loại séc.

1988–1989: LeCun và ý tưởng chia sẻ trọng số

Yann LeCun, khi đó 28 tuổi, đến Bell Labs tháng 10/1988 sau thời gian nghiên cứu sau tiến sĩ với Geoffrey Hinton ở Toronto. Mạng của ông dùng những “con mắt” nhỏ, mỗi con nhìn một ô bé của ảnh và được trượt khắp ảnh với cùng một bộ trọng số. Nhờ vậy mạng nhỏ hơn, học nhanh hơn và ít bị lừa hơn. Khác với Neocognitron của Fukushima từ năm 1980, cả hệ thống của LeCun được huấn luyện từ đầu đến cuối bằng lan truyền ngược. Bài báo năm 1989 báo cáo mức sai khoảng 1% trên bộ mã bưu chính Buffalo.

Đầu thập niên 1990: dạy cả dây chuyền trên ảnh séc nguyên vẹn

Trên séc thật, các con số dính và đè lên nhau, nên muốn đọc phải cắt, mà muốn cắt đúng lại phải biết đó là số gì. Nhóm giải vòng luẩn quẩn bằng cách huấn luyện toàn bộ dây chuyền trên ảnh séc nguyên vẹn, chỉ cho máy biết đáp án cuối. Các phiên bản nối tiếp nhau (HCAR30, 40, 50), và báo cáo về HCAR50 có tới mười tác giả. Cùng thời, nhóm cũng đóng góp bộ dữ liệu MNIST: trộn chữ của nhân viên điều tra dân số với chữ của học sinh để phép thử công bằng hơn.

1995–1996: kỳ thi độc lập và ngày vào ngân hàng

Nơi triển khai đầu tiên là máy ATM của NCR, với chip xử lý tín hiệu DSP-32C của AT&T. Năm 1995, một cuộc thử nghiệm độc lập cho thấy hệ thống vượt các hệ thương mại khác, vốn dựa trên nhiều quy tắc viết tay. Bên trong, máy tìm ô số tiền, cắt vết mực bằng cách thả các đường “trượt” theo viền nét chữ, nhờ LeNet-5 đoán từng mảnh (95 khả năng cộng một ô cho “rác”), rồi chọn cách đọc hợp lệ nhất cho số tiền. Nếu không chắc, nó từ chối và chuyển séc cho người. Trên 646 tấm séc doanh nghiệp, máy đọc đúng 82%, sai 1%, từ chối 17%; hệ cũ muốn giữ cùng mức sai chỉ đọc đúng 68% và từ chối 31%. Hệ thống chạy trong các ngân hàng Mỹ từ tháng 6/1996.

1996–2007: chia tách, thời kỳ tối và chờ đợi

Cũng trong giai đoạn 1995–1996, AT&T tách thành AT&T, Lucent (mang theo phần lớn Bell Labs) và NCR. Theo lời LeCun, đội của ông bị chia ra ba công ty ngay đúng ngày ăn mừng ngân hàng lớn đưa hệ thống vào vận hành. Bằng sáng chế ConvNet thuộc về NCR. LeCun chuyển sang dự án khác, rời AT&T năm 2002, sang Đại học New York năm 2003; bằng sáng chế hết hạn năm 2007. Trong khi đó, SVM, phương pháp ra đời ngay phòng bên cạnh, nằm cạnh LeNet trong bảng so sánh của bài báo năm 1998 và dần chiếm vị trí chủ lưu.

2012–2019: AlexNet và giải Turing

Năm 2012, hai học trò của Hinton đem một mạng tích chập khổng lồ đi thi ImageNet, chạy trên chip đồ hoạ và học từ hơn một triệu ảnh. Nó thắng cách biệt lớn và được gọi là AlexNet. Bên trong vẫn là các ý tưởng quen thuộc của LeNet. Giải Turing cho Hinton, LeCun và Bengio được công bố ngày 27/3/2019; theo kịch bản, hai trong ba người từng ký tên dưới bài báo về máy đọc séc.

Điều còn tranh cãi hoặc cần thận trọng

  • Các con số như “10% séc nước Mỹ” hoặc “10–20%” là ước lượng của chính người làm ra máy (Bottou, 2001); chưa có số liệu độc lập từ NCR hay ngân hàng.
  • Bài báo 1998 tự mâu thuẫn: phần giới thiệu nói hàng triệu séc mỗi tháng, phần tóm tắt nói mỗi ngày. Năm máy vào ngân hàng theo ký ức của LeCun và theo tài liệu viết lúc đó cũng lệch nhau một năm.
  • Câu “gần như không ai làm mạng nơ-ron suốt sáu, bảy năm” là lời LeCun, có phần cường điệu; vẫn có nhóm khác làm, chỉ không phải dòng chính.
  • Vụ cá cược giữa Vapnik và Jackel (hay LeCun) năm 1995 mỗi nguồn kể một kiểu, nên chỉ nên xem là giai thoại.
  • Các chi tiết như việc LeCun được cấp riêng một máy Sun 4, hay việc máy chỉ đọc được khoảng một nửa số séc, đều dựa trên lời kể của ông.

Vì sao câu chuyện này đáng nhớ?

Theo cách đọc của kênh Huyền Sử AI, mạng nơ-ron không chết vì giới hạn kỹ thuật trong thập niên 1990. Nó thành công ở một nơi quá nhàm để ai muốn kể, và bị chôn bởi một cuộc chia tách công ty, một tờ bằng sáng chế và một bài toán ít hấp dẫn.

Cũng cần công bằng: năm 2012 không phải phép màu từ hư không. Ý tưởng đã sẵn từ lâu, còn dữ liệu khổng lồ và chip đủ mạnh thì lúc đó mới có. Câu hỏi để lại là liệu hôm nay có công nghệ nào đang chạy âm thầm trong một ứng dụng nhàm chán, chờ được gọi tên.

Câu hỏi thường gặp

LeNet là gì và dùng để làm gì?

LeNet là dòng mạng nơ-ron tích chập do nhóm Yann LeCun phát triển tại Bell Labs. Phiên bản LeNet-5 được dùng để đoán từng mảnh ký tự trong hệ thống đọc số tiền viết tay trên séc ngân hàng.

Máy đọc séc dùng mạng nơ-ron chạy thật từ khi nào?

Theo bài báo năm 1998 của LeCun và cộng sự, hệ thống chạy ở nhiều ngân hàng Mỹ từ tháng 6/1996. Thử nghiệm độc lập năm 1995 cho thấy nó vượt các hệ thương mại khác.

MNIST ra đời như thế nào?

NIST có hai bộ chữ số viết tay: một do nhân viên Cục Điều tra Dân số viết, một do học sinh trung học viết. Nhóm Bell Labs trộn hai bộ, lấy chữ của chừng 250 người viết mỗi bên, thành 60.000 số để học và 10.000 số để thi, gọi là NIST đã sửa đổi (MNIST).

Vì sao mạng nơ-ron bị lãng quên cuối thập niên 1990?

Theo cách đọc của kênh, không phải do giới hạn kỹ thuật mà do cuộc chia tách công ty, bằng sáng chế nằm ở NCR và một bài toán ít ai thấy hấp dẫn. Giới học thuật khi đó cũng chuộng các phương pháp như SVM.

LeNet liên quan gì đến AlexNet năm 2012?

AlexNet là mạng tích chập khổng lồ của hai học trò của Geoffrey Hinton, thắng cuộc thi ImageNet nhờ chip đồ hoạ và hơn một triệu ảnh. Về nguyên lý nó vẫn là họ hàng của LeNet.

Nguồn tham khảo

  • LeCun et al., bài báo năm 1998 về học dựa trên gradient cho nhận dạng văn bản (các trang 2278–2279, 2287, 2316–2317)
  • Fed Payments Study 2004 (số liệu séc Mỹ)
  • Phỏng vấn Yann LeCun của Andrew Ng (deeplearning.ai)
  • Chuỗi bài của Yann LeCun, 2021
  • Bottou, bài trình bày tại ICML 2001
  • SEC, mẫu 8-K tháng 9/1996 (chia tách AT&T)
  • Thông cáo của ACM về giải Turing
  • Wikipedia: LeNet, Yann LeCun
  • i-programmer, 2014 (vụ cá cược Vapnik)

Bài viết tóm tắt từ video của kênh; nội dung mang tính giới thiệu.