LSTM của Sepp Hochreiter và Jürgen Schmidhuber là bốn chữ cái nằm sau tính năng tìm kiếm bằng giọng nói của Google từ năm 2015, nhưng gốc rễ của nó là một bài báo in năm 1997 mà lúc ấy hầu như không ai chú ý. Bài này kể lại hành trình gần hai mươi năm của ý tưởng đó, từ một luận văn tiếng Đức năm 1991 đến cuộc tranh cãi xem ai là "cha đẻ" của nó.

Tóm tắt nhanh

LSTM (Long Short-Term Memory) là kiểu mạng nơ-ron có "ô nhớ" giữ được thông tin qua hàng nghìn bước thời gian. Nó ra đời từ việc giải bệnh gradient biến mất của mạng hồi quy: Hochreiter chẩn đoán trong luận văn năm 1991, rồi cùng Schmidhuber công bố giải pháp năm 1997. Bản 1997 chưa dùng được ngoài đời. Phải thêm cổng quên (1999), cách học CTC (2006), chip rẻ hơn và nhiều dữ liệu, LSTM mới thành công nghệ phổ biến vào khoảng 2015–2016. Về sau Transformer lấn át nó trên văn bản.

Diễn biến chính

1991: luận văn chẩn đoán căn bệnh

Mạng hồi quy có trí nhớ nhưng rất khó dạy. Khi dạy, "lời trách" về sai sót phải chuyền ngược qua từng bước thời gian và bị nhân với một con số ở mỗi bước. Nhỏ hơn một thì nó tắt dần, lớn hơn một thì nó phình ra và làm hỏng mọi thứ. Các bước xa nhất, đáng ra phải nhớ, gần như không nghe được gì.

Ngày 15 tháng 6 năm 1991, Josef "Sepp" Hochreiter nộp luận văn tốt nghiệp ở Đại học Kỹ thuật München, do Schmidhuber trực tiếp hướng dẫn và giáo sư Wilfried Brauer phụ trách. Luận văn chỉ ra bằng toán học vì sao lời trách tắt lịm, và có một chương về "dòng lỗi chảy ngược không đổi". Năm 1994, nhóm của Yoshua Bengio ở Montréal độc lập đi đến kết luận tương tự.

Ý tưởng băng chuyền và hai cánh cổng

Hochreiter lớn lên ở vùng Bavaria trong một gia đình có trang trại, và theo bài báo địa phương, lẽ ra anh sẽ tiếp quản đất đai. Anh kể rằng mình thấy ngành tin học nhàm chán cho đến khi gặp người hướng dẫn trẻ nói về mạng nơ-ron. Câu hỏi của anh khá giản dị: nếu lời trách bị nhân nhỏ đi ở mỗi bước, sao không dựng một đường mà nó được nhân với đúng một?

Từ đó có "băng chuyền lỗi không đổi", tức ô nhớ chở thông tin nguyên vẹn qua nhiều bước. Để băng chuyền không bị rác chen vào, hai thầy trò thêm cổng vào và cổng ra. Hai cổng này tự học từ dữ liệu xem lúc nào nên mở, lúc nào nên đóng.

1995–1997: bị từ chối, rồi được in

Schmidhuber khi ấy đã về viện IDSIA ở Lugano, Thụy Sĩ. Theo lời các tác giả, bài nộp cho hội nghị NIPS năm 1995 bị loại. Đến năm 1997, bài "Long Short-Term Memory" được in trên tạp chí Neural Computation, dài 46 trang. Bài hứa hẹn học được các mối nối cách nhau hơn một nghìn bước, nhưng thí nghiệm đều dùng dữ liệu nhân tạo, không có giọng nói hay chữ viết thật. Hochreiter sau đó đi làm ở hãng bảo hiểm Allianz, rồi làm tiến sĩ, và năm 2006 thành giáo sư tin sinh học ở Linz, Áo.

1999–2013: những mảnh còn thiếu

Năm 1999, nghiên cứu sinh Felix Gers thử LSTM với dòng dữ liệu chảy liên tục và thấy mạng hỏng, vì ô nhớ giữ quá nhiều. Cùng Schmidhuber và Fred Cummins, anh thêm cổng thứ ba: cổng quên, cho ô nhớ tự xoá khi cần. Phiên bản LSTM được dùng rộng rãi về sau là bản có cổng này.

Năm 2006, Alex Graves cùng các đồng nghiệp đưa ra CTC, cách học không đòi hỏi đánh dấu chính xác từng âm nằm ở đâu, chỉ cần đúng thứ tự. Năm 2009, hệ thống LSTM kết hợp CTC của Graves thắng ba cuộc thi chữ viết tay liền nét ở ICDAR (tiếng Pháp, Ả Rập, Ba Tư), học thẳng từ ảnh trang viết. Năm 2013, theo nguồn thứ cấp, LSTM nhiều tầng của Graves và Hinton đạt kỷ lục nhận dạng giọng nói trên bộ dữ liệu TIMIT.

2015–2016: LSTM ra đời sống

Tháng 7 năm 2015, dịch vụ chép lời tin nhắn thoại của Google chuyển sang LSTM, và theo nguồn thứ cấp, lỗi giảm 49%. Ngày 24 tháng 9 năm 2015, Google công bố dùng LSTM với CTC cho tìm kiếm bằng giọng nói. Mô hình tự học cách trễ khoảng 300 mili-giây để nghe trước, nên các kỹ sư phải huấn luyện lại cho nó đáp nhanh hơn.

Ngày 27 tháng 9 năm 2016, Google ra hệ thống dịch máy thần kinh cho cặp Trung–Anh, với khoảng 18 triệu lượt dịch mỗi ngày. Bên trong là chồng 8 lớp LSTM để đọc và 8 lớp để viết, giúp lỗi dịch giảm trung bình 60%.

2017 trở đi: Transformer và xLSTM

Tháng 6 năm 2017, một nhóm khác ở Google công bố Transformer, kiến trúc bỏ hẳn hồi quy. Nó xử lý cả câu cùng lúc nên tận dụng tốt chip chạy song song: chỉ 3,5 ngày trên 8 card đồ hoạ là vượt các hệ thống dịch tốt nhất thời đó. Năm 2024, nhóm của Hochreiter ở Linz công bố xLSTM, mang một số ý tưởng của Transformer vào LSTM. Cuộc đua này chưa có hồi kết.

Điều còn tranh cãi hoặc cần thận trọng

  • Ai là cha đẻ của LSTM? Tháng 11 năm 2016, New York Times đăng bài về Schmidhuber, trong đó Yann LeCun nhận xét ông ám ảnh với chuyện được ghi công. Schmidhuber đáp rằng LeCun không đưa ra được ví dụ nào. Năm 2018, Bloomberg Businessweek đăng bài mang tít "người cha đỡ đầu mà cộng đồng AI muốn quên". Giải Turing năm 2018 trao cho Hinton, Bengio và LeCun, không có Schmidhuber hay Hochreiter, và Schmidhuber cho rằng những người đi trước chưa được ghi công đủ.
  • Ai thấy căn bệnh trước? Là hai nhóm độc lập: München năm 1991 và Montréal năm 1994. Theo Schmidhuber, kết quả 1994 "về cơ bản giống hệt", nhưng đó là lời một bên. Năm 2001 hai phía còn cùng viết một chương sách.
  • Sợi dây từ 1997 tới điện thoại. Google chưa bao giờ nói họ chạy bài báo 1997. Bài blog năm 2015 chỉ nhắc LSTM và CTC, không nhắc tên hai tác giả.
  • Các con số do người trong cuộc nêu. Chuyện bị NIPS từ chối, việc hơn một phần tư năng lực tính toán của Google dành cho LSTM, hay 30 tỷ lượt dịch mỗi tuần của Facebook đều dựa trên lời kể và phép tính của Schmidhuber hoặc các tác giả, chưa được kiểm chứng độc lập.
  • "Mười năm bị lãng quên" chỉ đúng với thế giới bên ngoài. Trong phòng lab ở Lugano, việc cải tiến LSTM vẫn tiếp diễn.

Vì sao câu chuyện này đáng nhớ?

LSTM không phải chuyện một thiên tài đi trước thời đại. Bản 1997 chưa phải cỗ máy dùng được. Nó cần cổng quên của Gers, cách học CTC của Graves, chip rẻ đi cả nghìn lần (theo cách nói của Schmidhuber) và hàng nghìn giờ dữ liệu giọng nói. Mỗi mảnh do một người khác mang đến, vào một năm khác.

Vì thế, hỏi "ai phát minh ra nó" dễ dẫn tới tranh cãi không hồi kết, còn hỏi "cần thêm gì để nó chạy được" cho ta bức tranh đầy đủ hơn. Câu chuyện cũng nhắc rằng một ý tưởng tốt vẫn có thể phải chờ nhiều năm cho đủ điều kiện, và chính điều kiện ấy lại có thể hợp với một ý tưởng đến sau.

Câu hỏi thường gặp

LSTM là gì?

LSTM (Long Short-Term Memory) là một kiểu mạng nơ-ron hồi quy có ô nhớ cùng các cổng điều khiển, giúp giữ thông tin qua rất nhiều bước thời gian. Bài báo gốc in năm 1997 trên tạp chí Neural Computation.

Ai phát minh ra LSTM?

Sepp Hochreiter và Jürgen Schmidhuber là hai tác giả bài báo 1997. Cổng quên do Felix Gers cùng Schmidhuber và Fred Cummins bổ sung, còn CTC do Alex Graves và cộng sự đề xuất. Việc ghi công vẫn còn tranh cãi.

Gradient biến mất là gì?

Là hiện tượng khi dạy mạng hồi quy, tín hiệu sửa lỗi bị nhân nhỏ dần qua từng bước thời gian nên các bước xa gần như không học được. Hochreiter phân tích vấn đề này trong luận văn năm 1991.

Vì sao LSTM mất khoảng 18 năm mới nổi tiếng?

Bản 1997 chỉ thử trên bài toán nhân tạo và chưa có cổng quên. Phải thêm cổng quên, cách học CTC, chip rẻ hơn và dữ liệu giọng nói lớn, rồi đến năm 2015 Google mới dùng cho tìm kiếm bằng giọng nói.

Google dùng LSTM từ khi nào?

Theo nguồn thứ cấp, tháng 7 năm 2015 dịch vụ chép lời tin nhắn thoại chuyển sang LSTM. Ngày 24 tháng 9 năm 2015 Google công bố dùng LSTM với CTC cho tìm kiếm bằng giọng nói.

Transformer có thay thế LSTM không?

Transformer ra đời tháng 6 năm 2017, xử lý cả câu cùng lúc và học nhanh trên chip song song, nên dần thay LSTM trên văn bản. Năm 2024, Hochreiter công bố xLSTM để đưa LSTM trở lại cuộc đua.

Nguồn tham khảo

  • Hochreiter, luận văn "Untersuchungen zu dynamischen neuronalen Netzen", TU München, 1991
  • Hochreiter & Schmidhuber, "Long Short-Term Memory", Neural Computation, 1997
  • Sak và cộng sự, Google Voice Search: faster and more accurate, Google Research Blog, 2015
  • Le & Schuster, Google Research Blog về dịch máy thần kinh, 2016; arXiv:1609.08144
  • Vaswani và cộng sự, "Attention Is All You Need", arXiv:1706.03762
  • Trang của Schmidhuber về năm kỳ diệu 1990–1991 (people.idsia.ch)
  • Markoff, New York Times, 27/11/2016; Vance, Bloomberg Businessweek, 15/5/2018
  • Analytics India Magazine, 26/7/2023; Industriemagazin 2/2022; MeinBezirk, 10/9/2025
  • Wikipedia: Long short-term memory; Jürgen Schmidhuber

Bài viết tóm tắt từ video của kênh; nội dung mang tính giới thiệu.