Mạng Hopfield, ra đời trong một bài báo năm trang năm 1982, là câu chuyện về cách một nhà vật lý kéo mạng nơ-ron trở lại giữa mùa đông của trí tuệ nhân tạo. Bốn mươi hai năm sau, ngày 8/10/2024, John Hopfield cùng Geoffrey Hinton nhận Nobel Vật lý, và nhiều người hỏi: mạng nơ-ron thì liên quan gì đến vật lý? Bài viết kể lại diễn biến ấy, kể cả những điều còn tranh cãi.

Tóm tắt nhanh

Năm 1982, Hopfield mô tả một mạng nơ-ron có thể nhớ theo nội dung, rồi chứng minh nó luôn lăn về đáy của một «thung lũng năng lượng» và gọi đáy ấy là ký ức. Ông cũng chỉ ra mạng này đồng dạng với mô hình Ising của nam châm, nhờ đó giới vật lý lý thuyết mang bộ đồ nghề thuỷ tinh spin sang nghiên cứu mạng nơ-ron. Ý tưởng về trí nhớ liên tưởng đã có từ trước; đóng góp nổi bật của ông là hàm năng lượng và cách nói bằng ngôn ngữ vật lý. Có thể hiểu giải Nobel là thưởng cho một bản dịch.

Diễn biến chính

Đêm 2024: cuộc gọi Nobel giữa khuya

Theo các bài phỏng vấn, Hinton, khi ấy bảy mươi sáu tuổi, bị đánh thức trong một khách sạn rẻ tiền ở California và phải huỷ lịch chụp cộng hưởng từ. Hopfield, chín mươi mốt tuổi, ở làng Selborne nước Anh, kể rằng đến email thứ tư ông mới thấm. Viện Hàn lâm Thuỵ Điển nói hai ông đã dùng công cụ của vật lý để đặt nền móng cho máy học.

1969–1974: mùa đông mạng nơ-ron và những người đốt lửa

Năm 1969, Marvin Minsky và Seymour Papert xuất bản cuốn «Perceptrons», chỉ ra những chỗ mạng nơ-ron thời đó bất lực. Dù vậy, một số người vẫn tiếp tục: Kaoru Nakano ở Nhật viết về trí nhớ liên tưởng năm 1971 và đặt tên cỗ máy là Associatron năm 1972; Shun-ichi Amari công bố mạng các phần tử ngưỡng tự học năm 1972; William Little ở Mỹ viết về trạng thái bền vững trong bộ não năm 1974. Những ý tưởng ấy nằm trong các tạp chí kỹ thuật, ít người để ý.

1975: thuỷ tinh spin, thung lũng thứ hai

Trong vật lý chất rắn, thuỷ tinh spin là hợp kim mà các thỏi nam châm nguyên tử «cãi nhau», tạo nên địa hình năng lượng chằng chịt thung lũng nhỏ. Năm 1975, Sherrington và Kirkpatrick đưa ra một mô hình giải được bằng toán, và cả một thế hệ nhà vật lý lao vào, trong đó có Giorgio Parisi, người nhận Nobel Vật lý 2021. Họ có sẵn công cụ để hiểu một cỗ máy biết nhớ mà không hề hay biết.

1933–1980: một nhà vật lý rẽ sang bộ não

John Hopfield sinh năm 1933 trong gia đình có cả bố lẫn mẹ là nhà vật lý; sau này ông viết rằng vật lý là một cách nhìn thế giới. Ông làm tiến sĩ ở Cornell, làm việc ở Bell Labs và Princeton, rồi rẽ sang sinh học: năm 1974 ông đề xuất cơ chế sửa bản in động học để giải thích vì sao tế bào chép gen chính xác. Theo hồi ký của ông, việc bước vào khoa học thần kinh là hoàn toàn tình cờ, sau khi John Wheeler giới thiệu ông cho nhà sinh học Francis Schmitt ở MIT. Năm 1980 ông sang Caltech, ăn trưa cùng Carver Mead và Richard Feynman, và ba người cùng dạy môn Vật lý của tính toán.

1982: năm trang giấy

Hopfield gửi bài ngày 15/1/1982; bài đăng trên tạp chí của Viện Hàn lâm Khoa học Mỹ (PNAS) số tháng Tư, dài năm trang. Ông mở đầu bằng bài toán nhớ theo nội dung: lấy lại cả một dòng trích dẫn chỉ từ mẩu «và Wannier, 1941», kể cả khi viết sai chính tả. Mạng của ông gồm các nơ-ron bật hoặc tắt, nối hai chiều, và có một «năng lượng» chỉ giảm hoặc giữ nguyên, nên luôn dừng ở đáy một thung lũng. Câu then chốt: trường hợp này đồng dạng với mô hình Ising. Thí nghiệm chỉ là mạng ba mươi và một trăm nơ-ron chạy mô phỏng, và chính ông thừa nhận quy mô còn nhỏ. Theo Hopfield, đây là bài đầu tiên của ông có chữ «nơ-ron» và là bài được trích dẫn nhiều nhất của ông.

1985–1986: dung lượng, máy Boltzmann và một ngành mới

Năm 1985, ba nhà vật lý dùng công cụ thuỷ tinh spin tính chính xác dung lượng của mạng, khoảng 0,138 lần số nơ-ron. Terry Sejnowski và Geoffrey Hinton, đều đọc bài báo năm 1982, thêm nhiệt độ ngẫu nhiên và nơ-ron ẩn để tạo ra máy Boltzmann, mạng không chỉ nhớ mà còn học. Năm 1986, Hopfield lập chương trình Tính toán và Hệ thần kinh ở Caltech và là người đứng đầu đầu tiên.

Giới hạn, lãng quên và Nobel 2024

Ngay từ thí nghiệm năm 1982, mạng đã nhớ nhầm: khoảng 85% lần về đúng ký ức, 5% dừng gần một ký ức, và 10% rơi vào trạng thái giả. Về sau, mạng Hopfield cổ điển lùi vào sách giáo khoa khi lan truyền ngược và các phương pháp thống kê lên ngôi. Năm 2016, Hopfield và Dmitry Krotov quay lại tìm cách cho mạng nhớ nhiều hơn. Tháng 10/2024, giải Nobel đưa ông trở lại tâm điểm, cùng một cơn tranh cãi.

Điều còn tranh cãi hoặc cần thận trọng

Câu «Hopfield phát minh ra mạng nơ-ron biết nhớ» là kể quá, vì Nakano, Amari và Little đã đi trước cả chục năm. Jürgen Schmidhuber viết rằng giải thưởng «thưởng cho sự ghi công sai lệch» và gọi đây là «mạng Hopfield của Amari»; một tờ báo lớn của Nhật viết xã luận rằng lẽ ra các nhà nghiên cứu Nhật cũng phải được giải. Khi người ta dò phần tài liệu tham khảo của bài năm 1982, Little được trích với khoảng cách lịch sự, Amari được trích hai bài năm 1977 và 1978 chứ không phải bài năm 1972, còn Nakano không xuất hiện.

Tuy vậy, lời buộc tội «đạo văn» là ý kiến của một người, không phải phán quyết, và chính Amari không nói thế. Câu hỏi «cái này mà cũng là vật lý à?» là tiếng xì xào có thật nhưng khó tìm được người ký tên; Parisi nói vật lý đang ngày càng rộng ra. Chi tiết bản chứng minh đầu tiên được viết trên giấy khách sạn là lời Hopfield tự kể hơn bốn mươi năm sau.

Vì sao câu chuyện này đáng nhớ?

Một ý tưởng đúng, nói bằng thứ tiếng không ai nghe, vẫn nằm yên dưới đáy thung lũng. Hopfield không phải người đầu tiên nghĩ ra cỗ máy biết nhớ, nhưng khi ông nói nó bằng tiếng của nam châm và năng lượng, cả một ngành vật lý mới nghe thấy và coi mạng nơ-ron là chuyện nghiêm túc ngay giữa mùa đông. Ông từng nói vật lý không nằm ở thứ bạn nghiên cứu mà ở cách bạn nghiên cứu nó.

Câu chuyện chưa dừng ở đó: năm 2020, một nhóm nghiên cứu ở Áo chỉ ra mạng Hopfield hiện đại tương đương về mặt toán học với cơ chế chú ý của Transformer. Cũng trong buổi họp báo năm 2024, Hopfield so trí tuệ nhân tạo với phát hiện ra phân hạch hạt nhân và nói ông rất bất an trước một thứ không ai kiểm soát được.

Câu hỏi thường gặp

Mạng Hopfield là gì?

Đó là mạng gồm nhiều nơ-ron chỉ có hai trạng thái bật hoặc tắt, nối với nhau bằng các dây có độ mạnh riêng. Hopfield gán cho cả mạng một con số gọi là năng lượng; mỗi lần nơ-ron đổi trạng thái, năng lượng chỉ giảm hoặc giữ nguyên, nên mạng cuối cùng dừng ở đáy một thung lũng, và đáy ấy chính là ký ức.

Vì sao Hopfield và Hinton được trao giải Nobel Vật lý 2024?

Viện Hàn lâm Thuỵ Điển giải thích rằng hai ông đã dùng công cụ của vật lý để đặt nền móng cho máy học ngày nay. Hopfield được ghi nhận nhờ bài báo năm 1982, còn Hinton nhờ máy Boltzmann dựng trên mạng Hopfield.

Hopfield có phải người đầu tiên phát minh ra mạng nơ-ron biết nhớ không?

Không. Nakano (1971, 1972), Amari (1972) và Little (1974) đã đi trước. Điều mới của năm 1982 là hàm năng lượng và cách trình bày bằng ngôn ngữ vật lý, khiến cả một ngành vật lý nhìn thấy bài toán này.

Mạng Hopfield có hạn chế gì?

Trong thí nghiệm năm 1982, mạng ba mươi nơ-ron chỉ về đúng một ký ức khoảng 85% số lần, còn khoảng 10% rơi vào trạng thái bền vững không có ý nghĩa rõ ràng. Dung lượng sau này được tính là khoảng 0,138 lần số nơ-ron, và trạng thái giả có thể tăng rất nhanh.

Mạng Hopfield liên quan gì đến ChatGPT?

Năm 2020, một nhóm nghiên cứu ở Áo chỉ ra rằng phiên bản hiện đại của mạng Hopfield tương đương về mặt toán học với cơ chế chú ý, trái tim của các mô hình Transformer đứng sau ChatGPT.

Nguồn tham khảo

Bài viết tóm tắt từ video của kênh; nội dung mang tính giới thiệu.