Frederick Jelinek và câu đùa «đuổi nhà ngôn ngữ học» là một trong những giai thoại nổi tiếng nhất của lịch sử nhận dạng tiếng nói. Câu chuyện trải từ Kladno thời Đức chiếm đóng, qua phòng thí nghiệm IBM ở Yorktown Heights thập niên 1970, đến những cỗ máy biết trò chuyện ngày nay. Nó đáng quan tâm vì chính nhóm của Jelinek đã đặt ra cái tên «mô hình ngôn ngữ».
Tóm tắt nhanh
Jelinek không thắng nhờ gạt ngôn ngữ học ra ngoài. Theo cách đọc của kênh, nhóm IBM thắng vì bắt mọi ý tưởng, kể cả ngữ pháp, phải đứng trước cùng một thước đo trên cùng một bộ dữ liệu. Mô hình bộ ba chỉ biết đếm trụ được lâu vì chưa ai đưa ra được thứ có con số tốt hơn. Khi ngữ pháp bắt đầu có điểm, chính Jelinek là người mở cửa cho nó.
Diễn biến chính
1932–1949: tuổi thơ bị cấm đến trường
Jelinek sinh ngày 18 tháng 11 năm 1932 ở Kladno, cha là nha sĩ người Do Thái. Khi quân Đức tràn vào, trẻ Do Thái bị cấm đến trường và cậu học lén theo nhóm nhỏ. Hè năm 1941 cả nhà bị đuổi về Praha. Cha ông từng có hộ chiếu và thị thực sang Anh nhưng phút chót quyết định ở lại. Năm 1949, người mẹ đưa các con sang New York.
Thập niên 1950–1962: từ luật sư đến lý thuyết thông tin
Ở Mỹ, mẹ ông làm đầu bếp, còn ông làm công nhân nhà máy và học kỹ thuật điện buổi tối vì học luật mất tới bảy năm. Một học bổng đưa ông đến MIT, kèm lời hứa sẽ về giúp Tiệp Khắc khi đất nước tự do. Ở đó ông theo lý thuyết thông tin của Claude Shannon, dưới thầy Robert Fano. Sau khi nghe Noam Chomsky giảng, ông định chuyển sang ngôn ngữ học nhưng thầy Fano không cho. Năm 1962, Charles Hockett ở Cornell hứa hợp tác rồi bỏ đi sáng tác opera. Hai lần gõ cửa, hai lần cửa đóng, ông quay về lý thuyết thông tin.
1969–1972: cú tát và việc làm hè
Năm 1969, John Pierce của Bell Labs chế giễu nhận dạng tiếng nói là khoản tiêu tiền giống dự án biến nước thành xăng, vì ngành chỉ có «trải nghiệm» chứ không có «thí nghiệm». Năm 1971, ARPA vẫn mở dự án khoảng mười lăm triệu đô la, còn IBM được mời nhưng không tham gia. Hãng lo máy tính mạnh quá nhanh sẽ làm cạn nhu cầu, nên cần một bài toán đủ nặng. Hè năm 1972, Jelinek xin việc ba tháng ở IBM, và ghế trưởng nhóm đang bỏ trống. Năm 1974 ông bỏ ghế giáo sư Cornell, và ba tháng ấy thành hai mươi mốt năm.
1972–1978: kênh nhiễu và mô hình bộ ba
Nhóm gồm phần lớn dân lý thuyết thông tin và vật lý, chưa ai học về tiếng nói. Họ coi chuỗi từ trong đầu người nói là thứ bị méo qua miệng, không khí và micro, rồi bắt máy đoán ngược. Họ gọi hai nửa là mô hình âm học và mô hình ngôn ngữ, và đặt ra thước đo độ bối rối. Năm 1976 ông tổng hợp thành bài báo về nhận dạng tiếng nói liên tục bằng phương pháp thống kê. Khoảng năm 1978, nhà ngôn ngữ học Stan Petrick nói sẽ viết «một bộ ngữ pháp nho nhỏ», nhưng bộ ấy không bao giờ được viết. Thay vào đó, theo gợi ý của một kỹ sư lão làng, họ chỉ đếm hai từ đứng trước để đoán từ tiếp theo. Cỗ máy Tangora của nhóm nghe được năm nghìn từ, nhưng người dùng phải nói rời từng tiếng và máy học riêng giọng từng người.
1986–1990: thước đo chung và dịch máy
Năm 1986, DARPA mở chương trình với bộ dữ liệu chung, bộ đề chung và thước đo lỗi tự động. Nhiều nhà nghiên cứu thấy mình như bị đưa về lớp mẫu giáo. Năm 1987, nhóm chuyển cách làm sang dịch máy, dùng biên bản Quốc hội Canada Hansard với khoảng ba triệu cặp câu Anh–Pháp. Máy tự học mà không có luật ngữ pháp hay từ điển, và còn ghép «hear» với «bravo» vì nghị sĩ Anh và Pháp hô hai chữ ấy khi tán thành. Đầu năm 1988, hội nghị ngôn ngữ học tính toán từ chối bài báo của nhóm. Nhóm không cãi mà đo, và kết quả cho thấy người dịch chỉ phải gõ chưa tới một nửa số phím. Năm 1989 IBM tặng bộ Hansard cho giới nghiên cứu, năm 1990 bản đầy đủ được in, và ba năm sau xuất hiện chuỗi «các mô hình IBM».
1987–2010: ngữ pháp trở lại và những năm cuối
Nhóm của Jelinek tin cách làm có ngữ pháp sẽ tốt hơn, nên đặt Đại học Lancaster dựng một ngân hàng cây cú pháp. Nhưng các thử nghiệm thêm từ loại hay cây quyết định không đủ hiệu quả, và mô hình bộ ba vẫn đứng vững. Năm 1993 Mercer và Brown rời IBM sang một quỹ đầu tư, còn Jelinek sang Johns Hopkins lập Trung tâm Xử lý Ngôn ngữ và Tiếng nói cùng truyền thống trại hè. Năm 2002 công trình mô hình ngôn ngữ có cấu trúc của ông nhận giải bài báo xuất sắc nhất. Năm 2001 ông nghỉ phép ở một viện ngôn ngữ học ở Praha, thực hiện lời hứa sau Cách mạng Nhung năm 1989. Ông mất đột ngột ngày 14 tháng 9 năm 2010, thọ bảy mươi bảy tuổi, ngay tại nơi làm việc.
Điều còn tranh cãi hoặc cần thận trọng
Câu đùa nổi tiếng chưa ai chép được trọn vẹn, và không có văn bản gốc. Kịch bản nêu ít nhất bốn dị bản. Theo lời kể của Moore (2005), câu nói vang lên tại một hội thảo năm 1985, còn Jelinek tự nhớ là cuối năm 1988. Cũng theo ghi chép, bài tổng kết năm 2009 của ông không nhắc tới câu ấy.
Chữ «đuổi» cũng đáng ngờ. Theo lời chính Jelinek, ba nhà ngôn ngữ học chỉ được điều tạm và sau đó trở về nhóm cũ. Mô hình Markov ẩn không phải phát minh của ông. Còn câu nói của Petrick về «bộ ngữ pháp nho nhỏ» là giai thoại trong nhóm, không phải một biên bản. Cảnh Jelinek cầm thư từ chối trong căn phòng ở Yorktown là cảnh dựng lại cho kịch tính, không phải ghi chép.
Vì sao câu chuyện này đáng nhớ?
Câu chuyện cho thấy một ý tưởng bị coi thường vẫn có thể thắng nếu có thước đo công bằng. Lá thư của Pierce năm 1969 đòi thí nghiệm, và lớp «mẫu giáo» của DARPA năm 1986 là câu trả lời cho đòi hỏi ấy.
Nó cũng cho thấy ranh giới giữa «máy» và «người hiểu» không rạch ròi như câu đùa gợi ý. Jelinek hai lần xin vào ngôn ngữ học, và về sau mang ngữ pháp trở lại cỗ máy. Nhà ngôn ngữ học Mark Liberman viết rằng có lẽ đó là cách tốt nhất để Jelinek đóng góp cho ngôn ngữ học. Ngày nay các mô hình ngôn ngữ lớn vẫn được chấm trên những bộ đề chung.
Câu hỏi thường gặp
Frederick Jelinek là ai?
Ông sinh ngày 18 tháng 11 năm 1932 ở Kladno, Tiệp Khắc, sang Mỹ năm 1949. Ông là kỹ sư lý thuyết thông tin, trưởng nhóm nhận dạng tiếng nói của IBM từ năm 1972 và về sau lập trung tâm nghiên cứu ngôn ngữ ở Đại học Johns Hopkins.
Jelinek có thật sự đuổi các nhà ngôn ngữ học không?
Theo kịch bản, không có bằng chứng như vậy. Theo lời chính Jelinek, ba nhà ngôn ngữ học chỉ được điều tạm sang nhóm rồi quay về nhóm cũ. Hình ảnh «đuổi» là do người đời kể lại cho vui.
Mô hình ngôn ngữ ra đời từ đâu?
Nhóm của Jelinek ở IBM nhìn tiếng nói như một kênh nhiễu và tách bài toán thành hai nửa: mô hình âm học và mô hình ngôn ngữ. Tên gọi mô hình ngôn ngữ xuất hiện từ đó.
Mô hình Markov ẩn có phải do Jelinek phát minh không?
Không. Phần toán có từ trước, và vợ chồng nhà Baker cũng dùng nó cho tiếng nói một cách độc lập. Công của nhóm IBM là ghép mọi thứ thành một khung hoàn chỉnh.
Vì sao bài dịch máy của IBM năm 1988 bị từ chối?
Người phản biện giấu tên cho rằng hướng thống kê đã bị coi là sai lầm từ năm 1950, rằng sức mạnh thô của máy tính không phải khoa học, và bài nằm ngoài phạm vi hội nghị. Bản đầy đủ được in năm 1990 trên tạp chí hàng đầu của ngành.
Nguồn tham khảo
- Frederick Jelinek, bài nói nhận giải thành tựu trọn đời ACL, 2009
- Frederick Jelinek, tự thuật, 2001
- Mark Liberman, lời tiễn biệt Frederick Jelinek, 2010
- Hajič, bài tưởng niệm Frederick Jelinek, 2011
- Peter Brown và cộng sự, A Statistical Approach to Machine Translation, 1990
- Moore, bài tại INTERSPEECH, 2005
- Young, SLTC Newsletter, 2010
- Juang và Rabiner, NAE Memorial Tributes, tập 15
- Jurafsky và Martin, 2009
Bài viết tóm tắt từ video của kênh; nội dung mang tính giới thiệu.
