Giải Netflix (Netflix Prize) là cuộc thi mở do hãng cho thuê phim Netflix tổ chức từ tháng 10 năm 2006 đến tháng 7 năm 2009, với một triệu đô la dành cho đội làm máy gợi ý phim chính xác hơn mười phần trăm. Hơn bốn mươi nghìn đội từ 186 quốc gia tham gia, và kết cục được quyết định bằng chênh lệch hai mươi phút nộp bài. Câu chuyện đáng quan tâm vì nó cho thấy cả hai mặt của việc mở kho dữ liệu cho thế giới: tri thức lan rộng, nhưng quyền riêng tư của khách hàng bị đặt lên bàn cân.

Tóm tắt nhanh

Netflix trả một triệu đô cho đội BellKor's Pragmatic Chaos, vượt Cinematch 10,05% rồi 10,09%, nhưng đội thắng chỉ hòa điểm với đối thủ The Ensemble trên bộ đề bí mật và thắng nhờ nộp sớm hơn. Bên cạnh tấm séc, cuộc thi để lại một kho tri thức về hệ thống gợi ý, một nghiên cứu chứng minh dữ liệu ẩn danh có thể bị nhận diện lại, một vụ kiện tập thể và việc hủy cuộc thi thứ hai. Theo kịch bản, người thắng thật là những ai đọc, chép lại và phát triển tiếp các phương pháp được công bố.

Diễn biến chính

Giữa thập niên 2000: Netflix tìm cách vượt Cinematch

Khi đó Netflix là hãng cho thuê đĩa DVD qua bưu điện, và cả mô hình xoay quanh câu hỏi tối nay khách muốn xem gì. Cỗ máy gợi ý Cinematch được cho là đứng sau khoảng hai phần ba lượt thuê (đây là lời kể kiểu người ta nói), nhưng chính Netflix thừa nhận suốt cả chục năm không vượt nổi một ngưỡng. Giám đốc sản phẩm Neil Hunt tả giấc mơ ấy là tiệm video một trăm nghìn bộ phim, nơi những phim bạn thích tự bay khỏi kệ.

2 tháng 10 năm 2006: mở cửa kho dữ liệu

Netflix công bố giải thưởng một triệu đô cho ai làm giảm sai số dự đoán số sao khách chấm phim thêm mười phần trăm so với Cinematch. Bộ dữ liệu gồm hơn 100 triệu lượt chấm của gần nửa triệu khách cho gần 18 nghìn phim, đã gỡ tên tuổi. Luật có một điều khoản nhỏ: người thắng phải công bố phương pháp của mình.

Cuối 2006 đến 2007: cuộc đua mở và bài viết của Simon Funk

Chỉ sáu ngày sau khai cuộc đã có đội vượt Cinematch. Tháng 12 năm 2006, người viết blog Simon Funk, khi đang hạng ba, đăng bài Hãy thử làm tại nhà, chia sẻ cách dùng phân rã ma trận: mỗi phim và mỗi khán giả được mô tả bằng vài chục tính chất ẩn do máy tự dò ra. Hàng trăm đội chép lại và cải tiến cách này. Tháng 11 năm 2007, đội của AT&T gồm Robert Bell, Chris Volinsky và Yehuda Koren giành Giải Tiến bộ đầu tiên, 50.000 đô, với lời giải ghép hơn một trăm thuật toán.

18 tháng 10 năm 2006: nghiên cứu nhận diện lại dữ liệu ẩn danh

Mười sáu ngày sau khai cuộc, Arvind Narayanan và Vitaly Shmatikov ở Đại học Texas tại Austin đăng bài cho thấy bộ phim, số sao và ngày chấm ghép lại thành một dấu vân tay. Chỉ với tám phim (hai phim có thể sai) và ngày lệch tới hai tuần, họ nhận ra đúng người trong 99% trường hợp. Thử đối chiếu với điểm công khai trên IMDb, họ tìm thấy hai người có hồ sơ khớp rõ ràng, và với một người thì điểm số hé lộ cả quan điểm chính trị lẫn tôn giáo.

2008 đến 26 tháng 7 năm 2009: các đội hợp nhất và cú nước rút

Không thuật toán đơn lẻ nào chạm vạch mười phần trăm nên các đội ghép mô hình rồi ghép luôn với nhau. BellKor, BigChaos (Áo) và Pragmatic Theory (Canada) hợp thành BellKor's Pragmatic Chaos, bảy người ở bốn quốc gia. Ngày 26 tháng 6 năm 2009 họ đạt 10,05%, kích hoạt ba mươi ngày cuối. Đối thủ gộp thành The Ensemble, khoảng ba mươi người. Ngày cuối, còn khoảng 24 phút BellKor's Pragmatic Chaos nộp bài đạt 10,09%; còn khoảng 4 phút The Ensemble nộp 10,10% và lên đầu bảng công khai.

21 tháng 9 năm 2009 đến 2012: tấm séc và hệ quả

Ban giám khảo mất vài tuần để kiểm. Trên bộ đề bí mật hai đội hòa nhau, nên đội nộp sớm hơn thắng. Lễ trao giải diễn ra ở New York, lần đầu cả bảy người gặp nhau trực tiếp. Netflix cũng công bố cuộc thi thứ hai với dữ liệu có thêm tuổi, giới tính và mã bưu chính. Ngày 17 tháng 12 năm 2009, một đơn kiện tập thể do nguyên đơn Jane Doe đứng tên được nộp ở Bắc California. Ngày 12 tháng 3 năm 2010 Netflix dàn xếp vụ kiện và hủy cuộc thi thứ hai. Đến tháng 4 năm 2012, blog kỹ thuật của Netflix cho biết họ dùng phân rã ma trận và một loại mạng nơ-ron từ Giải Tiến bộ 2007, còn phần ghép hàng trăm mô hình thì không đáng công đưa vào vận hành.

Điều còn tranh cãi hoặc cần thận trọng

  • Hai mươi phút hay hai mươi bốn phút? Hai mươi phút là khoảng cách giữa hai bài nộp có điểm tương đương; bài thắng nộp khoảng hai mươi bốn phút trước giờ đóng cổng. Đội vô địch không hẳn giỏi hơn, họ hòa và nộp sớm hơn.
  • Một triệu đô cho thuật toán chưa từng dùng? Tít này nói quá tay. Netflix có dùng các mảnh ghép cốt lõi từ năm 2007; phần bị bỏ qua là khối ghép hàng trăm mô hình của lời giải cuối.
  • Sáu hay tám bộ phim? Nhiều bài báo nói sáu phim là đủ nhận ra 99%, trong khi bài gốc ghi tám phim, hai phim được phép sai. Phép thử trên IMDb chỉ chứng minh được với hai người: nó cho thấy việc này làm được, không phải số người thật sự bị lộ.
  • Khoản phạt chín triệu đô thuộc một vụ kiện khác. Vụ Jane Doe được dàn xếp kín, điều khoản không công bố.
  • Giai thoại: chuyện Gavin Potter, người Anh làm việc trong phòng ngủ ở London dưới tên Just a guy in a garage và dùng hiệu ứng mỏ neo, hay chuyện phim Napoleon Dynamite gây khoảng 15% sai số của một thí sinh, là theo lời kể trong các bài báo, độ chắc chỉ ở mức trung bình.

Vì sao câu chuyện này đáng nhớ?

Netflix tưởng mình mua một thuật toán, nhưng thực tế đã tài trợ cho một lớp học khổng lồ mà cả thế giới được ngồi dự. Bài của Funk, các chủ đề diễn đàn và bài báo năm 2009 của Koren, Bell, Volinsky về phân rã ma trận trở thành tài liệu nhập môn cho cả thế hệ người làm hệ thống gợi ý. Theo kịch bản, chỉ một năm sau lễ trao giải, Kaggle ra đời và biến kiểu thi mở này thành một nghề.

Nhưng giáo cụ của lớp học ấy là lịch sử xem phim của gần nửa triệu người chưa từng đăng ký dự thi. Từ đó, cụm từ dữ liệu ẩn danh không còn được nói ra nhẹ tênh như trước. Khi một công ty mở kho dữ liệu để cả thế giới cùng thi, phần thưởng thuộc về người giải được bài, còn phần rủi ro thì ai trả? Đó là câu hỏi vẫn còn nguyên khi các hệ thống AI học từ những kho dữ liệu lớn hơn nhiều lần.

Câu hỏi thường gặp

Giải Netflix là gì?

Là cuộc thi mở do Netflix công bố ngày 2/10/2006, trao một triệu đô cho đội làm máy dự đoán số sao khách chấm phim chính xác hơn Cinematch mười phần trăm.

Ai thắng Giải Netflix?

Đội BellKor's Pragmatic Chaos, gồm bảy người ở Mỹ, Israel, Áo và Canada, nhận giải ngày 21/9/2009 ở New York. Họ hòa điểm với The Ensemble trên bộ đề bí mật và thắng vì nộp bài sớm hơn.

Vì sao Giải Netflix thứ hai bị hủy?

Sau đơn kiện tập thể Jane Doe nộp ngày 17/12/2009 và các câu hỏi từ Ủy ban Thương mại Liên bang Mỹ, ngày 12/3/2010 Netflix dàn xếp vụ kiện và thông báo cuộc thi thứ hai sẽ không diễn ra.

Dữ liệu của Netflix bị nhận diện lại như thế nào?

Narayanan và Shmatikov cho thấy phim, số sao và ngày chấm đủ làm dấu vân tay. Với tám phim, hai phim có thể sai, họ nhận ra đúng người trong 99% trường hợp, và đã đối chiếu thành công với hai người trên IMDb.

Netflix có dùng lời giải đoạt giải không?

Chỉ một phần. Netflix dùng phân rã ma trận và một loại mạng nơ-ron từ Giải Tiến bộ 2007, còn khối ghép hàng trăm mô hình của lời giải cuối bị bỏ vì không đáng công đưa vào vận hành.

Nguồn tham khảo

Bài viết tóm tắt từ video của kênh; nội dung mang tính giới thiệu.