Paul Graham và bài luận A Plan for Spam là mốc then chốt của cuộc chiến chống thư rác: tháng Tám năm 2002, một lập trình viên viết lên website cá nhân rằng ông nghĩ có thể chặn được thư rác bằng bộ lọc Bayes. Chỉ trong vài tuần, giới lập trình mã nguồn mở đồng loạt làm theo. Nhưng ý tưởng ấy đã có từ năm 1998, và câu hỏi thú vị là vì sao lúc đó chưa ai dùng.

Tóm tắt nhanh

Lọc thư rác bằng xác suất Bayes đã xuất hiện trong hai bài báo khoa học năm 1998, nhưng chỉ đứng trên giấy với thước đo của phòng thí nghiệm. Năm 2002, Graham cho máy học từ chính hai đống thư thật và thư rác của ông, giữ lại cả phần đầu thư, và đặt việc không bắt nhầm thư thật lên hàng đầu. Kết quả đủ tốt để dùng thật, và ông công bố cả đoạn mã. Về sau, bộ lọc rời máy cá nhân lên máy chủ của các nhà cung cấp thư lớn.

Diễn biến chính

1978–1994: từ bức thư đầu tiên đến cặp luật sư Usenet

Tháng Năm năm 1978, trên ARPANET, Gary Thuerk của hãng DEC nhờ một kỹ sư gửi lời mời xem máy mới tới hàng loạt người dùng. Chương trình thư chỉ chứa được 320 địa chỉ, phần còn lại tràn xuống thân thư. Cơ quan vận hành mạng phàn nàn thẳng với cấp trên của Thuerk. Richard Stallman lúc đầu bênh, hôm sau viết lại rằng mình xin nuốt lời.

Ngày 12 tháng Tư năm 1994, cặp luật sư Laurence Canter và Martha Siegel đăng quảng cáo dịch vụ hồ sơ xổ số thẻ xanh lên ít nhất 5.500 nhóm Usenet. Cộng đồng nổi giận, nhà cung cấp cắt mạng của họ, nhưng về sau họ kể mình kiếm được 100–200 nghìn đô la. Graham ước tính gửi một triệu thư rác chỉ tốn khoảng 200 đô la, và mười lăm người cắn câu là đã có lãi. Danh sách đen và luật viết tay là hai phòng tuyến đầu tiên, nhưng cả hai đều bị né dễ dàng.

1998: hai bài báo dạy máy học thư rác

Tại một hội thảo về phân loại văn bản, Mehran Sahami (Stanford) cùng ba nhà nghiên cứu Microsoft trình bày bộ lọc Bayes với ngưỡng kết án 99,9% và ý tưởng cá nhân hóa theo từng hộp thư. Thử trên hộp thư thật, máy bắt khoảng 80% thư rác và vứt nhầm ba thư thật.

Cùng hội thảo, Patrick Pantel và Dekang Lin (Đại học Manitoba) giới thiệu SpamCop, bắt khoảng 92% thư rác và nhầm hơn 1% thư thật. Họ đã cắt bỏ phần đầu thư và đuôi chữ để bài toán gọn hơn. Tháng Sáu năm đó, Graham bán Viaweb cho Yahoo với giá khoảng 49,6 triệu đô la, và chưa hề nghiên cứu thư rác.

2002: Graham để máy đếm thư

Graham viết bộ lọc để thử ngôn ngữ Arc, ban đầu bằng luật viết tay suốt khoảng sáu tháng, càng siết càng bắt nhầm. Rồi ông chuyển sang cho máy đếm trên khoảng 4.000 thư rác và 4.000 thư thật của chính mình, đọc cả phần đầu thư lẫn mã HTML. Máy chỉ xét mười lăm chữ nổi bật nhất, và ông nhân đôi số đếm trong đống thư thật để máy chỉ kết án khi bằng chứng áp đảo.

Máy tự phát hiện điều ông chưa nghĩ tới: chuỗi mã màu đỏ tươi tố cáo thư rác ngang với từ khiêu dâm, còn chữ “Lisp” gần như là mật khẩu của thư thật. Ông báo cáo lọt chưa tới 5 thư rác trên 1.000 và không bắt nhầm thư thật nào.

Tháng 8/2002 – 2003: làn sóng Bayes

Bài luận lên Slashdot ngày 16 tháng Tám, và InfoWorld gọi nó là một lời giải gây choáng váng. Eric Raymond viết bogofilter, Tim Peters dựng SpamBayes. Tại hội nghị thư rác ở MIT tháng Giêng năm 2003, Graham giải thích khoảng cách với các bài năm 1998 nằm ở vài quyết định nhỏ, và thẳng thắn kể cả những lần bộ lọc bắt nhầm thư thật. SpamAssassin gắn thêm bộ não Bayes, Mozilla và AOL cũng ra bộ lọc tương tự.

2003–2004: kẻ gửi rác phản công, luật pháp và Gmail vào cuộc

Kẻ gửi rác viết sai chính tả như “V1agra”, nhưng theo Graham chiêu này phản tác dụng, vì chữ viết sai càng bị bộ lọc coi là đáng ngờ. Ngày 16 tháng Mười Hai năm 2003, luật CAN-SPAM được ký nhưng giới chống thư rác thất vọng. Tháng Giêng năm 2004, Bill Gates hứa ở Davos rằng hai năm nữa thư rác sẽ thành quá khứ. Ngày 1 tháng Tư năm 2004, Gmail ra mắt cùng nút báo cáo thư rác, nơi mỗi lần bấm dạy cả hệ thống chứ không riêng một người.

2006–2017: thư hình ảnh và bộ lọc lên máy chủ

Thư chỉ có một tấm ảnh lên đỉnh cuối năm 2006, khi hơn một nửa thư rác là ảnh. Hạn hai năm của Gates trôi qua mà thư rác vẫn còn. Muốn đọc chữ trong ảnh và nhìn thấy hàng triệu thư giống nhau cùng lúc, bộ lọc phải chuyển lên máy chủ của Google, Microsoft, Yahoo. Thư hình ảnh thưa dần từ giữa năm 2007 và gần biến mất năm 2008. Tháng Năm năm 2017, Google tuyên bố Gmail chặn được 99,9% thư rác và thư lừa đảo nhờ học máy.

Điều còn tranh cãi hoặc cần thận trọng

  • Graham không phát minh ra lọc Bayes. Hai bài báo năm 1998 đi trước ông bốn năm, và chính ông thừa nhận.
  • Con số 99,5% hay bị gọi là độ chính xác, nhưng thực ra là tỉ lệ bắt thư rác trên hộp thư của một người. Chính Graham sau đó kể đã có vài lần bắt nhầm và nói con số ấy chưa đáng tin.
  • Khoản 100–200 nghìn đô la của cặp luật sư là do chính họ tự kể.
  • Bộ lọc rời máy cá nhân vì nhiều lý do (quy mô, thư hình ảnh, mạng máy tính ma phát tán rác), không phải vì bị “đầu độc” mà gục. Các thử nghiệm đầu độc bộ lọc Bayes thời đó cho kết quả trái ngược nhau.
  • Một số chi tiết như biệt danh mỉa mai của luật CAN-SPAM chỉ là lời người ta kể.

Vì sao câu chuyện này đáng nhớ?

Theo cách kênh đọc, Graham không thắng nhờ thuật toán mới mà nhờ đổi thước đo. Với các bài báo, vứt nhầm một phần trăm thư thật là kết quả khá tốt. Với ông, đó là thuốc trị mụn có thể giết người. Ông giữ lại thứ dữ liệu bẩn mà giới học thuật đã dọn đi và trao đoạn mã cho bất kỳ ai muốn chép.

Dữ liệu cũng đi một vòng: từ 160 thư trong phòng thí nghiệm, đến 4.000 thư của một người, rồi đến nút bấm của hàng tỷ người trên máy chủ của vài công ty. Câu hỏi để lại là mỗi lần bấm báo cáo thư rác, ta đang dạy bộ lọc cho chính mình hay cho một cỗ máy của người khác.

Câu hỏi thường gặp

Paul Graham có phải người phát minh ra bộ lọc thư rác Bayes không?

Không. Hai bài báo khoa học năm 1998 đã dùng cách này trước ông bốn năm, và chính Graham thừa nhận điều đó. Ý tưởng để mỗi người tự dạy bộ lọc trên hộp thư của mình cũng đã có trong bài của nhóm Microsoft.

Bộ lọc Bayes lọc thư rác như thế nào?

Máy đếm xem mỗi chữ hay nằm trong đống thư rác hay đống thư thật, rồi gán cho chữ ấy một xác suất. Khi có thư mới, nó gộp các manh mối theo công thức của Thomas Bayes. Bộ lọc của Graham chỉ xét mười lăm chữ nghiêng về một phía nhất.

“A Plan for Spam” đạt kết quả thế nào?

Theo chính Graham, trên hộp thư của ông, cứ một nghìn thư rác thì lọt chưa tới năm và không có thư thật nào bị bắt nhầm. Đó là kết quả trên dữ liệu của một người, không phải độ chính xác chung.

Vì sao bài luận năm 2002 thành công hơn các bài báo năm 1998?

Theo cách kênh đọc câu chuyện, Graham đổi thước đo: ông coi việc vứt nhầm thư thật là nghiêm trọng nhất, giữ cả phần đầu thư và mã HTML, và công bố mã nguồn để ai cũng chép được.

Thư hình ảnh là gì và chuyện gì đã xảy ra với chúng?

Đó là thư rác chỉ chứa một tấm ảnh có chữ bị làm méo, khiến bộ lọc đếm chữ không còn gì để đếm. Theo nguồn thứ cấp, loại thư này lên đỉnh cuối năm 2006 rồi gần như biến mất vào năm 2008.

Nguồn tham khảo

  • Paul Graham, A Plan for Spam (8/2002) — paulgraham.com/spam.html
  • Paul Graham, Better Bayesian Filtering (Spam Conference, MIT, 1/2003) — paulgraham.com/better.html
  • Paul Graham, So Far, So Good (8/2003) — paulgraham.com/sofar.html
  • Sahami, Dumais, Heckerman, Horvitz (1998) và Pantel & Lin (1998), kỷ yếu hội thảo AAAI WS-98-05
  • Tư liệu về thư DEC năm 1978 (templetons.com), Wikipedia (lịch sử thư rác, Gmail, CAN-SPAM), BBC (24/1/2004)

Bài viết tóm tắt từ video của kênh; nội dung mang tính giới thiệu.