Vụ mất điện Đông Bắc nước Mỹ và Canada ngày 14/8/2003 bắt đầu từ một phòng điều độ ở Akron, bang Ohio, nơi chiếc chuông báo động của hệ thống XA/21 lặng đi mà không ai hay biết. Chưa đầy hai tiếng sau, khoảng 50 triệu người chìm trong bóng tối. Câu chuyện đáng quan tâm vì con bug phần mềm chỉ là một mắt xích; điều quyết định là cách con người đọc sự im lặng của màn hình.

Tóm tắt nhanh

Vụ mất điện năm 2003 xảy ra vì nhiều lớp chồng lên nhau: dây cao thế võng trong ngày nóng lặng gió chạm vào cây chưa được tỉa, tấm bản đồ giám sát của MISO ngừng cập nhật, và phần báo động của hệ thống XA/21 tại FirstEnergy bị treo. Phòng điều độ không nhận ra điều đó, cứ tin màn hình hơn những cuộc gọi cảnh báo từ bên ngoài, nên bỏ lỡ cơ hội chặn dây chuyền sự cố.

Diễn biến chính

Giữa trưa: tấm bản đồ ngừng vẽ

MISO, tổ chức gác lưới cho vùng Trung Tây, dùng một công cụ gọi là bộ ước lượng trạng thái, tức tấm bản đồ sống của lưới điện. Theo báo cáo điều tra, một chuyên viên quên bật lại công cụ này rồi đi ăn trưa; nó chỉ chạy lại lúc 16 giờ 04. Sau đó, lúc 15 giờ 09, một điều phối viên MISO nói nhầm rằng một đường dây vẫn đang chạy, và đến 15 giờ 29 MISO mới gọi sang PJM để hỏi lại.

Một ngày nóng, gió lặng, cây lớn

Chiều 14/8, Bắc Ohio nóng 31 độ C, tải điện cao nhưng không phải ngày đỉnh. Gió giảm dần, đến 15 giờ chỉ còn khoảng 2 hải lý một giờ, nên dây tải điện nóng lên và võng xuống. FirstEnergy tỉa cây theo chu kỳ năm năm, và khi đó chuẩn an toàn của NERC vẫn là tự nguyện, không có phạt. Ngoài ra, báo cáo cho biết tổ máy Eastlake số 5 (597 MW) nhảy khỏi lưới lúc 13 giờ 31.

14 giờ 14: chuông báo động câm lặng

XA/21 do một nhánh của General Electric làm ra, vào làm việc ở FirstEnergy từ năm 1995 và được nâng cấp lần cuối năm 1998. Lúc 14 giờ 14, tiến trình báo động bị khựng, dữ liệu dồn lại đến tràn. Không còn tiếng chuông, không còn dòng nhật ký, biểu đồ băng giấy kẻ một đường thẳng, màn hình có lúc làm mới chậm tới 59 giây. Phần còn lại của hệ thống vẫn gửi dữ liệu đúng sang MISO và AEP. Máy chủ chính chết lúc 14 giờ 41, máy dự phòng lúc 14 giờ 54; đội công nghệ khởi động lại lúc 15 giờ 08 và tin rằng đã sửa xong, nhưng không báo cho phòng điều độ.

14 giờ 32 đến 15 giờ 46: những cuộc gọi bị gạt đi

Lúc 14 giờ 32, AEP gọi báo một đường dây vừa nhảy; FirstEnergy đáp là không thấy gì. Lúc 15 giờ 05, đường Harding–Chamberlin chạm cây, khi mới chở 44% công suất. Lúc 15 giờ 32, đường Hanna–Juniper chạm cây, và một đội tỉa cây gần đó nhìn thấy. Đến 15 giờ 41, đường Star–South Canton, vốn đã chạm cây nhiều lần, nhảy hẳn. Nhà máy điện hạt nhân Perry gọi nhiều lần để cảnh báo, nhưng phòng điều độ không cắt tải, không tuyên bố khẩn cấp. Theo báo cáo, nếu cắt khoảng 1.500 MW tải trước 16 giờ 05 phút 57 giây thì có thể đã tránh được vụ mất điện diện rộng.

16 giờ 05 đến 16 giờ 13: bảy phút sụp đổ

Từ 15 giờ 39 đến 16 giờ 08, 16 đường dây 138 kV quanh Akron sụp theo. Lúc 16 giờ 05 phút 57 giây, đường Sammis–Star nhảy, không phải do cây mà do rơ-le bảo vệ vùng tưởng đó là chập mạch. Đây là điểm không thể quay đầu. Chỉ trong khoảng bảy phút, đến 16 giờ 13, 508 tổ máy ở 265 nhà máy rời lưới. Tám bang của Mỹ và tỉnh Ontario mất điện, ước tính khoảng 50 triệu người, 61.800 MW, thiệt hại ở Mỹ từ 4 đến 10 tỷ USD.

Săn con bug và luật mới

Chiếc chuông ở Akron chỉ kêu lại sau khi khởi động lại toàn bộ hệ thống vào sáng 15/8. Theo bài của Poulsen trên SecurityFocus, các kỹ sư GE tái hiện sự cố trong phòng thí nghiệm ở Florida và sau khoảng tám tuần tìm ra một lỗi tranh chấp (race condition) gây vòng lặp vô hạn. Báo cáo cuối cùng của ủy ban điều tra Mỹ - Canada (tháng 4/2004) đưa ra 46 khuyến nghị; khuyến nghị số 1 là biến chuẩn an toàn lưới điện thành bắt buộc. Đạo luật Chính sách Năng lượng 2005 mở đường cho một tổ chức giám sát độ tin cậy, vai trò giao cho NERC, với mức phạt khoảng một triệu đô la mỗi ngày cho mỗi vi phạm.

Điều còn tranh cãi hoặc cần thận trọng

  • Số người bị ảnh hưởng: báo cáo điều tra nêu khoảng 50 triệu, một số nguồn khác nêu 55 triệu; đây là hai cách ước, không hẳn ai sai.
  • Tin tặc hay sâu máy tính: những ngày đầu có đồn đoán về tin tặc, sâu Blaster, thậm chí một nhóm khủng bố nhận trách nhiệm. Nhóm điều tra an ninh không tìm thấy bằng chứng cho các giả thuyết đó; chuyên gia Bruce Schneier từng nói ông không chắc về vai trò của Blaster.
  • Số người thiệt mạng: các ước tính chênh nhau, từ vài chục đến gần một trăm.
  • "Không ai biết": điều này đúng với phòng điều độ, không đúng với đội công nghệ, vốn biết máy chủ chết từ sớm. Nhật ký một bàn trực có dòng ghi 14 giờ 14 về việc mất báo động, nhưng không rõ ghi ngay lúc đó hay viết bù.
  • Chi tiết do người ta kể lại: quy mô mã nguồn XA/21 (khoảng bốn triệu dòng) và con số hơn ba triệu giờ vận hành không lỗi đến từ bài của Poulsen; cảnh New York nhìn thấy Ngân Hà chỉ là giai thoại. Câu "chúng tôi không biết gì, máy tính của chúng tôi cũng đang giở chứng" được CNN thuật lại, còn lời các cuộc gọi trong bài là diễn đạt lại đại ý.

Vì sao câu chuyện này đáng nhớ?

Con bug đã được vá, nhưng thất bại thật nằm ở chỗ cả hệ thống quen coi sự im lặng là bằng chứng an toàn. Khi giọng nói của người khác mâu thuẫn với màn hình, người ta chọn màn hình. Báo cáo điều tra chỉ ra rằng hệ thống giám sát có thể được dặn phải kêu lên khi chính bộ phận báo động của nó hỏng, nhưng hệ thống ở Akron không có tiếng chuông thứ hai ấy.

Ngày nay, chúng ta giao cho máy nhiều việc lớn hơn, từ lưới điện đến các hệ thống AI với hàng nghìn chỉ số. Một bảng điều khiển xanh có thể nghĩa là mọi thứ khỏe mạnh, nhưng cũng có thể là cây bút đã ngừng rung từ lâu. Câu hỏi đáng đặt ra: lần gần nhất có ai thử xem hệ thống cảnh báo của mình còn biết kêu hay không?

Câu hỏi thường gặp

Vụ mất điện Đông Bắc Mỹ 2003 xảy ra khi nào và ảnh hưởng đến ai?

Vụ mất điện xảy ra chiều thứ Năm 14/8/2003. Khoảng 50 triệu người ở tám bang của Mỹ và tỉnh Ontario của Canada bị mất điện, với hơn 61.000 MW biến mất.

XA/21 là gì và lỗi nằm ở đâu?

XA/21 là hệ thống quản lý năng lượng do một nhánh của General Electric làm ra, FirstEnergy dùng từ năm 1995. Theo nguồn tài liệu, phần báo động bị treo vì lỗi tranh chấp, và từ 14 giờ 14 không còn tiếng chuông hay dòng cảnh báo nào.

Có phải con bug là nguyên nhân duy nhất?

Không. Báo cáo điều tra nêu nhiều nhóm nguyên nhân: FirstEnergy không hiểu hết điểm yếu của lưới, tỉa cây chưa đủ, những người gác lưới không hỗ trợ kịp thời, và phòng điều độ không có quy trình kiểm tra xem chuông báo còn sống không.

Vụ mất điện có do tin tặc hoặc khủng bố không?

Nhóm điều tra không tìm thấy bằng chứng về tấn công mạng, sâu Blaster hay lời nhận của nhóm khủng bố.

Sau vụ mất điện, luật thay đổi ra sao?

Ủy ban điều tra đưa ra 46 khuyến nghị, trong đó quan trọng nhất là chuẩn an toàn lưới điện phải bắt buộc. Đạo luật Chính sách Năng lượng, ký ngày 8/8/2005, cho phép phạt tới khoảng một triệu đô la mỗi ngày cho mỗi vi phạm.

Nguồn tham khảo

  • U.S.–Canada Power System Outage Task Force, Final Report on the August 14, 2003 Blackout in the United States and Canada (tháng 4/2004)
  • Kevin Poulsen, SecurityFocus (tháng 4/2004), về lỗi trong XA/21
  • CNN, ngày 9/3/2003 (theo nguon.md)
  • Bruce Schneier, bình luận tháng 12/2003
  • Congressional Research Service, báo cáo RL33248, về Đạo luật Chính sách Năng lượng 2005
  • Wikipedia, mục về vụ mất điện Đông Bắc 2003

Bài viết tóm tắt từ video của kênh; nội dung mang tính giới thiệu.