Chạm vào bộ lưu điện, cả tòa nhà tối om: Kỹ thuật viên bị đổ lỗi cho sự cố mất điện trùng hợp khó tin

Một kỹ thuật viên có biệt danh Kent được thuê để hiện đại hóa một trung tâm tổ chức thi trực tiếp, nơi diễn ra các kỳ thi quan trọng và yêu cầu môi trường gần như tuyệt đối yên tĩnh, ổn định. Công việc của anh là thay mới hàng loạt thiết bị hạ tầng CNTT, bao gồm máy tính để bàn, máy chủ, switch mạng — tức thiết bị chuyển mạch dùng để kết nối các máy trong cùng hệ thống mạng nội bộ — cùng các bộ UPS, hay bộ lưu điện, cho hai phòng thi hiện chưa sử dụng. Điều kiện đi kèm rất ngặt nghèo: toàn bộ quá trình triển khai không được làm gián đoạn các bài thi đang diễn ra ở hai phòng còn lại.

Mô hình mà Kent làm việc là on-prem, tức hạ tầng CNTT được đặt và vận hành ngay tại cơ sở của khách hàng, thay vì chạy trên đám mây. Với kiểu triển khai này, việc thay thế thiết bị đòi hỏi xử lý cực kỳ cẩn trọng vì mọi thành phần vật lý, từ điện nguồn đến mạng nội bộ, đều liên quan trực tiếp đến hoạt động thực tế tại chỗ. Theo Kent, các máy chủ đang phục vụ hệ thống thi được đặt trên một cụm UPS riêng biệt và được cô lập hoàn toàn cho đến thời điểm cutover — thuật ngữ chỉ giai đoạn chuyển đổi chính thức từ hệ thống cũ sang hệ thống mới. Nhờ cách bố trí đó, anh đã nâng cấp xong phòng thi đầu tiên mà không gặp bất kỳ trục trặc nào.

Sự cố xảy ra khi Kent chuyển sang phòng thi thứ hai chưa sử dụng và đến bước cắm UPS vào nguồn điện lưới. Ngay đúng khoảnh khắc phích cắm vào ổ, toàn bộ tòa nhà bất ngờ mất điện. Với những người xung quanh, đặc biệt là các giám thị vừa bước ra từ hai phòng thi đang hoạt động, mối liên hệ dường như quá rõ ràng: kỹ thuật viên đang thao tác với thiết bị điện, rồi đèn tắt ngay lập tức. Kent lập tức trở thành nghi phạm số một trong mắt khách hàng, bị yêu cầu giải thích vì sao anh vừa “phá hỏng” một kỳ thi quan trọng.

Điểm may mắn cho Kent là hệ thống anh đang thao tác có kết nối với UPS, cho phép anh nhanh chóng xác nhận các thiết bị CNTT liên quan vẫn hoạt động bình thường. Mạng nội bộ trong tòa nhà cũng không có dấu hiệu sập. Chỉ có điều, gần như mọi thiết bị điện khác và toàn bộ hệ thống chiếu sáng đều đã tắt. Điều này là một chỉ dấu quan trọng: nếu chính UPS mới lắp gây lỗi cục bộ, phạm vi ảnh hưởng thường sẽ hẹp hơn nhiều, thay vì kéo theo toàn bộ điện năng của cả công trình.

Khi bước ra ngoài để gọi cho điều phối viên, Kent nhìn thấy cả con phố cũng đang chìm trong bóng tối. Khi đó, nguyên nhân mới lộ rõ: đây không phải lỗi do bộ lưu điện, cũng không phải sự cố từ dự án nâng cấp, mà đơn giản là một đợt mất điện lưới diện rộng xảy ra đúng vào đúng giây anh cắm thiết bị. Nói cách khác, sự trùng hợp thời điểm đã khiến một sự cố điện thông thường của lưới điện đô thị bị hiểu nhầm thành lỗi do kỹ thuật viên gây ra.

Vài phút sau, điện lưới được khôi phục, tòa nhà sáng trở lại và các giám thị quyết định tiếp tục kỳ thi. Tuy nhiên, cái nhìn dè chừng với Kent thì không biến mất nhanh như vậy. Anh kể rằng trong phần còn lại của dự án, mỗi lần anh đến gần dây nguồn là bị theo dõi rất sát. Câu chuyện phản ánh một thực tế quen thuộc trong ngành hỗ trợ kỹ thuật và vận hành hạ tầng: khi sự cố xảy ra đúng lúc kỹ sư đang thao tác, yếu tố trùng hợp thường dễ bị diễn giải thành quan hệ nhân quả, đặc biệt trong các môi trường nhạy cảm như trung tâm khảo thí, bệnh viện hay hệ thống sản xuất.

Dù mang màu sắc hài hước, tình huống của Kent cho thấy giá trị của việc thiết kế hệ thống có khả năng cô lập rủi ro và kiểm chứng nhanh nguyên nhân sự cố. Việc tách riêng máy chủ sản xuất trên một cụm UPS độc lập, chỉ tiến hành cutover vào thời điểm phù hợp và xác minh ngay trạng thái của mạng cùng nguồn điện đã giúp kỹ thuật viên chứng minh rằng hệ thống CNTT không phải thủ phạm. Trong các dự án nâng cấp on-prem, nhất là ở môi trường không được phép gián đoạn, khả năng phân biệt giữa lỗi hạ tầng nội bộ và sự cố từ điện lưới bên ngoài có thể quyết định việc một đội kỹ thuật được ghi nhận là xử lý tốt hay bị đổ lỗi oan.