Contabo Tắt Máy Chủ Của Tôi Mà Không Cảnh Báo và Tôi Phát Hiện Ra Năm Giờ Sau Bằng Cách Tình Cờ

Máy chủ đã chạy mà không gặp sự cố trong nhiều tháng. Contabo, công ty lưu trữ Đức nổi tiếng với các kế hoạch VPS rất rẻ, đã xử lý mọi thứ từ các ứng dụng web đến các công việc theo lịch trình cho đến các hoạt động cơ sở dữ liệu. Không có những sự gia tăng lưu lượng truy cập bất thường, không có dấu hiệu về sự thoái hóa phần cứng, không có email cảnh báo từ bất kỳ ai. Máy chủ chỉ đơn giản là ở đó, làm những gì máy chủ làm, cho đến khi nó không làm được. Ở đâu đó vào giữa sáng, chiếc máy đã biến mất. Không có thông báo đến. Không có báo cáo sự cố được xuất bản. Không có hệ thống tự động nào gắn cờ vấn đề. Các ứng dụng phụ thuộc vào máy chủ đó tiếp tục thất bại im lặng, trả về các lỗi kết nối cho bất kỳ ai xảy ra khi truy cập, trong khi các giờ tiến tiến mà không ai nhận thức rằng có gì đó sai.

Năm giờ đã trôi qua trước khi vấn đề được phát hiện, và bản thân việc phát hiện hoàn toàn là tình cờ. Một nỗ lực thông thường để SSH vào máy chủ cho một tác vụ bảo trì không liên quan đã trả về hết thời gian kết nối. Đó là lúc thực tế đặt vào. Năm giờ thời gian ngừng hoạt động đầy đủ. Mỗi tài sản web được lưu trữ trên máy đó không thể truy cập được. Mỗi điểm cuối API đã trả về lỗi. Mỗi tác vụ theo lịch trình đã không thực hiện. Và không ai biết vì không có gì để phát động cảnh báo. Giả định là nhà cung cấp lưu trữ sẽ ít nhất gửi một email nếu có gì đó sai trên phía của họ, hoặc chắc chắn ai đó sẽ nhận thấy nếu một trang web ngoại tuyến. Cả hai giả định đều hóa ra đều nguy hiểm sai.

Hậu quả là một buổi chiều dài đánh giá thiệt hại. Kiểm tra nhật ký để xác định chính xác khi nào việc ngừng hoạt động bắt đầu. Xem xét những dịch vụ nào đã bị ảnh hưởng. Tính toán có bao nhiêu yêu cầu API đã không thành công trong năm giờ đó. Liên hệ với bộ phận hỗ trợ Contabo để tìm hiểu rằng máy chủ đã bị dừng do những gì họ mô tả là một sự kiện bảo trì thường xuyên, một sự kiện rõ ràng không đáng nhận được thông báo trước cho khách hàng. Sự thất vọng không chỉ là về thời gian ngừng hoạt động. Downtime xảy ra. Phần cứng không. Mạng trải qua những vấn đề. Sự thất vọng là về sự vắng mặt hoàn toàn của thông tin, sự im lặng hoàn toàn giữa lúc máy chủ ngoại tuyến và lúc vấn đề bị phát hiện bằng cách tình cờ.

Tại Sao Giám Sát Động Thất Bại Khi Bạn Cần Nó Nhiều Nhất

Trước sự cố đó, chiến lược giám sát có thể được mô tả rộng rãi là thụ động và thực tế là không tồn tại. Cách tiếp cận rất đơn giản: nếu có gì đó phá vỡ, ai đó sẽ nhận thấy. Người dùng sẽ phàn nàn. Tỷ lệ lỗi trong phân tích của bên thứ ba sẽ tăng vọt. Nhà cung cấp lưu trữ sẽ giao tiếp. Chắc chắn, trong thời đại hiện đại của cơ sở hạ tầng đám mây và các hệ thống tự động, một máy chủ ngoại tuyến hoàn toàn sẽ kích hoạt một số loại phản ứng có thể quan sát được. Nhưng không có gì trong số này xảy ra trong bất kỳ khung thời gian hữu ích nào. Người dùng gặp lỗi chỉ cần rời đi. Các nền tảng phân tích chỉ báo cáo những gì họ có thể đo lường được, và khi máy chủ cung cấp dữ liệu cho họ ngoại tuyến, không có gì để đo. Nhà cung cấp lưu trữ, như nó hóa ra, không coi việc tắt không được công bố là điều gì đó đáng gửi email về.

Đây là cái bẫy bắt một số lượng đáng ngạc nhiên các hoạt động nhỏ đến trung bình. Các công ty cấp doanh nghiệp chạy các ngăn xếp giám sát chuyên dụng với toàn bộ các nhóm giám sát bảng điều khiển xung quanh đồng hồ. Các nhà phát triển riêng lẻ và các doanh nghiệp nhỏ có xu hướng hoạt động dựa trên giả định rằng lưu trữ của họ đáng tin cậy đủ, rằng những thất bại thảm họa hiếm khi đủ, và các chi phí lao động thủ công của việc thiết lập giám sát không đáng để nỗ lực cho điều gì đó "có lẽ sẽ không xảy ra." Vấn đề với logic đó là chi phí ngừng hoạt động tỷ lệ thuận với thời gian nó không được phát hiện, không phải với tần suất nó xảy ra. Một việc ngừng hoạt động năm phút được bắt ngay lập tức là một sự kiện nhỏ. Một việc ngừng hoạt động năm giờ mà không ai nhận thấy cho đến khi vấp phải bằng cách tình cờ là một vấn đề kinh doanh thực sự.

Sự cố cũng phơi bày một vấn đề tinh tế hơn về việc dựa vào nhà cung cấp lưu trữ làm nguồn duy nhất của sự thật về sức khỏe máy chủ. Contabo, giống như hầu hết các công ty lưu trữ ngân sách, cung cấp thông tin trạng thái máy chủ cơ bản thông qua một bảng điều khiển. Nhưng truy cập bảng điều khiển yêu cầu đã nghi ngờ rằng có gì đó sai. Không có cơ chế đẩy, không có cảnh báo chủ động, không có hệ thống nào mà tiếp cận và nói "máy chủ của bạn ngoại tuyến, đây là những gì đã xảy ra." Mối quan hệ hoàn toàn phản ứng. Khách hàng phải hỏi câu hỏi trước khi trả lời được cung cấp. Trong một thế giới mà mỗi giây thời gian ngừng hoạt động dịch sang doanh thu mất, mất lòng tin và xếp hạng công cụ tìm kiếm bị hư hỏng, mô hình phản ứng đó về cơ bản là không đầy đủ.

Năm Giờ Yên Tĩnh Thực Sự Chi Phí Gì

Định lượng thiệt hại từ một sự ngừng hoạt động không được phát hiện phức tạp hơn so với đơn giản đếm các phút. Chi phí tức thì là đơn giản: doanh thu API mất, cung cấp webhook thất bại, các tích hợp phá vỡ cho người dùng phụ thuộc vào thời gian hoạt động cho quy trình làm việc của họ. Nhưng chi phí thứ cấp tích lũy theo những cách không xuất hiện trên bất kỳ bảng điều khiển nào. Công cụ tìm kiếm thu thập dữ liệu đến trong một sự ngừng hoạt động và nhận được các phản ứng lỗi có thể kích hoạt các hình phạt xếp hạng mất nhiều tuần để phục hồi từ. Người dùng gặp một trang web chết có thể không bao giờ quay lại, và không có cách để biết có bao nhiêu khách hàng tiềm năng đã truy cập trong năm giờ đó, nhận được trang lỗi, và hình thành một ấn tượng tiêu cực vĩnh viễn.

Hết hạn chứng chỉ SSL là một mối đe dọa yên tĩnh khác làm cho vấn đề phức tạp. Một chứng chỉ hết hạn mà không cảnh báo không chỉ tạo ra một lỗ hổng bảo mật. Nó kích hoạt các cảnh báo trình duyệt khiến khách truy cập hoàn toàn không khuyến khích tiến hành đến trang web. Các công cụ tìm kiếm coi các chứng chỉ hết hạn là một tín hiệu xếp hạng. Và không giống như một sự ngừng hoạt động máy chủ, ít nhất là phân giải một khi máy chủ trở lại trực tuyến, một chứng chỉ hết hạn tiếp tục gây thiệt hại cho đến khi ai đó thủ công gia hạn nó. Kết hợp của sức khỏe máy chủ không giám sát và hợp lệ chứng chỉ không giám sát tạo ra một tình huống mà các chế độ lỗi nhiều có thể xếp chồng lên nhau, mỗi cái làm cho việc phục hồi khó khăn hơn.

Thoái hóa thời gian phản hồi là một chiều khác mà giám sát thụ động hoàn toàn bỏ lỡ. Máy chủ không phải lúc nào cũng đi từ làm việc đến chết trong một thời điểm duy nhất. Thường xuyên hơn, hiệu suất suy giảm dần dần. Thời gian phản hồi là 200 mili giây bắt đầu bò lên đến 800, sau đó 1500, sau đó 3000. Vào lúc máy chủ thực tế sụp đổ, trải nghiệm người dùng đã xấu đi trong nhiều giờ hoặc nhiều ngày. Không có giám sát chủ động theo dõi thời gian phản hồi và cảnh báo khi các ngưỡng bị vượt quá, quá mức suy giảm này hoàn toàn không bị chú ý cho đến khi thất bại thảm họa cuối cùng. Và vào thời điểm đó, thiệt hại đã được thực hiện trên trải nghiệm người dùng và xếp hạng tìm kiếm.

Xây Dựng Máy Giám Sát Đáng Lẽ Phải Tồn Tại

Quyết định xây dựng uptime.yeb.to không phải là một phản ứng tự phát trước một ngày tồi tệ. Nó là kết luận hợp lý của một vấn đề đã được xây dựng trong thời gian dài và cuối cùng cũng trở nên không thể bỏ qua. Các yêu cầu rõ ràng từ đầu vì chúng đến trực tiếp từ trải nghiệm sống. Máy giám sát cần kiểm tra tính sẵn sàng của máy chủ liên tục, không phải một lần mỗi giờ hoặc một lần mỗi ngày, nhưng thường xuyên đủ để một sự ngừng hoạt động sẽ được phát hiện trong vòng vài giây. Nó cần xác minh không chỉ rằng máy chủ đang phản hồi các yêu cầu ping mà kết nối HTTPS đang hoàn thành thành công, rằng chứng chỉ SSL hợp lệ và không tiếp cận hết hạn, và rằng thời gian phản hồi nằm trong các phạm vi chấp nhận được. Và nó cần cung cấp cảnh báo ngay lập tức, không thông qua bảng điều khiển yêu cầu kiểm tra thủ công, nhưng thông qua thông báo email sẽ đến hộp thư trong vòng vài giây của vấn đề được phát hiện.

Kiến trúc xuất hiện phản ánh những ưu tiên đó. Mỗi điểm cuối được giám sát được kiểm tra ở các khoảng thời gian thường xuyên trên nhiều kích thước đồng thời. Một kiểm tra ping xác nhận khả năng tiếp cận mạng cơ bản. Một kiểm tra HTTPS xác minh rằng máy chủ web đang phản hồi và rằng việc bắt tay SSL hoàn thành mà không có lỗi. Kiểm tra chứng chỉ xem xét ngày hết hạn và cảnh báo khi cần gia hạn. Một kiểm tra thời gian phản hồi đo khoảng thời gian yêu cầu đầy đủ mất và gắn cờ suy giảm trước khi nó trở nên quan trọng. Mỗi kiểm tra này tạo ra một điểm dữ liệu mà feed vào cảnh báo thực tế và phân tích xu hướng lịch sử, có nghĩa là hệ thống không chỉ bắt được sự ngừng hoạt động sau khi chúng xảy ra mà còn tiết lộ các mẫu có thể dự đoán các vấn đề trước khi chúng xảy ra.

Các email tóm tắt hàng ngày và hàng tuần cung cấp một chế độ xem tóm tắt của tất cả các điểm cuối được giám sát, phần trăm thời gian hoạt động của họ, thời gian phản hồi trung bình, và bất kỳ sự cố nào xảy ra trong giai đoạn. Những bản tóm tắt này phục vụ một mục đích khác so với các cảnh báo thực tế. Trong khi cảnh báo là về việc bắt vấn đề vào thời điểm, tóm tắt là về hiểu quỹ đạo sức khỏe tổng thể của cơ sở hạ tầng. Máy chủ duy trì thời gian hoạt động 99,9% nhưng cho thấy thời gian phản hồi tăng dần trong hai tuần qua là máy chủ hướng tới rắc rối, và tóm tắt làm cho xu hướng đó có thể nhìn thấy theo cách mà các email cảnh báo riêng lẻ không thể.

Từ Công Cụ Cá Nhân Đến Nền Tảng

Những gì bắt đầu như một giải pháp cho một cuộc khủng hoảng cá nhân dần dần mở rộng thành điều gì đó hữu ích hơn rộng. Khả năng giám sát đa khu vực, gửi các kiểm tra từ sáu địa điểm địa lý khác nhau, đến từ một kịch bản thực tế mà máy chủ có thể truy cập từ châu Âu nhưng không thể tiếp cận từ Bắc Mỹ do vấn đề định tuyến. Giám sát một vị trí sẽ báo cáo tất cả đều tốt. Các cảm biến đa khu vực bắt được sự khác biệt ngay lập tức và xác định chính xác các vùng địa lý nào bị ảnh hưởng. Loại thông tin chi tiết này không thể quý báu cho bất kỳ ai phục vụ một khán giả toàn cầu, khi một sự ngừng hoạt động khu vực có thể hoàn toàn không bị phát hiện nếu giám sát chỉ xảy ra từ một vị trí.

Tính năng lịch sử sự cố phát triển từ nhu cầu có dữ liệu khó khăn trong các cuộc hội thoại với các nhà cung cấp lưu trữ. Khi liên hệ với hỗ trợ về các vấn đề định kỳ, có một dòng thời gian chi tiết của mỗi sự ngừng hoạt động, thời lượng, các kiểm tra cụ thể thất bại, và các phép đo thời gian phản hồi trước và sau sự cố chuyển cuộc hội thoại từ "chúng tôi nghĩ có một số thời gian ngừng hoạt động" thành "đây là các dấu thời gian chính xác, thời lượng, và các mẫu thất bại." Dữ liệu đó làm cho nó dễ dàng hơn đáng kể để giữ các nhà cung cấp có trách nhiệm và để đưa ra các quyết định sáng suốt về việc có nên ở lại một công ty lưu trữ hay di chuyển.

Toàn bộ nền tảng tại uptime.yeb.to bây giờ tồn tại vì một sự ngừng hoạt động máy chủ không được công bố duy nhất và năm giờ yên tĩnh. Mỗi tính năng theo dõi lại một thất bại cụ thể sẽ được bắt, hoặc ngăn chặn hoàn toàn, bởi giám sát thích hợp. Sự cố Contabo không phải là vấn đề máy chủ cuối cùng xảy ra, nhưng nó là vấn đề cuối cùng không bị chú ý trong năm giờ. Sự khác biệt đó làm cho tất cả khác biệt.