Lập lịch AI của Palantir gây sai sót, điều dưỡng lo ngại an toàn

Diễn biến

Theo báo cáo của Wired, các y tá làm việc tại một nhóm bệnh viện và một mạng lưới chẩn đoán hình ảnh cho rằng phần mềm lập lịch trực bằng AI của Palantir đang tạo ra lỗi trong bảng phân ca. Họ cho rằng hệ thống này làm gia tăng kiệt sức nghề nghiệp và đặt ra rủi ro an toàn cho người bệnh.

Điểm đáng chú ý là các phàn nàn không chỉ dừng ở sự bất tiện về mặt hành chính. Theo các nhân viên được phỏng vấn, khi lịch trực bị sai, đội ngũ điều dưỡng phải dành thêm thời gian để sửa chữa, và điều đó ảnh hưởng trực tiếp đến khả năng chăm sóc bệnh nhân. Nguồn tin hiện chỉ dựa trên lời kể của nhân viên và chưa có phản hồi chi tiết từ phía nhà cung cấp trong phần tóm tắt được cung cấp.

Câu chuyện cho thấy một công cụ AI được đưa vào vận hành hằng ngày trong môi trường y tế, nơi sai sót về lịch trực có thể ảnh hưởng đến an toàn, chứ không chỉ là vấn đề năng suất.

Vì sao điều này quan trọng

Lập lịch trực là một quyết định vận hành, nhưng đối với nhân viên tuyến đầu, nó quyết định ai có mặt, khi nào nghỉ ngơi và mức độ quá tải ra sao. Khi một hệ thống AI tối ưu hóa lịch mà không phản ánh đúng thực tế làm việc, chi phí không biến mất mà được chuyển sang đội ngũ phải sửa lỗi bằng tay, làm tăng căng thẳng và làm xói mòn niềm tin vào công cụ.

Với các lãnh đạo đang triển khai AI trong dịch vụ công và y tế, câu chuyện nhấn mạnh rằng thành công của một nền tảng số không chỉ được đo bằng độ chính xác của thuật toán, mà còn bằng việc nó có được nhân viên tin tưởng và sử dụng đúng cách hay không.

Góc nhìn của Renascence

Phần lớn người đọc sẽ tập trung vào câu hỏi "AI có làm đúng không?". Câu hỏi đáng giá hơn là "ai đã được hỏi trước khi hệ thống được đưa vào vận hành, và ai đang chịu hậu quả khi nó sai?"

Lỗi của một bảng phân ca không nằm riêng ở thuật toán; nó nằm ở chuỗi quyết định phía trước, nơi nhân viên tuyến đầu thường không được tham gia. Nguyên tắc thiết kế dịch vụ cơ bản ở đây là đồng sáng tạo: người sử dụng hệ thống phải có quyền đưa ra phản hồi và sửa các giả định của nó. Đội ngũ vận hành nên đo lường gánh nặng sửa lỗi thủ công như một chỉ số chất lượng hàng đầu, không phải là một chi phí phụ. Nếu thời gian điều dưỡng dành cho việc sửa lịch tăng lên, đó đã là tín hiệu cảnh báo, bất kể báo cáo hiệu suất nói gì.