OpenAI vừa giới thiệu MentalHealthBench, một bộ tiêu chuẩn đánh giá được xây dựng nhằm kiểm tra cách các hệ thống AI phản hồi khi người dùng đưa ra những vấn đề liên quan đến sức khỏe tâm thần.
Sự xuất hiện của MentalHealthBench phản ánh một vấn đề ngày càng được quan tâm: AI đang được sử dụng trong những cuộc trò chuyện rất nhạy cảm, nhưng việc đánh giá một câu trả lời như thế nào là “an toàn”, “hữu ích” hay “phù hợp với hoàn cảnh” không thể chỉ dựa vào những tiêu chí thông thường của chatbot.
MentalHealthBench là gì?
MentalHealthBench là một bộ đánh giá tập trung vào khả năng xử lý các tình huống hội thoại liên quan đến sức khỏe tâm thần trong đời thực.
Thay vì chỉ kiểm tra xem AI có đưa ra câu trả lời đúng về mặt kiến thức hay không, hệ thống đánh giá chú trọng đến cách AI ứng xử trong toàn bộ cuộc hội thoại.
Một phản hồi được xem xét trên nhiều khía cạnh, chẳng hạn:
- AI có nhận diện và ưu tiên các vấn đề liên quan đến an toàn hay không.
- AI có tìm hiểu đủ bối cảnh trước khi đưa ra lời khuyên hay không.
- AI có tôn trọng quyền tự quyết của người dùng hay không.
- AI có đưa ra những bước tiếp theo thực tế và phù hợp hay không.
- AI có xử lý tốt những tình huống mơ hồ, trong đó mức độ nghiêm trọng chưa rõ ràng hay không.
Điểm đáng chú ý là bộ tiêu chuẩn được phát triển với sự tham gia của hơn 80 chuyên gia sức khỏe tâm thần có chứng chỉ hành nghề đến từ 22 quốc gia. Điều này nhằm đưa góc nhìn chuyên môn vào quá trình đánh giá thay vì chỉ dựa vào các thước đo tự động.
Các tình huống được đưa vào đánh giá
MentalHealthBench không chỉ tập trung vào một nhóm người dùng duy nhất. Các tình huống trong bộ đánh giá bao gồm người trưởng thành, thanh thiếu niên, người chăm sóc và các chuyên gia y tế, đồng thời được xây dựng để phản ánh nhiều ngôn ngữ và khu vực khác nhau.
Các cuộc hội thoại được chia thành ba nhóm chính:
- 53,5% là những cuộc trò chuyện thông thường, không thuộc tình huống khẩn cấp.
- 18,2% đề cập đến những vấn đề nghiêm trọng hơn, trong đó xuất hiện các dấu hiệu đáng lo ngại về sức khỏe tâm thần.
- 28,3% thuộc nhóm tình huống khẩn cấp, khi có những mối lo ngại liên quan trực tiếp đến an toàn cần được xử lý.
Cách phân bổ này cho phép đánh giá AI trong nhiều mức độ khác nhau, từ những cuộc trò chuyện tương đối thông thường cho đến những tình huống đòi hỏi phản hồi thận trọng hơn.
Chuyên gia đánh giá câu trả lời của AI như thế nào?
Mỗi tình huống được ít nhất ba chuyên gia xem xét. Họ xây dựng những tiêu chí cụ thể để xác định một phản hồi của AI có đáp ứng yêu cầu hay không.
Các tiêu chí được gán trọng số trong khoảng từ -10 đến +10, tùy thuộc vào mức độ quan trọng về mặt lâm sàng của từng hành vi.
Điều này có ý nghĩa quan trọng vì không phải mọi lỗi của AI đều có mức độ nghiêm trọng giống nhau. Một câu trả lời thiếu một chi tiết nhỏ khác hoàn toàn với một phản hồi bỏ qua vấn đề an toàn trong một tình huống nghiêm trọng.
Do đó, MentalHealthBench hướng tới việc đánh giá chất lượng và mức độ an toàn của hành vi AI, thay vì đơn giản đếm số câu trả lời đúng hoặc sai.
Kết quả thử nghiệm với các mô hình AI
OpenAI đã sử dụng MentalHealthBench để đánh giá nhiều mô hình AI khác nhau.
Trong kết quả được công bố:
- GPT-6 Astra: 57,3%
- GPT-6 Sol: 53,9%
- Claude Opus 5.5: 52,4%
Quá trình đánh giá sử dụng GPT-5.6 Sol như một hệ thống chấm điểm tự động. Mô hình này đánh giá phản hồi của các hệ thống AI dựa trên những tiêu chí đã được các chuyên gia xây dựng.
Các kết quả cũng đi kèm khoảng tin cậy 95%, nhằm thể hiện mức độ không chắc chắn của các phép đo thay vì coi một con số đơn lẻ là tuyệt đối.
Những con số trên nên được hiểu là kết quả trong bộ tiêu chuẩn MentalHealthBench, chứ không phải một thước đo tổng quát cho mọi năng lực của các mô hình AI.
Người dùng và chuyên gia nhìn nhận câu trả lời khác nhau
Một phần đáng chú ý khác của nghiên cứu là việc OpenAI thực hiện một phân tích riêng với 44 người trưởng thành đến từ 16 quốc gia, tất cả đều từng sử dụng AI để tìm kiếm sự hỗ trợ liên quan đến sức khỏe tâm thần.
Nhóm người dùng này đánh giá cao những yếu tố như:
- câu trả lời có giọng điệu phù hợp;
- những đề xuất cụ thể;
- các bước tiếp theo mà họ có thể thực hiện trong thực tế.
Trong khi đó, các chuyên gia sức khỏe tâm thần chú trọng nhiều hơn đến việc AI có thu thập đủ bối cảnh, nhận diện những điểm chưa rõ ràng và xử lý các tình huống phức tạp hay không.
Sự khác biệt này cho thấy “một câu trả lời nghe có vẻ hữu ích” đối với người dùng chưa chắc đã đáp ứng đầy đủ những yêu cầu về chuyên môn và an toàn.
Tuy vậy, hệ thống tiêu chí cuối cùng của MentalHealthBench vẫn dựa trên sự đồng thuận của các chuyên gia, thay vì chỉ dựa vào đánh giá chủ quan của người sử dụng AI.
Vì sao việc đánh giá này đáng chú ý?
AI ngày càng xuất hiện trong những cuộc trò chuyện mang tính cá nhân, trong đó có các vấn đề về cảm xúc và sức khỏe tâm thần.
Trong những trường hợp như vậy, khả năng tạo ra một câu trả lời lưu loát chưa đủ để chứng minh rằng hệ thống đang phản hồi tốt. Một AI có thể diễn đạt rất tự nhiên nhưng vẫn có thể:
- bỏ sót thông tin quan trọng;
- hiểu sai hoàn cảnh của người dùng;
- đưa ra lời khuyên không phù hợp;
- không nhận biết được mức độ nghiêm trọng của tình huống;
- hoặc không hướng người dùng tới sự hỗ trợ phù hợp khi cần thiết.
MentalHealthBench vì thế tập trung vào một câu hỏi rộng hơn: AI nên phản hồi như thế nào khi phải xử lý những cuộc trò chuyện có liên quan đến sức khỏe tâm thần?
Đây cũng là lý do bộ tiêu chuẩn không chỉ xem xét nội dung cuối cùng của câu trả lời mà còn đánh giá những hành vi như tìm hiểu bối cảnh, bảo vệ quyền tự chủ và xử lý vấn đề an toàn.
OpenAI công khai bộ đánh giá
MentalHealthBench được công bố theo hướng mở để cộng đồng nghiên cứu có thể tiếp cận phương pháp đánh giá, tiến hành các thử nghiệm riêng và tiếp tục phát triển công trình.
Việc công khai một bộ tiêu chuẩn như vậy có thể giúp các nhà nghiên cứu và nhà phát triển có thêm một cách thống nhất hơn để kiểm tra các mô hình AI khi chúng được sử dụng trong những lĩnh vực nhạy cảm.
Thay vì chỉ hỏi một mô hình “biết bao nhiêu”, các bộ đánh giá kiểu này đặt trọng tâm vào một vấn đề khác: mô hình hành xử ra sao khi kiến thức đó được sử dụng trong một tình huống thực tế.
Những thay đổi liên quan đến ChatGPT
Cùng với MentalHealthBench, OpenAI cho biết họ cũng đã thực hiện một số thay đổi đối với cách ChatGPT xử lý các cuộc trò chuyện nhạy cảm.
Các thay đổi được đề cập bao gồm việc cải thiện phản hồi trong những tình huống liên quan đến sức khỏe tâm thần, mở rộng các nguồn hỗ trợ trong những tình huống khủng hoảng và bổ sung tính năng Trusted Contact, cho phép kết nối người dùng với một người mà họ tin tưởng.
OpenAI cũng công bố ChatGPT dành cho thanh thiếu niên, đi kèm những biện pháp bảo vệ bổ sung dành cho nhóm người dùng này.
MentalHealthBench có ý nghĩa gì đối với tương lai của AI?
MentalHealthBench cho thấy việc đánh giá AI đang chuyển từ những bài kiểm tra kiến thức đơn thuần sang những tiêu chí gần với cách con người thực sự sử dụng công nghệ.
Đối với các lĩnh vực nhạy cảm như sức khỏe tâm thần, một hệ thống AI không chỉ cần tạo ra câu trả lời có vẻ hợp lý. Nó còn phải biết khi nào cần hỏi thêm thông tin, khi nào cần thận trọng, cách tôn trọng quyền tự quyết của người dùng và cách phản ứng trước những tình huống có nguy cơ ảnh hưởng đến an toàn.
Bộ tiêu chuẩn này chưa phải là một lời khẳng định rằng AI có thể thay thế chuyên gia sức khỏe tâm thần. Thay vào đó, nó cung cấp một phương pháp để đo lường và phát hiện những điểm AI còn cần cải thiện khi tham gia vào các cuộc hội thoại nhạy cảm.
Về lâu dài, những phương pháp đánh giá như MentalHealthBench có thể trở thành một phần quan trọng trong quá trình phát triển các hệ thống AI an toàn hơn, đặc biệt khi AI ngày càng được sử dụng trong những tình huống đòi hỏi sự thận trọng, hiểu bối cảnh và trách nhiệm cao.