Sau khi đánh giá tần suất xuất hiện những cụm từ “chỉ thị” trong từng báo cáo khoa học, các nhà nghiên cứu đi đến kết luận rằng, ít nhất 10% tổng số tóm tắt báo cáo khoa học xuất bản sau năm 2022 trên PubMed được LLM xử lý, hoặc viết hoàn toàn bằng LLM. Con số này thậm chí còn có thể cao hơn, vì hoàn toàn có thể tồn tại những tóm tắt nghiên cứu cũng được viết bằng LLM nhưng không có bất kỳ cụm từ chỉ thị nào họ tổng hợp và dựa vào đó để nghiên cứu, thay vào đó là những cụm từ chỉ thị khác xuất hiện liên tục.

Tỷ lệ này cũng khác biệt theo từng vùng và từng ngôn ngữ. Các nhà nghiên cứu phát hiện ra rằng, những tài liệu khoa học được thực hiện ở Trung Quốc, Hàn Quốc và Đài Loan xuất hiện những cụm từ chỉ thị LLM viết giúp con người khoảng 15%. Điều này có nghĩa là, “LLM là một công cụ tốt, có thể giúp người không nói tiếng Anh là tiếng mẹ đẻ chỉnh sửa văn bản tiếng Anh, tức là sử dụng LLM là hợp lý.”

Ở khía cạnh ngược lại, các nhà nghiên cứu cho rằng những người dùng tiếng Anh làm tiếng mẹ đẻ “có lẽ nhận diện tốt hơn để gỡ bỏ những cụm từ không tự nhiên khỏi văn bản mà LLM viết ra,” tức là cố gắng che giấu việc sử dụng LLM để thực hiện các nghiên cứu khoa học.

Nhận diện được văn bản có được viết bằng LLM hay không là điều quan trọng, vì “LLM đã trở nên khét tiếng với những lần tự tạo ra nguồn dẫn nghiên cứu khoa học không có thật, viết ra những đoạn tóm tắt hoàn toàn sai ý nghĩa nội dung, và đưa ra những tuyên bố sai lệch, nhưng trông có vẻ đáng tin cậy.” Nhưng khi những kiến thức nhận diện từ chỉ thị cho thấy đoạn văn có thể đã được xử lý bằng LLM đến được với mọi người, những biên tập viên có thể tìm cách lọc và chỉnh sửa những cụm từ ấy đi.

Theo ArsTechnica