Nghiên cứu đưa ra cảnh báo về việc đánh giá thấp tính bất định trong công bố khoa học

Một nghiên cứu mới của Trường Đại học Kinh tế Sydney đã phát hiện ra rằng các nhà nghiên cứu đang đánh giá thấp mức độ của tính bất định (uncertainty) trong những phát hiện khoa học của họ.

Trong khoa học thực nghiệm, các nhà nghiên cứu tiến hành phân tích các mẫu để kiểm tra giả thuyết, điều này tạo ra phương sai ngay trong bản thân họ do sai số của mẫu. Việc lấy lại mẫu (re-sampling) sẽ tạo ra nhiều giá trị khác nhau đối với việc ước lượng, và độ lệch chuẩn của phân phối này được đề cập tới như là một sai số chuẩn (standard error).

Tuy nhiên, các nhà nghiên cứu ít để ý rằng có một mức độ bất định bổ sung do không có một con đường phân tích nào được coi là chuẩn trong nghiên  cứu. Mỗi cá nhân sẽ có cách thức, phương pháp hợp lý nhất để áp dụng cho nghiên cứu của họ, và điều này được gọi là sai số không chuẩn mực (non-standard error).

Một nhóm các nhà nghiên cứu nhiều kinh nghiệm đã tham gia vào quá trình bình duyệt (peer review) đối với sản phẩm của 164 nhóm khác nhau. Nghiên cứu (được công bố trên Journal of Finance) đã chỉ ra rằng những sai số không chuẩn này là rất nhiều, và có tính chất quan trọng tương tự như sai số chuẩn.

Một giả thuyết tương đối thẳng thắn về thị phần đã cho ra một sai số không chuẩn ở mức 1,2%. Đối với một giả thuyết phức tạp hơn về hiệu quả thị trường, tỷ lệ sai số không chuẩn là 6,7%.

Các sai số không chuẩn sẽ nhỏ hơn đối với những nghiên cứu chất lượng, được đánh giá cao (high-rated), và giảm 1/2 nếu quá trình bình duyệt được đưa vào trước khi công bố.

GS. Joakim Westerholm (Trường Kinh tế Sydney-người tham gia) cho rằng nghiên cứu này đã nhấn mạnh được tầm quan trọng đối với các nhà nghiên cứu trong việc quan tâm tới sự tán sắc khi kiểm định giả thuyết do mỗi người sẽ có cách thức lựa chọn phương pháp phân tích khác nhau. Nếu các nhà nghiên cứu không nhất quán đối với những quyết định mang tính then chốt như lựa chọn mô hình thống kê, xem xét các điểm ngoại lai (outlier), những ước lượng của họ sẽ có xu hướng bất đồng với nhau.

Trong khi chúng ta không thể hy vọng rằng mỗi câu hỏi nghiên cứu của mình sẽ được xem xét bởi một nhóm bao gồm 160 nhóm nghiên cứu khác nhau, chúng ta có thể thiết kế các cách tiếp cận trong đó lưu ý tới những sai số không chuẩn. Ví dụ, mỗi thành viên có thể đảm nhận những bài kiểm tra độc lập và tiến hành so sánh, đánh giá các kết quả với nhau.

GS. Westerholm cho biết bước đi tiếp theo đó là sử dụng trí tuệ nhân tạo và học máy để mô phỏng lại nghiên cứu, nhằm tìm hiểu việc này có ảnh hưởng tới tỷ lệ sai số không chuẩn hay không.