Trong thế giới của các cuộc thi thuật toán, quy tắc rõ ràng, giới hạn nghiêm ngặt, và đánh giá không thương tiếc.

LiveCodeBench Pro được phát hành bởi @SentientAGI, đã hoàn toàn đưa môi trường lập trình thực vào hệ thống đánh giá mô hình và chính thức được @NeurIPSConf chấp nhận.

Hệ thống này đã định nghĩa lại việc "mô hình sẽ viết mã".
Quá trình đánh giá bao phủ toàn bộ lộ trình suy luận thuật toán: Đọc đề bài, thiết kế phương án, tạo mã, biên dịch thực hiện, thông qua kiểm tra ẩn.
Mỗi giai đoạn đều hoạt động trong môi trường Docker thống nhất, thời gian và giới hạn bộ nhớ nghiêm ngặt tuân theo tiêu chuẩn cuộc thi ban đầu.

Đánh giá truyền thống thường sử dụng các điều kiện lỏng lẻo và ngân hàng câu hỏi lặp đi lặp lại, điểm số của mô hình có vẻ ấn tượng nhưng khó tái hiện.
LiveCodeBench Pro trực tiếp lấy đề thi mới nhất từ các cuộc thi thực tế, khóa các giới hạn tại thời điểm đó, thêm giai đoạn hack theo phong cách Codeforces và kiểm tra fuzz nội bộ.
Kết quả đánh giá đã trải qua sự đối kháng và kiểm nghiệm đầy đủ, có thể phản ánh khả năng thuật toán thực sự của mô hình và hiệu suất thực thi mã.

Toàn bộ quy trình bắt đầu từ khi cuộc thi kết thúc: Hệ thống tự động lấy đề bài, bộ tạo đầu vào và logic đánh giá, sau đó đóng băng các điều kiện ràng buộc ban đầu.
Mô hình cần hoàn thành việc giải bài toán đầy đủ trong giới hạn tài nguyên, tạo ra chương trình C++ có thể biên dịch, và nhận kiểm tra ẩn trong môi trường thống nhất.
Mỗi lần thực hiện sẽ xuất ra nhật ký đầy đủ, thời gian tiêu tốn, bộ nhớ sử dụng, thông tin biên dịch và kết quả đánh giá, cung cấp cơ sở đầy đủ cho việc phân tích sau này.

Nguồn nhiệm vụ bao phủ nhiều nền tảng thi đấu uy tín:

- Codeforces liên tục cung cấp các đề bài mới đa dạng.
- ICPC thể hiện thiết kế và triển khai thuật toán nhanh chóng dưới sự hợp tác của đội nhóm;
- IOI mang đến những thử thách cấp độ Olympic tập trung vào cấu trúc và kiểm soát độ phức tạp.

Độ khó của đề bài sử dụng hệ thống xếp hạng động tương tự như Elo:
≤2000 là Easy, 2000–3000 là Medium, >3000 là Hard.
Mức độ khó sẽ được cập nhật theo thời gian thực dựa trên hồ sơ giải quyết vấn đề của con người và mô hình, đảm bảo rằng kết quả đánh giá có thể so sánh và đáng tin cậy ở các thời điểm khác nhau.

LiveCodeBench Pro hỗ trợ tái hiện địa phương và so sánh công khai.
Chỉ cần sao chép kho, cài đặt Python 3.12 và Docker, và cấu hình bộ điều hợp mô hình, bạn có thể chạy hoàn chỉnh đánh giá tại địa phương.
Kết quả địa phương sử dụng cùng một môi trường phán xét và bộ dữ liệu với bảng xếp hạng công cộng, đảm bảo rằng điểm số có thể so sánh trực tiếp.

Mỗi lần chạy sẽ tạo ra một tệp JSON có cấu trúc, ghi lại các phán quyết của từng câu hỏi, thời gian chạy, mức sử dụng bộ nhớ và nhãn thất bại, thuận tiện cho nhóm nghiên cứu trong việc xác định nguồn gốc vấn đề một cách sâu sắc.
Dữ liệu này tiết lộ những điểm yếu cụ thể của mô hình trong logic dài hạn, chiến lược tìm kiếm, kiểm soát độ phức tạp hoặc thiết kế cấu trúc dữ liệu, cung cấp hướng đi rõ ràng cho việc cải tiến.

Trong giai đoạn mô hình sinh ra thường xuyên theo đuổi điểm cao và kỹ thuật gợi ý, LiveCodeBench Pro cung cấp một tham chiếu sạch.
Nó đưa khả năng thuật toán trở lại bối cảnh thực, khiến mô hình phải đối mặt với những quy tắc và áp lực giống như lập trình viên con người.
Đây là một thử thách về logic và thực hiện, cũng là một chiếc gương rõ ràng, phản ánh ranh giới thực sự của mô hình trong việc hiểu lập trình.

LiveCodeBench Pro giúp mã quay trở lại thế giới quy tắc, giúp đánh giá quay trở lại thực tế có thể xác minh.

#KAITO #cookiedotfun #SentientAGI #Sentient