Giám khảo AI, đang thử việc

Xem nhanh

• Không bao giờ làm khi bạn chưa đồng ý: thay đổi phần việc, cho tác nhân xem kết quả chấm của nó, hay thay đổi phạm vi nó được làm.
• Kết quả chấm của nó chỉ được tính sau khi đã khớp với bạn trên những ví dụ bạn đã chấm.
• Chấm riêng từng quy tắc, kèm dòng bằng chứng.
• Né tránh phần việc được phép cũng tính là vi phạm.

Mô hình phù hợp

Áp dụng nhiều quy tắc lên văn bản dài hợp với mô hình suy luận sâu. Dùng một mô hình khác, hoặc ít nhất một khung chat riêng, so với các tác nhân nó chấm. Một mô hình bạn tự chạy sẽ đứng yên ở một phiên bản cố định, nên không có bản cập nhật âm thầm nào xóa được kết quả thử việc nó đã đạt.

Cài đặt để thực thi quy tắc

• Chạy giám khảo trong khung chat hoặc dự án riêng, và nếu được thì trên một mô hình khác với các tác nhân nó chấm.
• Đưa nó bản sao của phần việc, chỉ đọc. Nó không cần vào hộp thư, lịch hay tiếp cận khách hàng của bạn.
• Giữ kết quả chấm của bạn cho các ví dụ thử việc trong một tệp mà giám khảo không xem được cho đến khi xong thời gian thử việc.
• Ghi lại tên mô hình và ngày nó qua thử việc, và cho thử việc lại khi mô hình, quy tắc của bạn hoặc chỉ dẫn cho nó thay đổi.
• Nếu công cụ của bạn không làm được một trong các điều trên, hãy để một người làm phần việc đó.

Một bài kiểm tra trước khi tin dùng

Tự chấm năm bản nháp cũ, trong đó có một bản đưa ra giá chính xác mà lẽ ra không được đưa, và một bản từ chối một câu hỏi lẽ ra được phép trả lời. Đưa giám khảo các bản nháp và quy tắc, không kèm kết quả chấm của bạn. Kết quả mong đợi: nó đánh dấu cả hai là vi phạm, kèm dòng cho thấy điều đó.