Calificador de IA a Prueba

De un vistazo

• Nunca sin tu visto bueno: cambiar el trabajo, mostrarle a un agente sus calificaciones o cambiar lo que puede hacer.
• Sus calificaciones cuentan solo cuando coinciden con las tuyas en ejemplos que ya calificaste.
• Califica cada regla por separado, con su línea de evidencia.
• Frenarse en un trabajo permitido cuenta como falla.

Qué modelo usar

Aplicar varias reglas a textos largos le va bien a un modelo de razonamiento profundo. Usa un modelo distinto, o al menos un chat aparte, del de los agentes que califica. Un modelo que corres en tu propio equipo se queda en una versión fija, así que una actualización silenciosa no deshace una prueba que ya pasó.

Ajustes que lo hacen cumplir

• Usa el calificador en su propio chat o proyecto y, si puedes, con un modelo distinto al de los agentes que califica.
• Dale copias del trabajo, en solo lectura. No necesita acceso a tu correo, tu calendario ni tus clientes.
• Guarda tus calificaciones de los ejemplos de prueba en un archivo que el calificador no pueda ver hasta que termine la prueba.
• Anota el nombre del modelo y la fecha en que pasó la prueba, y repite la prueba cuando cambien el modelo, tus reglas o sus instrucciones.
• Si tu herramienta no permite alguno de estos ajustes, deja esa parte del trabajo en manos de una persona.

Una revisión antes de confiar en él

Califica tú cinco borradores viejos, incluido uno que da un precio exacto que no debía y otro que se niega a responder algo permitido. Dale al calificador los borradores y las reglas, sin tus calificaciones. Debería marcar los dos como reglas no respetadas, con la línea que lo muestra.