Calidad y alineación permite contrastar el comportamiento de un agente con tus objetivos, reglas y conocimiento mediante pruebas y evidencia. Crear casos no garantiza que el agente esté alineado: los resultados se revisan después de ejecutar.
Builder de calidad y alineación prepara un catálogo de pruebas a partir de un agente al que tenés acceso. Elegí el agente: no necesitás escribir un prompt inicial. Lee la configuración y los recursos autorizados disponibles, propone cobertura y diferencia los hechos observados de la evidencia faltante.
Armar el catálogo
- Seleccioná la organización que será propietaria de las pruebas y consumirá el uso del modelo.
- Abrí Monitoreo → Calidad y alineación → Nuevo proyecto → Crear con Builder de calidad y alineación.
- Elegí el Agente a evaluar. Dejá Enfoque (opcional) vacío para una cobertura general o indicá algo específico, como seguridad, precisión factual o uso de herramientas.
- Seleccioná Analizar y proponer pruebas. Prepara la propuesta sin guardar un catálogo ni ejecutar el agente destino.
- Revisá la cobertura y los faltantes. Usá el chat para pedir más casos o un enfoque diferente.
- Seleccioná Guardar catálogo una sola vez. El builder crea los casos, revisa sus referencias, aplica correcciones dentro del mismo catálogo y verifica las revisiones guardadas y el plan de pruebas inmutable.
- Continuá con Abrir proyecto y casos o Ver planes de prueba y opciones de ejecución en las pantallas actuales de evaluaciones.
Los casos pueden contener un mensaje o una conversación ordenada. Revisá la completitud de las respuestas de referencia y sus alternativas válidas. Los hechos expresados en lenguaje natural no exigen una redacción exacta; un caso sin criterios determinísticos se mide, no se aprueba automáticamente. La ejecución, el juez semántico y la calibración humana son acciones separadas.
Disponibilidad y consumo
Un administrador puede habilitar o deshabilitar Builder de calidad y alineación en los feature flags de la organización o su plan. Una restricción heredada o la licencia de la instalación también puede limitarlo. Al deshabilitarlo, la creación manual de evaluaciones sigue disponible para usuarios autorizados; se bloquean la entrada al builder, la navegación directa, la resolución y las nuevas invocaciones al runtime.
El builder compartido pertenece a AI Agent Builder. Las conexiones del modelo, el consumo y los catálogos generados corresponden a la organización consumidora seleccionada, con sus permisos y límites existentes. No hace falta una credencial del propietario.
Guardados interrumpidos
Si se interrumpe la conexión, usá Verificar guardado para conciliar el proyecto existente. No supongas que no se escribió nada ni repitas Guardar a ciegas. Nueva conversación limpia la propuesta y sus referencias visibles; no borra catálogos.