ORVS en RheumAI

ORVS significa Optimistic Response Verification System. El documento de referencia fue publicado como preprint por Erick Zamora el 28 de marzo de 2026 y tiene el DOI 10.55277/researchhub.qq2fdvw9.[1]

En RheumAI, ORVS es una revisión posterior a la generación. Evalúa la respuesta producida por el modelo. No valida directamente que la nota clínica de entrada tenga todos los campos que exige BIOBADAMEX.

Preprint y código actual

No son el mismo contrato. El preprint describe una rúbrica de cuatro dimensiones, hasta tres ciclos y escalamiento humano.[1] El chat normal usa la versión heredada de seis dimensiones, intenta una regeneración y no implementa una cola de escalamiento humano ORVS. Los modos v2 son extensiones experimentales: Quick usa cuatro dimensiones y Deep usa ocho. Los pesos de Quick se parecen al preprint, pero el significado actual de TMP y RSC cambió a razonamiento temporal y completitud terapéutica.

Flujo conceptual

RheumAI genera una respuesta usando la consulta y la evidencia recuperada.
Un modelo evaluador puntúa varias dimensiones.
Si el resultado queda bajo el umbral, RheumAI agrega indicaciones de corrección y vuelve a generar o ampliar la respuesta.
Un control separado compara PMID citados contra los PMID recuperados en ese turno.
El sistema entrega la respuesta final o aplica un fallback si se agota el tiempo.

Implementaciones presentes

Flujo normal de chat

El chat normal llama a la verificación v1 para las consultas clínicas y para preguntas que no son saludos básicos. Evalúa seis dimensiones en escala 0–100:

exactitud de citas;
exactitud clínica;
especificidad;
alineación con la evidencia;
completitud de la respuesta;
ausencia de contradicciones.

El umbral actual es 70. Si no pasa, el chat intenta regenerar la respuesta usando los flags del evaluador. La respuesta regenerada no vuelve a pasar por ORVS en ese camino normal.

Modos comparativos explícitos

Cuando el cliente envía pipelineMode, puede escoger quick-orvs o full-orvs:

Modo	Dimensiones	Uso
Quick ORVS v2	exactitud clínica, seguridad, razonamiento temporal, completitud terapéutica	Revisión rápida
Deep ORVS v2	las cuatro anteriores más completitud, citas, claridad y sesgo	Revisión más amplia

La versión v2 calcula un compuesto 0–100 y puede regenerar o añadir una ampliación hasta dos veces.

Controles de citas

Además del puntaje ORVS, el chat aplica una regla concreta para PMID:

Si recuperó evidencia PubMed pero la respuesta no cita PMID, puede regenerar.
Solo permite identificadores presentes en la evidencia recuperada en ese turno.
Si persiste un PMID no permitido, lo reemplaza por [PMID no verificado].

Este control es más determinista que pedir a un modelo que decida si una cita parece correcta.

Límites importantes

ORVS evalúa una salida generada. No demuestra que una recomendación sea clínicamente correcta.
El evaluador también es un modelo y puede equivocarse.
El preprint describe una propuesta y experimentos retrospectivos con escenarios construidos.[1] No demuestra resultados clínicos, aprobación regulatoria ni seguridad para uso autónomo.
En el flujo actual, errores de parseo o API pueden producir un resultado marcado como passed con flags de error. Es un comportamiento fail-open, no una validación exitosa.
ORVS_ENABLED=false desactiva la revisión.
La ruta stateless del estudio no ejecuta una verificación ORVS final de forma explícita después de REPLY.
La dimensión “completeness” de ORVS pregunta si la respuesta cubre la consulta. No es la completitud del expediente ni del registro.

Relación con completitud de notas

Para BiobadamexAI se necesitan dos evaluaciones separadas:

Completitud de la nota: campos requeridos presentes, ausentes, desconocidos o no aplicables, según la enfermedad y el contexto del registro.
Calidad de la respuesta: exactitud, seguridad, evidencia, claridad y utilidad de lo que RheumAI comunica al médico.

ORVS puede cubrir la segunda. La primera necesita un esquema clínico explícito y procedencia campo por campo. Consulta Evaluación de notas y completitud.

Evidencia en código

Sources

[1] https://www.researchhub.com/post/32066/optimistic-response-verification-system — Optimistic Response Verification System > “Optimistic Response Verification System” > “March 28, 2026”