Évaluer un modèle d'évaluation

Pour les métriques basées sur un modèle, Gen AI Evaluation Service évalue vos modèles avec un modèle de référence, tel que Gemini, qui a été configuré et défini comme modèle d'évaluation. Pour en savoir plus sur le modèle d'évaluation, la série de personnalisations avancées du modèle d'évaluation décrit d'autres outils que vous pouvez utiliser pour évaluer et configurer le modèle d'évaluation.

Pour connaître le workflow d'évaluation de base, consultez le guide de démarrage rapide de Gen AI Evaluation Service. La série de personnalisations avancées du modèle d'évaluation comprend les pages suivantes:

  1. Évaluer un modèle d'évaluation (page actuelle)
  2. Invite à personnaliser le modèle d'évaluation
  3. Configurer un modèle d'évaluation

Présentation

L'utilisation de juges humains pour évaluer les grands modèles de langage (LLM) peut être coûteuse et chronophage. L'utilisation d'un modèle d'évaluation est un moyen plus évolutif d'évaluer les LLM. Par défaut, le service d'évaluation de l'IA générative utilise un modèle Gemini 2.0 Flash configuré comme modèle d'évaluation, avec des invites personnalisables pour évaluer votre modèle pour différents cas d'utilisation.

Les sections suivantes expliquent comment évaluer un modèle d'évaluation personnalisé pour votre cas d'utilisation idéal.

Préparer l'ensemble de données

Pour évaluer les métriques basées sur un modèle, préparez un ensemble de données d'évaluation avec des notes humaines comme vérité terrain. L'objectif est de comparer les scores des métriques basées sur des modèles avec les notes humaines et de voir si les métriques basées sur des modèles ont la qualité idéale pour votre cas d'utilisation.

  • Pour PointwiseMetric, préparez la colonne {metric_name}/human_rating de l'ensemble de données en tant que vérité terrain pour le résultat {metric_name}/score généré par les métriques basées sur le modèle.

  • Pour PairwiseMetric, préparez la colonne {metric_name}/human_pairwise_choice de l'ensemble de données en tant que vérité terrain pour le résultat {metric_name}/pairwise_choice généré par les métriques basées sur le modèle.

Utilisez le schéma d'ensemble de données suivant:

Métrique basée sur un modèle Colonne d'évaluation humaine
PointwiseMetric {metric_name}/human_rating
PairwiseMetric {metric_name}/human_pairwise_choice

Métriques disponibles

Pour un PointwiseMetric qui ne renvoie que deux scores (par exemple, 0 et 1) et un PairwiseMetric qui ne comporte que deux types de préférences (modèle A ou modèle B), les métriques suivantes sont disponibles:

Métrique Calcul
Précision équilibrée à deux classes \( (1/2)*(True Positive Rate + True Negative Rate) \)
Score F1 équilibré à deux classes \( ∑_{i=0,1} (cnt_i/sum) * f1(class_i) \)
Matrice de confusion Utilisez les champs confusion_matrix et confusion_matrix_labels pour calculer des métriques telles que le taux de vrais positifs (TVP), le taux de vrais négatifs (TNV), le taux de faux positifs (TFP) et le taux de faux négatifs (FNP).

Par exemple, le résultat suivant: 
confusion_matrix = [[20, 31, 15],     [10, 11,  3],    [ 3,  2,  2]] confusion_matrix_labels = ['BASELINE', 'CANDIDATE', 'TIE']
 se traduit par la matrice de confusion suivante: 
             BASELINE |  CANDIDATE | TIE    BASELINE.    20         31        15    CANDIDATE.   10         11         3    TIE.         3           2         2 |

Pour un PointwiseMetric qui renvoie plus de deux scores (par exemple, de 1 à 5) et un PairwiseMetric qui comporte plus de deux types de préférences (modèle A, modèle B ou égalité), les métriques suivantes sont disponibles:

Métrique Calcul
Précision équilibrée à plusieurs classes \( (1/n) *∑_{i=1...n}(recall(class_i)) \)
Score F1 équilibré pour plusieurs classes \( ∑_{i=1...n} (cnt_i/sum) * f1(class_i) \)

Où :

  • \( f1 = 2 * precision * recall / (precision + recall) \)

    • \( precision = True Positives / (True Positives + False Positives) \)

    • \( recall = True Positives / (True Positives + False Negatives) \)

  • \( n \) : nombre de cours

  • \( cnt_i \) : nombre de \( class_i \) dans les données de vérité terrain

  • \( sum \): nombre d'éléments dans les données de référence

Pour calculer d'autres métriques, vous pouvez utiliser des bibliothèques Open Source.

Évaluer la métrique basée sur un modèle

L'exemple suivant met à jour la métrique basée sur le modèle avec une définition personnalisée de la fluidité, puis évalue la qualité de la métrique.

from vertexai.preview.evaluation import {    AutoraterConfig,    PairwiseMetric, } from vertexai.preview.evaluation.autorater_utils import evaluate_autorater   # Step 1: Prepare the evaluation dataset with the human rating data column. human_rated_dataset = pd.DataFrame({   "prompt": [PROMPT_1, PROMPT_2],     "response": [RESPONSE_1, RESPONSE_2],   "baseline_model_response": [BASELINE_MODEL_RESPONSE_1, BASELINE_MODEL_RESPONSE_2],     "pairwise_fluency/human_pairwise_choice": ["model_A", "model_B"] })  # Step 2: Get the results from model-based metric pairwise_fluency = PairwiseMetric(     metric="pairwise_fluency",     metric_prompt_template="please evaluate pairwise fluency..." )  eval_result = EvalTask(     dataset=human_rated_dataset,     metrics=[pairwise_fluency], ).evaluate()  # Step 3: Calibrate model-based metric result and human preferences. # eval_result contains human evaluation result from human_rated_dataset. evaluate_autorater_result = evaluate_autorater(   evaluate_autorater_input=eval_result.metrics_table,   eval_metrics=[pairwise_fluency] )

Étape suivante