评估评判模型

对于基于模型的指标，Gen AI Evaluation Service 会使用已配置为评判模型的基础模型（例如 Gemini）评估您的模型。如果您想详细了解评判模型，请参阅高级评判模型自定义系列文章，其中介绍了您可以用来评估和配置评判模型的其他工具。

如需了解基本评估工作流，请参阅 Gen AI Evaluation Service 快速入门。高级评判模型自定义系列包括以下页面：

  1. 评估评判模型（当前页面）
  2. 提示自定义评判模型
  3. 配置评判模型

概览

使用人工评判员评估大语言模型 (LLM) 可能既昂贵又耗时。使用评判模型是一种更可扩展的 LLM 评估方法。Gen AI Evaluation Service 默认使用已配置的 Gemini 2.0 Flash 模型作为评判模型，并提供可自定义的提示，以便针对各种应用场景评估您的模型。

以下部分介绍了如何针对理想用例评估自定义评判模型。

准备数据集

如需评估基于模型的指标，请准备一个评估数据集，并将人工评分作为标准答案。目的是将基于模型的指标得分与人工评分进行比较，看看基于模型的指标是否适合您的应用场景。

  • 对于 PointwiseMetric，请准备数据集中的 {metric_name}/human_rating 列，作为基于模型的指标生成的 {metric_name}/score 结果的标准答案。

  • 对于 PairwiseMetric，请准备数据集中的 {metric_name}/human_pairwise_choice 列，作为基于模型的指标生成的 {metric_name}/pairwise_choice 结果的标准答案。

使用以下数据集架构：

基于模型的指标 人工评分列
PointwiseMetric {metric_name}/human_rating
PairwiseMetric {metric_name}/human_pairwise_choice

可用指标

对于仅返回 2 个得分（例如 0 和 1）的 PointwiseMetric，以及仅具有 2 种偏好类型（模型 A 或模型 B）的 PairwiseMetric，可使用以下指标：

指标 计算
2 类平衡准确率 \( (1/2)*(True Positive Rate + True Negative Rate) \)
2 类平衡 F1 得分 \( ∑_{i=0,1} (cnt_i/sum) * f1(class_i) \)
混淆矩阵 使用 confusion_matrix 和 confusion_matrix_labels 字段计算真正例率 (TPR)、真负例率 (TNR)、假正例率 (FPR) 和假负例率 (FNR) 等指标。

例如，以下结果： 
confusion_matrix = [[20, 31, 15],     [10, 11,  3],    [ 3,  2,  2]] confusion_matrix_labels = ['BASELINE', 'CANDIDATE', 'TIE']
 可转换为以下混淆矩阵： 
             BASELINE |  CANDIDATE | TIE    BASELINE.    20         31        15    CANDIDATE.   10         11         3    TIE.         3           2         2 |

对于返回多个分数（例如 1 到 5）的 PointwiseMetric，以及具有多个偏好类型（模型 A、模型 B 或平局）的 PairwiseMetric，可使用以下指标：

指标 计算
多类平衡准确率 \( (1/n) *∑_{i=1...n}(recall(class_i)) \)
多类平衡 F1 得分 \( ∑_{i=1...n} (cnt_i/sum) * f1(class_i) \)

其中：

  • \( f1 = 2 * precision * recall / (precision + recall) \)

    • \( precision = True Positives / (True Positives + False Positives) \)

    • \( recall = True Positives / (True Positives + False Negatives) \)

  • \( n \) ：课程数量

  • \( cnt_i \) ：标准答案数据中的 \( class_i \) 数量

  • \( sum \)：地面真相数据中的元素数

如需计算其他指标，您可以使用开源库。

评估基于模型的指标

以下示例使用自定义的流畅度定义更新基于模型的指标，然后评估该指标的质量。

from vertexai.preview.evaluation import {    AutoraterConfig,    PairwiseMetric, } from vertexai.preview.evaluation.autorater_utils import evaluate_autorater   # Step 1: Prepare the evaluation dataset with the human rating data column. human_rated_dataset = pd.DataFrame({   "prompt": [PROMPT_1, PROMPT_2],     "response": [RESPONSE_1, RESPONSE_2],   "baseline_model_response": [BASELINE_MODEL_RESPONSE_1, BASELINE_MODEL_RESPONSE_2],     "pairwise_fluency/human_pairwise_choice": ["model_A", "model_B"] })  # Step 2: Get the results from model-based metric pairwise_fluency = PairwiseMetric(     metric="pairwise_fluency",     metric_prompt_template="please evaluate pairwise fluency..." )  eval_result = EvalTask(     dataset=human_rated_dataset,     metrics=[pairwise_fluency], ).evaluate()  # Step 3: Calibrate model-based metric result and human preferences. # eval_result contains human evaluation result from human_rated_dataset. evaluate_autorater_result = evaluate_autorater(   evaluate_autorater_input=eval_result.metrics_table,   eval_metrics=[pairwise_fluency] )

后续步骤