在大型数据集上运行评估时,您可能会因速率限制、网络问题或其他暂时性错误,导致少量示例运行失败。您无需重新运行整个评估,而是可以在一个实验中识别并仅重试失败的示例。 本指南介绍如何将重试逻辑构建到评估工作流中,以及如何仅重试失败的示例。您可以使用 error_handling='ignore' 参数跳过错误运行的日志记录,然后在 Python 中自动识别未成功的示例并重新运行它们。

第 1 步:运行初始评估

运行初始评估并忽略错误,以防止错误运行被记录:

第 2 步:重试失败的示例并记录到同一个实验

获取所有未成功的示例:
接下来,重新运行所有失败的示例,并将其记录到同一个实验中:

相关主题