GESP 1-4级 -- GESP 5-8级 -- CSP-J/S --

A22644. $在评估一个代码生成智能体时，我们常使用Pass@K指标。假设我们有一个包含n=100个编程问题的测试集。对于每个问题，让智能体独立生成k=5个不同的代码解决方案。如果对于某个问题，生成的5个方案中有任意一个能够通过单元测试，该问题就被视为“已解决”。最终，在100个问题中，有60个问题被成功解决。根据上述描述，以下关于Pass@K的计算和解释，哪一项是正确的？( )$

单选题中等

知识点

人工智能

题目描述

在评估一个代码生成智能体时，我们常使用Pass@K指标。假设我们有一个包含n=100个编程问题的测试集。对于每个问题，让智能体独立生成k=5个不同的代码解决方案。如果对于某个问题，生成的5个方案中有任意一个能够通过单元测试，该问题就被视为“已解决”。最终，在100个问题中，有60个问题被成功解决。根据上述描述，以下关于Pass@K的计算和解释，哪一项是正确的？( )

选项（单选）

A

这里K=5，Pass@5=(60/100)*100%=60%。这表示随机抽取一个生成方案，其通过测试的概率是60%。

B

这里K=5，Pass@5=(60/100)*100%=60%。这表示通过生成5个方案，智能体成功解决其中60%问题的能力。

C

这里K=100，Pass@100=(60/100)*100%=60%。这表示智能体解决了测试集中60%的问题。

D

这里K=5，但正确的计算方式应为Pass@5=(60/(100*5))*100%=12%。这表示所有生成方案的总通过率。

上一题下一题