【REMU-066】鬼イラマチオ 外伝 魅惑のセクシーイラマチオ 芸能人AYA OpenAI推出SWE-bench Verified：现存框架低估模子软件工程才略

刚刚OpenAI推出更可靠的代码生成评估基准：SWE-bench Verified【REMU-066】鬼イラマチオ 外伝 魅惑のセクシーイラマチオ 芸能人AYA。

BT欧美

发布blog里最遑急的一句话是：“跟着咱们的系统越来越接近 AGI，咱们需要在越来越具有挑战性的任务中对它们进行评估”。

该基准是对现存SWE-bench的校正版块（子集），旨在更可靠地评估AI模子惩处履行宇宙软件问题的才略。

SWE-bench是一个流行的软件工程评估套件，用于评估大型言语模子 (LLM) 惩处从GitHub索要的真确软件问题的才略。它通过向AI代理提供代码库和问题描写，并要求其生成栽植问题的补丁来进行评估。固然LLM在 SWE-bench上赢得了令东说念主留神的进展，但OpenAI的设想发现，该基准存在一些问题，可能导致低估模子的自主软件工程才略。

具体来说，OpenAI指出了SWE-bench的三个主要问题：

1.单位测试过于严格：用于评估惩处决策正确性的单位测试频繁过于具体，以致与问题无关，这可能导致斥逐正确的惩处决策。

2.问题描写不解确：许种种本的问题描写不够具体，导致对问题偏执惩处决策的意会存在歧义。

3.拓荒环境难以缔造：随机难以可靠地为代理缔造SWE-bench拓荒环境，这可能导致单位测试无论惩处决策怎样齐会失败。

为了惩处这些问题，OpenAI与专科的软件拓荒东说念主员相助，对SWE-bench测试围聚的每个样本进行了东说念主工筛选，以确保单位测试的畛域妥当且问题描写明确。最终，他们发布了SWE-bench Verified，这是一个包含500 个样本的过程考据的子集，并取代了原始的SWE-bench和SWE-bench Lite测试集。

此外，OpenAI还与SWE-bench的作家相助，拓荒了一个新的评估用具，该用具使用容器化的Docker环境，使在SWE-bench上进行评估更容易、更可靠。

在SWE-bench Verified上，GPT-4o惩处了33.2%的样本，而阐明最好的开源代理框架Agentless的得分翻了一番，达到16%。

OpenAI的这项设想隆起了深刻意会和校正评估基准的遑急性，特别是当AI系统越来越接近通用东说念主工智能 (AGI) 时。跟着AI模子才略的贬抑擢升，咱们需要愈加严慎地评估其性能，以确保评估成果准确反馈模子的真确才略。

OpenAI提倡：

深刻意会基准: 即使是全心设想的基准也可能存在问题，需要合手续校正。

斟酌生态系统的朝上: 眷注社区在代理框架方面的进展，并在评估风险时斟酌潜在的外部增强功能

意志到局限性: 基于静态数据集的评估存在固有终局，需要补充其他评估法度。

详信赖息：https://openai.com/index/introducing-swe-bench-verified/

本文开始：AI寒武纪【REMU-066】鬼イラマチオ 外伝 魅惑のセクシーイラマチオ 芸能人AYA，原文标题：《OpenAI推出SWE-bench Verified：现存框架低估模子软件工程才略》

风险领导及免责要求 市集有风险，投资需严慎。本文不组成个东说念主投资提倡，也未斟酌到个别用户罕见的投资辩论、财务情景或需要。用户应试虑本文中的任何看法、不雅点或论断是否允洽其特定情景。据此投资，牵累自诩。