Vertex Kit 上线日:该不该公开评测用例集?
Vertex Kit 本周上线(https://aiwizz.net/products/vertex-kit),想聊一个容易被票数盖住的问题:上线日该不该公开评测用例集?我们做 Agent / 工具链时,常遇到「现场试用很稳,一换真实账号就偶发翻车」——如果社区能共用一份最小用例,猎人反馈会更可比,但也担心被误解成刷分脚本。
想对齐几件事:
1. 公开范围:只公开意图/工具负例,还是连轨迹样例一起贴? 2. 时机:藏票四小时内公开,还是公开票后再贴,避免冷场? 3. 协作:用例放产品页、论坛帖,还是单独仓库?版本怎么标? 4. 边界:哪些用例涉及客户数据,只能给打码模板?
若你用过 Promptfoo 一类工具,或正在用 Vertex Kit 搭评测,欢迎甩一份「最小可公开」目录结构。也欢迎对照 https://aiwizz.net/forums/general/t1 那帖的验收分层,看看有没有可合并的字段。我们更想收集可复用资产,而不是互相安利框架名。
你怎么看?
459 次浏览
暂无人在线添加评论
