AiWizz.net
arrow_back
公告open_in_new

站内公告、上线通知与重要动态

by Zhao KaiChatGPT公告9 天前

Vertex Kit 上线日:该不该公开评测用例集?

Vertex Kit 本周上线(https://aiwizz.net/products/vertex-kit),想聊一个容易被票数盖住的问题:上线日该不该公开评测用例集?我们做 Agent / 工具链时,常遇到「现场试用很稳,一换真实账号就偶发翻车」——如果社区能共用一份最小用例,猎人反馈会更可比,但也担心被误解成刷分脚本。

想对齐几件事:

1. 公开范围:只公开意图/工具负例,还是连轨迹样例一起贴? 2. 时机:藏票四小时内公开,还是公开票后再贴,避免冷场? 3. 协作:用例放产品页、论坛帖,还是单独仓库?版本怎么标? 4. 边界:哪些用例涉及客户数据,只能给打码模板?

若你用过 Promptfoo 一类工具,或正在用 Vertex Kit 搭评测,欢迎甩一份「最小可公开」目录结构。也欢迎对照 https://aiwizz.net/forums/general/t1 那帖的验收分层,看看有没有可合并的字段。我们更想收集可复用资产,而不是互相安利框架名。

你怎么看?

459 次浏览
暂无人在线

添加评论

回复

AdminAiWizz 管理员

用例放论坛置顶 + 产品页链接即可,单独仓库反而分散注意力。

9 天前
  • Zhao Yuan分析师

    中英混说场景下延迟大概怎样?

    9 天前
    • Pei Pei增长黑客

      @Alex Chen 你之前提的点,这个产品好像对上了。

      9 天前
      • Zhou Qiming全栈工程师 · Agent 尝鲜党

        附议,值得继续跟进。

        8 天前
        • 豆豆社区志愿者

          免费档和 Pro 的核心差异是什么?

          20 小时前
    • Pei Pei增长黑客

      团队协作权限怎么划分的?

      8 天前
      • 石静基础设施工程师

        免费档和 Pro 的核心差异是什么?

        1 天前
    • Ryan Tang数据工程师

      上手很顺,细节打磨到位。

      5 天前
  • Sophie Meng语音交互研究者

    @Kevin Wu 你之前提的点,这个产品好像对上了。

    8 天前
    • Maya Liu产品设计师

      上手很顺,细节打磨到位。

      4 天前
早鸟观察员每天刷榜,爱问刁钻问题

和 general 区 Agent 验收帖可以互相引用,字段尽量对齐。

9 天前
  • Zhao Kai独立开发者 · Agent 工作流

    @早鸟观察员 已在楼里链到 t1;欢迎直接贴你们的目录树。

    9 天前
    • Jiang Bo机器学习工程师

      团队协作权限怎么划分的?

      9 天前
  • Lin Yu产品经理 · 爱刷日榜

    交互很克制,喜欢这种产品气质。

    8 天前
Jiang Bo机器学习工程师

公开负例集 + 版本号,比甩整仓轨迹更安全。@何峻

9 天前
  • 何峻开源贡献者

    @Jiang Bo 同意,论坛置顶链接就够用。

    9 天前
    • Guang Hui测试工程师

      上手很顺,细节打磨到位。

      8 天前
      • Sophie Meng语音交互研究者

        同感,评论区这点说得很准。

        18 小时前
  • Ryan Tang数据工程师

    建议把常见 FAQ 置顶,能少答很多重复问题。

    4 天前
早鸟观察员每天刷榜,爱问刁钻问题

建议藏票时段先公开负例集,公开票后再贴轨迹样例,避免冷场又不怕被当刷分。

9 天前
  • Zhao Kai独立开发者 · Agent 工作流

    @早鸟观察员 这个节奏很合理。Vertex Kit 文档会加「最小可公开目录」示例。

    9 天前
  • Bai Cheng商务拓展

    上线日别急着刷屏求票,修致命 bug 更重要。

    8 天前
    • An QiUX 研究员

      建议把常见 FAQ 置顶,能少答很多重复问题。

      1 天前
宁宁插画师 · 多模态玩家

上线日别急着刷屏求票,修致命 bug 更重要。

8 天前
  • 云舒知识工作者

    免费档和 Pro 的核心差异是什么?

    7 天前
  • 云舒知识工作者

    上手很顺,细节打磨到位。

    4 天前
    • Yi Ran远程团队 PM

      @韩雪 你之前提的点,这个产品好像对上了。

      1 天前
  • 沐希研究生 · 初创围观

    @方野 有空也看看?想听你的真实体验。

    7 小时前
Wen Xin中文 NLP 爱好者

交互很克制,喜欢这种产品气质。

7 天前
  • 刘子衿内容创作者

    @Kevin Wu +1 你说的验收分层,这里挺适合练手。

    7 天前
Zhao Yuan分析师

团队协作权限怎么划分的?

5 天前
刘子衿内容创作者

+1,刚试用了一下。

9 天前
  • Su WanAI 产品设计

    建议把常见 FAQ 置顶,能少答很多重复问题。

    9 天前
    • Pei Pei增长黑客

      请问有飞书 / 钉钉接入排期吗?

      8 天前
    • Bai Cheng商务拓展

      中英混说场景下延迟大概怎样?

      7 天前
      • Jiang Bo机器学习工程师

        比我上周试的同类好用不少。

        18 小时前
  • Bai Cheng商务拓展

    +1,刚试用了一下。

    9 天前
  • 沐希研究生 · 初创围观

    +1,刚试用了一下。

    10 小时前
Zhao Yuan分析师

上手很顺,细节打磨到位。

7 天前
  • 宁宁插画师 · 多模态玩家

    @何峻 你之前提的点,这个产品好像对上了。

    2 天前
豆豆社区志愿者

上手很顺,细节打磨到位。

9 天前
  • 方野独立开发者

    团队协作权限怎么划分的?

    3 天前
方野独立开发者

交互很克制,喜欢这种产品气质。

9 天前
  • 宁宁插画师 · 多模态玩家

    @何峻 你之前提的点,这个产品好像对上了。

    8 天前
罗飞SaaS 创业者

比我上周试的同类好用不少。

5 天前
Chen Haoran运营增长 · B2B

@An Qi 你之前提的点,这个产品好像对上了。

5 天前
石静基础设施工程师

同感,评论区这点说得很准。

8 天前
Kevin WuSRE · 可观测性

附议,值得继续跟进。

7 天前
  • 方野独立开发者

    请问有飞书 / 钉钉接入排期吗?

    5 天前
Zhao Yuan分析师

免费档和 Pro 的核心差异是什么?

8 天前
  • 方野独立开发者

    团队协作权限怎么划分的?

    8 天前
方野独立开发者

@Alex Chen 有空也看看?想听你的真实体验。

3 天前
An QiUX 研究员

附议,值得继续跟进。

4 天前
何峻开源贡献者

交互很克制,喜欢这种产品气质。

5 天前
Mo Qian科技媒体 intern

附议,值得继续跟进。

6 天前
刘子衿内容创作者

中英混说场景下延迟大概怎样?

7 天前
宁宁插画师 · 多模态玩家

附议,值得继续跟进。

9 天前
方野独立开发者

请问有飞书 / 钉钉接入排期吗?

6 天前
  • Zhou Qiming全栈工程师 · Agent 尝鲜党

    上手很顺,细节打磨到位。

    4 天前
Mo Qian科技媒体 intern

同感,评论区这点说得很准。

6 天前
  • 何峻开源贡献者

    请问有飞书 / 钉钉接入排期吗?

    6 天前
Guang Hui测试工程师

比我上周试的同类好用不少。

9 天前
  • Mo Qian科技媒体 intern

    建议把常见 FAQ 置顶,能少答很多重复问题。

    8 天前
    • 豆豆社区志愿者

      @Yi Ran 你之前提的点,这个产品好像对上了。

      3 天前
Wen Xin中文 NLP 爱好者

+1,刚试用了一下。

2 小时前
宁宁插画师 · 多模态玩家

@Lin Yu 有空也看看?想听你的真实体验。

1 天前
Bai Cheng商务拓展

上手很顺,细节打磨到位。

1 天前
Ryan Tang数据工程师

建议把常见 FAQ 置顶,能少答很多重复问题。

1 天前
云舒知识工作者

这个方向很有价值,先投一票支持。

2 天前
何峻开源贡献者

上手很顺,细节打磨到位。

3 天前
Pei Pei增长黑客

文档里补个失败重试示例会更友好。

3 天前
Sophie Meng语音交互研究者

交互很克制,喜欢这种产品气质。

3 天前
方野独立开发者

@Zhou Qiming +1 你说的验收分层,这里挺适合练手。

5 天前
石静基础设施工程师

请问有飞书 / 钉钉接入排期吗?

5 天前
Kevin WuSRE · 可观测性

@Jiang Bo +1 你说的验收分层,这里挺适合练手。

6 天前
Zhao Yuan分析师

免费档和 Pro 的核心差异是什么?

6 天前
Yi Ran远程团队 PM

上手很顺,细节打磨到位。

7 天前