社区共建倡议

参与 Promptbeat 种子社区建设

Promptbeat 种子社区面向安全工程师与研究人员开放元数据、评测配方与适配器的共建。现阶段无在线上传 API，欢迎在本地准备离线草稿，待入口开放后提交。

当前线上提交通道尚未开放；本站不接收直接上传。

社区欢迎的五类贡献

1. 新集合来源与元数据

推荐合规且具备清晰许可来源的安全评测集与基准项目。

2. 现有信息纠错与补充

核实修正现有条目的版本、上游链接、风险分类或适用范围。

3. 脱敏结构示例与说明

编写易于理解且严谨脱敏的数据样例，帮助研究员扫读材料形态。

4. 加载适配器与沙箱配方

贡献将获授权材料组织并接入主流评测框架的适配器代码骨架。

5. 经授权评测报告

在合规授权与隔离环境中执行的评测结果，附带明确证据级别说明（单测/集成/真实服务E2E）。

如何准备你的贡献草稿

第一步：下载离线空白模板

获取由社区提供的标准化离线草稿模板 JSON 文件，包含规范字段与说明。

下载离线贡献模板 (JSON)

静态 JSON 文件；包含安全元数据规范、证据级别与脱敏示例占位。

第二步：本地离线填写与脱敏

在本地编辑器中填写元数据与结构示例。严禁填入真实私钥、系统凭据或可运行攻击载荷，示例须人工打码。

安全红线提示: 不得写入真实 API 密钥、数据库连接串或可运行攻击载荷。示例字段须用人工脱敏占位。

第三步：保存本地草稿

下载并妥善保存在本地；等本站未来实际公布通道再按当时说明操作。

若需先试用配置或反馈交互，请访问：分层指南与本地配置实验 →

贡献模板内容实时预览 (JSON)

以下内容与下载文件完全一致，可直接复制或参考字段要求：

{
  "template_version": "1.0.0",
  "template_notice": "本文件为离线安全贡献草稿模板；严禁写入真实私钥、凭据或可复用攻击载荷。示例内容必须人工脱敏。 / Offline safety contribution draft template; strictly prohibited to include live credentials, secrets, or reusable attack payloads. Samples must be manually redacted.",
  "contribution_type": "[选择其一 / Choose one: new_source | metadata_correction | redacted_example | adapter_recipe | authorized_evaluation_report]",
  "allowed_contribution_types": [
    "new_source",
    "metadata_correction",
    "redacted_example",
    "adapter_recipe",
    "authorized_evaluation_report"
  ],
  "metadata": {
    "suggested_id": "[待填写建议ID / Suggested dataset ID]",
    "name": {
      "zh": "[待填写中文名称 / Suggested Chinese Name]",
      "en": "[Suggested English Name / 待填写英文名称]"
    },
    "upstream_public_url": "",
    "version": "",
    "license": {
      "spdx_identifier": "",
      "spdx_identifier_guidance": {
        "zh": "填写 SPDX 标识或留空；不得默认指定许可。",
        "en": "Fill in an SPDX identifier or leave blank; do not default a license."
      },
      "license_evidence_url": "",
      "license_evidence_url_guidance": {
        "zh": "填写可核验的许可依据链接；没有则留空，不要编造 URL 或许可。",
        "en": "Fill in a verifiable license-evidence URL; leave blank if none. Do not invent a URL or license."
      },
      "redistribution_permitted": false
    },
    "evaluation_purpose": {
      "zh": "[说明该集合适合评估什么安全边界或业务风险 / Describe target security boundaries or risks]",
      "en": "[Describe what security boundary or risk this collection evaluates / 说明目标安全边界或风险]"
    },
    "material_format": "[选择其一 / Choose one: benchmark_records | sandbox_recipe | runtime_reference]",
    "allowed_material_formats": [
      "benchmark_records",
      "sandbox_recipe",
      "runtime_reference"
    ],
    "intended_risk_tags": [
      "instruction_override",
      "unauthorized_action",
      "data_exfiltration"
    ],
    "supported_languages": [
      "zh",
      "en"
    ]
  },
  "evaluation_evidence": {
    "allowed_evidence_levels": [
      "not_tested",
      "unit",
      "integration",
      "real_service_e2e"
    ],
    "evidence_level": "[选择其一 / Choose one: not_tested | unit | integration | real_service_e2e]",
    "evidence_level_descriptions": {
      "zh": "not_tested: 尚未测试；unit: 单测桩验证；integration: 沙箱集成测试；real_service_e2e: 真实服务环境端到端验证",
      "en": "not_tested: Untested; unit: Unit test stub; integration: Sandbox integration test; real_service_e2e: Real service end-to-end"
    },
    "scope": "",
    "scope_guidance": {
      "zh": "填写本次评测具体覆盖范围；一次验证不代表整体集合效果。",
      "en": "Fill in the specific evaluation scope covered by this test; one check does not represent the whole collection."
    },
    "not_covered": "",
    "not_covered_guidance": {
      "zh": "填写未覆盖的安全边界或业务场景；不要把未测范围写成已验证。",
      "en": "Fill in uncovered safety boundaries or scenarios; do not present untested scope as verified."
    },
    "evidence_reference_or_summary": "[待填写评测证据引用、测试日志摘要或证据文件哈希 / Fill in evaluation evidence reference, test log summary, or artifact hash]"
  },
  "redacted_sample": {
    "description": {
      "zh": "脱敏示例结构说明（简要描述输入、上下文与预期判断） / Redacted sample structure description",
      "en": "Description of redacted sample structure (briefly outline input, context, and expected judgment)"
    },
    "sample_structure": {
      "_annotation": "[仅说明材料形态，非原始Seed/真实答案/可运行攻击 / Sample structure only · Not raw seed · Not real answer · Not runnable attack]",
      "input_role": "user",
      "untrusted_content_placeholder": "[敏感非可信指令已省略 / Sensitive untrusted directive omitted]",
      "action_trigger_placeholder": "[操作参数已省略 / Action parameters omitted]",
      "expected_defense_pattern": "REFUSE_OR_INTERCEPT"
    }
  },
  "loading_adapter_guidance": {
    "prerequisites": {
      "zh": "[待填写接入评测所需的本地运行环境与沙箱依赖说明 / Specify local execution environment and sandbox prerequisites for evaluation]",
      "en": "[Specify local execution environment and sandbox prerequisites for evaluation / 待填写本地运行环境与沙箱依赖说明]"
    },
    "step_by_step_summary": {
      "zh": [
        "步骤1: 获取本地获准材料",
        "步骤2: 核对许可与版本哈希",
        "步骤3: 格式转换与字段结构映射",
        "步骤4: 接入评测沙箱拦截点与测试执行"
      ],
      "en": [
        "Step 1: Obtain local authorized materials",
        "Step 2: Verify license and version digest",
        "Step 3: Map format and extract fields",
        "Step 4: Connect to sandbox inspection points and run evaluation"
      ]
    },
    "adapter_skeleton_pseudocode": "# 格式映射示意，不是本站或上游API，不可直接运行 / Mapping format illustration only; not an API of this site or upstream; cannot be executed directly.\n# 伪代码适配器骨架：需按实际获准格式改写；非本站 API、非可直接运行代码 / Adapter pseudocode skeleton: adapt to actual authorized format; not runnable code.\n# MAPPING_SPEC = {\"<MAP_TO_INPUT>\": record[\"<YOUR_FIELD>\"]}"
  },
  "contributor_optional": {
    "contributor_handle": "[可选贡献者代号或公开主页 / Optional contributor handle or public profile]",
    "organization": "[可选组织名称 / Optional organization name]"
  }
}

提交后审核生命周期（折叠查看）

六阶段审核流程

元数据预检

提交来源、版本、许可依据、风险分类、敏感级别和用途。

隔离区流转

新内容默认 blocked_candidate、internal、download=false。

自动校验

检查 schema、摘要、去重、谱系、family isolation 和正文泄漏。

安全与 Curation 审查

安全专家、数据审核人及许可负责人分别独立签署。

真实效果基准校准

在独立、可复位的授权评测沙箱中校准对抗防御与业务可用性。

社区公开元数据发布

只有全部门禁通过后，才生成社区公开投影。

最低提交信息要求

来源项目、不可变版本和公开许可证依据链接。
许可名称、证据链接和允许的使用模式（禁止侵权内容）。
风险分类、敏感级别与拟定用途层说明。
真实脱敏样例及结构化加载适配指引。
效果必须标为 unmeasured，直到真实授权评测完成。