
关于
在 Hugging Face Jobs 上运行工作负载,支持托管 CPU、GPU、TPU、密钥和 Hub 持久化。
source: "https://github.com/huggingface/skills/tree/main/skills/huggingface-jobs" name: hugging-face-jobs description: 在 Hugging Face Jobs 上运行工作负载,支持托管 CPU、GPU、TPU、密钥管理和 Hub 持久化。 license: 完整条款见 LICENSE.txt risk: unknown
在 Hugging Face Jobs 上运行工作负载
概述
在完全托管的 Hugging Face 基础设施上运行任何工作负载。无需本地设置——作业在云端 CPU、GPU 或 TPU 上运行,并可将结果持久化到 Hugging Face Hub。
常见用例:
- 数据处理 - 转换、过滤或分析大型数据集
- 批量推理 - 对数千个样本运行推理
- 实验与基准测试 - 可复现的 ML 实验
- 模型训练 - 微调模型(TRL 特定训练请参见 model-trainer 技能)
- 合成数据生成 - 使用 LLM 生成数据集
- 开发与测试 - 无需本地 GPU 即可测试代码
- 定时作业 - 自动化重复任务
专门用于模型训练: 请参见 model-trainer 技能了解基于 TRL 的训练工作流。
何时使用此技能
当用户需要以下操作时使用此技能:
- 在云基础设施上运行 Python 工作负载
- 无需本地 GPU/TPU 即可执行作业
- 大规模处理数据
- 运行批量推理或实验
- 安排定时任务
- 使用 GPU/TPU 运行任何工作负载
- 将结果持久化到 Hugging Face Hub
关键指令
协助处理作业时:
-
始终使用 hf_jobs() MCP 工具 - 使用 hf_jobs("uv", {...}) 或 hf_jobs("run", {...}) 提交作业。script 参数直接接受 Python 代码。除非用户明确要求,否则不要保存到本地文件。将脚本内容作为字符串传递给 hf_jobs()。
-
始终处理身份验证 - 与 Hub 交互的作业需要通过 secrets 提供 HF_TOKEN。请参见下方的 Token 使用部分。
-
提交后提供作业详情 - 提交后,提供作业 ID、监控 URL、预估时间,并告知用户可以稍后请求状态检查。
-
设置适当的超时时间 - 默认 30 分钟可能不足以完成长时间运行的任务。
前置条件检查清单
开始任何作业前,请验证:
账户与身份验证
- 拥有 Pro、Team 或 Enterprise 计划的 Hugging Face 账户(Jobs 需要付费计划)
- 已认证登录:使用 hf_whoami() 检查
- Hub 访问需要 HF_TOKEN - 任何 Hub 操作(推送模型/数据集、下载私有仓库等)都需要
- Token 必须具有适当权限(下载需要 read,上传需要 write)
Token 使用(详见 Token 使用部分)
何时需要 Token:
- 推送模型/数据集到 Hub
- 访问私有仓库
- 在脚本中使用 Hub API
- 任何需要认证的 Hub 操作
如何提供 Token:
# hf_jobs MCP tool — $HF_TOKEN is auto-replaced with real token:
{"secrets": {"HF_TOKEN": "$HF_TOKEN"}}
# HfApi().run_uv_job() — MUST pass actual token:
from huggingface_hub import get_token
secrets={"HF_TOKEN": get_token()}
注意: $HF_TOKEN 占位符仅由 hf_jobs MCP 工具自动替换。使用 HfApi().run_uv_job() 时,必须通过 get_token() 传递真实 token。传递字面字符串 "$HF_TOKEN" 会导致 9 字符的无效 token 和 401 错误。
Token 使用指南
理解 Token
什么是 HF Token?
- Hugging Face Hub 的身份验证凭据
- 认证操作(推送、私有仓库、API 访问)所必需
- 执行 hf auth login 后安全存储在本地
Token 类型:
- Read Token - 可下载模型/数据集,读取私有仓库
- Write Token - 可推送模型/数据集,创建仓库,修改内容
- Organization Token - 可代表组织执行操作
何时需要 Token
始终需要:
- 推送模型/数据集到 Hub
- 访问私有仓库
- 创建新仓库
- 修改现有仓库
- 以编程方式使用 Hub API
不需要:
- 下载公开模型/数据集
- 运行不与 Hub 交互的作业
- 读取公开仓库信息
如何向作业提供 Token
方法 1:自动 Token(推荐)
hf_jobs("uv", {
"script": "your_script.py",
"secrets": {"HF_TOKEN": "$HF_TOKEN"} # Automatic replacement
})
工作原理:
- $HF_TOKEN 是一个占位符,会被替换为你的实际 token
- 使用你已登录会话的 token(hf auth login)
- 最安全便捷的方法
- Token 作为 secret 传递时在服务端加密
优势:
- 代码中不暴露 token
- 使用当前登录会话
- 重新登录后自动更新
- 与 MCP 工具无缝配合
方法 2:显式 Token(不推荐)
hf_jobs("uv", {
"script": "your_script.py",
"secrets": {"HF_TOKEN": "hf_abc..."} # Not recommended - token in code
})
兼容工具
Claude CodeCursor
标签
AI与机器学习