---

name: seo-technical description: "审计技术 SEO，涵盖可抓取性、可索引性、安全性、URL、移动端、Core Web Vitals、结构化数据、JavaScript 渲染以及 robots.txt 和 AI 爬虫访问等相关平台信号。" risk: unknown source: "https://github.com/AgriciDaniel/claude-seo" date_added: "2026-03-21" user-invokable: true argument-hint: "[url]" allowed-tools:

• Read
• Grep
• Glob
• Bash
• WebFetch

---

技术 SEO 审计

何时使用

• 当用户需要针对可抓取性、可索引性、性能或渲染的技术 SEO 审查时使用。
• 当审计 robots.txt、规范化、JavaScript SEO、Core Web Vitals 或 AI 爬虫访问时使用。
• 当任务是基础设施和实现导向而非内容导向时使用。

类别

1. 可抓取性

• robots.txt：存在、有效、未阻止重要资源
• XML 站点地图：存在、在 robots.txt 中引用、格式有效
• Noindex 标签：有意 vs 意外
• 抓取深度：重要页面在首页 3 次点击内
• JavaScript 渲染：检查关键内容是否需要 JS 执行
• 抓取预算：对于大型站点（>10k 页面），效率很重要

AI 爬虫管理

截至 2025-2026 年，AI 公司积极抓取网络以训练模型和驱动 AI 搜索。通过 robots.txt 管理这些爬虫是关键的技术 SEO 考量。

已知 AI 爬虫：

| 爬虫 | 公司 | robots.txt 标识 | 用途 | |------|------|----------------|------| | GPTBot | OpenAI | GPTBot | 模型训练 | | ChatGPT-User | OpenAI | ChatGPT-User | 实时浏览 | | ClaudeBot | Anthropic | ClaudeBot | 模型训练 | | PerplexityBot | Perplexity | PerplexityBot | 搜索索引 + 训练 | | Bytespider | ByteDance | Bytespider | 模型训练 | | Google-Extended | Google | Google-Extended | Gemini 训练（非搜索） | | CCBot | Common Crawl | CCBot | 开放数据集 |

关键区别：

• 阻止 Google-Extended 可防止 Gemini 训练使用，但不影响 Google 搜索索引或 AI 概览（这些使用 Googlebot）
• 阻止 GPTBot 可防止 OpenAI 训练，但不阻止 ChatGPT 通过浏览引用你的内容（ChatGPT-User）
• 约 3-5% 的网站现在使用 AI 特定的 robots.txt 规则

示例，选择性 AI 爬虫阻止：

# Allow search indexing, block AI training crawlers
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

# Allow all other crawlers (including Googlebot for search)
User-agent: *
Allow: /

建议： 在阻止之前考虑你的 AI 可见性策略。被 AI 系统引用可以提升品牌知名度和引荐流量。交叉参考 seo-geo 技能了解完整的 AI 可见性优化。

2. 可索引性

• 规范标签：自引用、与 noindex 无冲突
• 重复内容：近似重复、参数 URL、www vs 非 www
• 薄内容：低于每种类型最低字数的页面
• 分页：rel=next/prev 或加载更多模式
• Hreflang：多语言/多地区站点正确配置
• 索引膨胀：不必要的页面消耗抓取预算

3. 安全性

• HTTPS：强制执行、有效 SSL 证书、无混合内容
• 安全头：
  • Content-Security-Policy (CSP)
  • Strict-Transport-Security (HSTS)
  • X-Frame-Options
  • X-Content-Type-Options
  • Referrer-Policy
• HSTS 预加载：检查高安全性站点的预加载列表包含情况

4. URL 结构

• 干净 URL：描述性、连字符分隔、内容无查询参数
• 层级：反映站点架构的逻辑文件夹结构
• 重定向：无链式（最多 1 跳）、永久移动使用 301
• URL 长度：标记 >100 字符
• 尾部斜杠：使用一致

5. 移动端优化

• 响应式设计：viewport meta 标签、响应式 CSS
• 触摸目标：最小 48x48px，间距 8px
• 字体大小：最小 16px 基础
• 无水平滚动
• 移动优先索引：Google 索引移动版本。移动优先索引已于 2024 年 7 月 5 日 100% 完成。 Google 现在完全使用移动 Googlebot 用户代理抓取和索引所有网站。

6. Core Web Vitals

• LCP（最大内容绘制）：目标 <2.5s
• INP（交互到下一次绘制）：目标 <200ms
  • INP 于 2024 年 3 月 12 日取代 FID。FID 已于 2024 年 9 月 9 日从所有 Chrome 工具中完全移除。不要在任何地方引用 FID。
• CLS（累积布局偏移）：目标 <0.1
• 评估使用真实用户数据的第 75 百分位
• 如有 MCP 可用，使用 PageSpeed Insights API 或 CrUX 数据

7. 结构化数据

• 检测：JSON-LD（首选）、Microdata、RDFa
• 针对 Google 支持的类型进行验证
• 详见 seo-schema 技能进行完整分析

8. JavaScript 渲染

• 检查内容在初始 HTML 中是否可见 vs 需要 JS
• 识别客户端渲染（CSR）vs 服务端渲染（SSR）
• 标记 SPA 框架