
关于
审计技术 SEO,涵盖可爬取性、可索引性、安全性、URL、移动端、Core Web Vitals、结构化数据等方面。
name: seo-technical description: "审计技术 SEO,涵盖可抓取性、可索引性、安全性、URL、移动端、Core Web Vitals、结构化数据、JavaScript 渲染以及 robots.txt 和 AI 爬虫访问等相关平台信号。" risk: unknown source: "https://github.com/AgriciDaniel/claude-seo" date_added: "2026-03-21" user-invokable: true argument-hint: "[url]" allowed-tools:
- Read
- Grep
- Glob
- Bash
- WebFetch
技术 SEO 审计
何时使用
- 当用户需要针对可抓取性、可索引性、性能或渲染的技术 SEO 审查时使用。
- 当审计 robots.txt、规范化、JavaScript SEO、Core Web Vitals 或 AI 爬虫访问时使用。
- 当任务是基础设施和实现导向而非内容导向时使用。
类别
1. 可抓取性
- robots.txt:存在、有效、未阻止重要资源
- XML 站点地图:存在、在 robots.txt 中引用、格式有效
- Noindex 标签:有意 vs 意外
- 抓取深度:重要页面在首页 3 次点击内
- JavaScript 渲染:检查关键内容是否需要 JS 执行
- 抓取预算:对于大型站点(>10k 页面),效率很重要
AI 爬虫管理
截至 2025-2026 年,AI 公司积极抓取网络以训练模型和驱动 AI 搜索。通过 robots.txt 管理这些爬虫是关键的技术 SEO 考量。
已知 AI 爬虫:
| 爬虫 | 公司 | robots.txt 标识 | 用途 |
|------|------|----------------|------|
| GPTBot | OpenAI | GPTBot | 模型训练 |
| ChatGPT-User | OpenAI | ChatGPT-User | 实时浏览 |
| ClaudeBot | Anthropic | ClaudeBot | 模型训练 |
| PerplexityBot | Perplexity | PerplexityBot | 搜索索引 + 训练 |
| Bytespider | ByteDance | Bytespider | 模型训练 |
| Google-Extended | Google | Google-Extended | Gemini 训练(非搜索) |
| CCBot | Common Crawl | CCBot | 开放数据集 |
关键区别:
- 阻止
Google-Extended可防止 Gemini 训练使用,但不影响 Google 搜索索引或 AI 概览(这些使用Googlebot) - 阻止
GPTBot可防止 OpenAI 训练,但不阻止 ChatGPT 通过浏览引用你的内容(ChatGPT-User) - 约 3-5% 的网站现在使用 AI 特定的 robots.txt 规则
示例,选择性 AI 爬虫阻止:
# Allow search indexing, block AI training crawlers
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Bytespider
Disallow: /
# Allow all other crawlers (including Googlebot for search)
User-agent: *
Allow: /
建议: 在阻止之前考虑你的 AI 可见性策略。被 AI 系统引用可以提升品牌知名度和引荐流量。交叉参考 seo-geo 技能了解完整的 AI 可见性优化。
2. 可索引性
- 规范标签:自引用、与 noindex 无冲突
- 重复内容:近似重复、参数 URL、www vs 非 www
- 薄内容:低于每种类型最低字数的页面
- 分页:rel=next/prev 或加载更多模式
- Hreflang:多语言/多地区站点正确配置
- 索引膨胀:不必要的页面消耗抓取预算
3. 安全性
- HTTPS:强制执行、有效 SSL 证书、无混合内容
- 安全头:
- Content-Security-Policy (CSP)
- Strict-Transport-Security (HSTS)
- X-Frame-Options
- X-Content-Type-Options
- Referrer-Policy
- HSTS 预加载:检查高安全性站点的预加载列表包含情况
4. URL 结构
- 干净 URL:描述性、连字符分隔、内容无查询参数
- 层级:反映站点架构的逻辑文件夹结构
- 重定向:无链式(最多 1 跳)、永久移动使用 301
- URL 长度:标记 >100 字符
- 尾部斜杠:使用一致
5. 移动端优化
- 响应式设计:viewport meta 标签、响应式 CSS
- 触摸目标:最小 48x48px,间距 8px
- 字体大小:最小 16px 基础
- 无水平滚动
- 移动优先索引:Google 索引移动版本。移动优先索引已于 2024 年 7 月 5 日 100% 完成。 Google 现在完全使用移动 Googlebot 用户代理抓取和索引所有网站。
6. Core Web Vitals
- LCP(最大内容绘制):目标 <2.5s
- INP(交互到下一次绘制):目标 <200ms
- INP 于 2024 年 3 月 12 日取代 FID。FID 已于 2024 年 9 月 9 日从所有 Chrome 工具中完全移除。不要在任何地方引用 FID。
- CLS(累积布局偏移):目标 <0.1
- 评估使用真实用户数据的第 75 百分位
- 如有 MCP 可用,使用 PageSpeed Insights API 或 CrUX 数据
7. 结构化数据
- 检测:JSON-LD(首选)、Microdata、RDFa
- 针对 Google 支持的类型进行验证
- 详见 seo-schema 技能进行完整分析
8. JavaScript 渲染
- 检查内容在初始 HTML 中是否可见 vs 需要 JS
- 识别客户端渲染(CSR)vs 服务端渲染(SSR)
- 标记 SPA 框架