这个阶段很简单；但许多重新设计正是在这一点上出错的.
如果您正在测试站点，那么您最不希望在到的就是 Google等。 对其进行索引。 如果您添加了精彩的新内容,它将被编入索引.然后، 当您启动新网站时،新内容将没有任何价值،因为它会被复制.
如何禁止索引你的测试网站
开发人员可以通过两种方式使网站不被索引.
1 – 在您网站的 CMS 中勾选 noindex 框。例如,如果您有WordPress
这会在每个页面的 <head> 中添加以下代码:
2 – 您的第二个选择是在 Robots.txt 文件 WhatsApp 数据 中阻止该网站。这有点棘手；因此都有一个勾选选项.
如果您的 CMS 不允许这样做，您可以在 Robots.txt 文件中输入以下内容：
用户代理：*
不允许：/
没有 CMS？如果您有权通过实现 noindex.
步骤 5 – 爬取测试站点
我为什么要抓取测试站点؟
您还需要了解测试站点的结构。使用站点爬虫重新爬取测试站点，看看它与当前站点相比有何不同。
如何做
- 打开当前站点的第一个抓取内容并进行复制。单击“另存为”并将文件命名为“当前站点抓取以供编辑”.这是您的可编辑副本.
- 抓取测试站点。导出测试站点抓取 大小事物 – 合并卡 并将其保存为“测试站点抓取”。复制一份并将其命名为“测试站点抓取以供编辑”— 从现在开始我们要使用它。
- 采用新创建的旧站点抓取（来自步骤 1，现有站点抓取以进行编辑）并在 Excel 中找并替换所有 URL 将您的域名“example.com”替换为您的测试服务器的域名“test.example.com”۔
- 选择所有 URL 并将其复制到txt 文件（使用 Notepad++ 或类似程序）。将其保存为“尖叫青蛙的测试爬行” 。此时，您必须拥有以下文件：
- 当前网站抓取 （xls）
- 当前站点抓取以供编辑（xls）
- 测试站点抓取 （xls）
- 测试站点抓取以供编辑 （xls）
- 测试 Screaming Frog 的爬取功能 (txt)
- 在 Screaming Frog 中，在菜 电报号码 单栏中找到该模式，然后选择列表。系统会稍微改变一下，你将能够向爬虫上传一个.txt文件.
- 找到您更改的 URL 的txt 文件（Screaming Frog 的测试抓取）并将其弹出到 Screaming Frog 中。点击“开始” 。
- 如果您正确遵循了该步骤，您最终将抓取所有 URL。如果没有，请返回并确保您没有遗漏任何内容。您必须允许爬虫抓取被阻止/未编入索引的 URL 。只需单击“配置”和“蜘蛛”。然后，