SEO哪个更合适：Meta Robots标签与Robots.txt

机器人元标记或元标记是向搜索引擎提供有关如何对SEO哪个更好：元机器人标签与robots.txt？网页和内容进行爬网或编制索引的指令的代码。机器人元指令有以下三种类型：

• Robots.txt：如果内容的抓取导致服务器出现问题，请使用robots.txt。不要使用robots.txt阻止私人内容。
• 机械手元标记：如果需要控制如何在SERP上显示单个HTML页面，请使用机械手元标记。
• X-Robots-Tag HTTP标头：如果需要控制如何在SERP上显示非HTML内容，请使用x-robots标签HTTP标头。

将深入研究前两种类型的元标记（robots.txt和robots元标记）之间的区别，以确定哪种更适合SEO：元机器人标记与robots.txt。这是您需要知道的。

什么是机器人元标记？

如上所述，漫游器元标记是网页HTML代码的一部分，显示为页面部分中的代码元素。SEO市场营销人员最常使用这些标签来提供网站特定区域的抓取说明。

如果您要为不同的抓取工具使用漫游器元标记，则需要为每个漫游器创建单独的标记。

什么是SEO的Robots.txt文件？

根据Search Console帮助，“ robots.txt文件会告诉搜索引擎抓取工具，该抓取工具可以或不能从您的网站请求哪些页面或文件。这主要是为了避免您的网站因请求而过载；这不是将网页拒之门外的机制。”

确保SEO的robots.txt文件配置正确，这一点很重要，尤其是在更新或迁移您的网站之后，因为它们会阻止抓取工具访问您的网站。如果抓取工具无法访问您的网站，则您的网站将不会在SERP上排名。

SEO的Robots.txt文件如何工作？

为了更好地了解用于SEO的robots.txt文件的工作方式，重要的是要了解搜索引擎的两个主要功能：抓取网络以发现内容，并将该内容编入索引，以便可以将其包含在SERP中，以使搜索者可以轻松找到。搜索引擎爬网程序将查找robots.txt文件，以获取有关如何对整个网站进行爬网的说明。

虽然Robots.txt文件是改善SEO的必要组成部分，但它们确实有一些局限性：

• 并非所有搜索引擎都支持SEO的Robots.txt文件。尽管robots.txt文件为搜索引擎抓取工具提供了说明，但最终由抓取工具来遵循这些说明。
• 搜索引擎搜寻器对语法的解释不同。虽然受人尊敬的搜索引擎爬网程序将遵循robots.txt文件中设置的参数，但每个爬网程序可能会以不同的方式解释这些参数，或者根本不理解这些参数。
• 如果页面是从另一个站点链接的，则该页面仍可被索引。虽然Google不会抓取或索引被robots.txt文件阻止的内容，但该内容可能会与网络上的其他页面链接在一起。在这种情况下，页面的URL和页面上的其他可用信息仍可以显示在SERP上。

Meta Robots标签和SEO Robots.txt 文件的技术语法

构建机器人元标记时使用正确的技术语法非常重要，因为使用错误的语法可能会对您的网站的存在和SERP排名产生负面影响。

元机器人标签：当漫游器在您的网站上找到元标记时，它们会提供有关如何索引网页的说明。以下是一些最常见的索引参数：

• 全部：这是默认的元标记，并且声明对索引和内容没有限制，因此对搜索引擎的工作没有实际影响。
• Noindex：告诉搜索引擎不要索引页面。
• 索引：告诉搜索引擎对页面进行索引-这也是默认的元标记，因此您无需将其添加到网页中。
• 关注：即使该页面未编入索引，这也表明搜索引擎应遵循该页面上的所有链接，并将所有者（或链接权限）传递给链接的页面。
• Nofollow：告诉搜索引擎不要跟随页面上的任何链接或传递任何链接资产。
• Noimageindex：告诉搜索引擎不要索引页面上的任何图像。
• 无：这相当于同时使用noindex和nofollow标记。
• Noarchive：告知搜索引擎不应在SERP上显示指向此页面的缓存链接。
• Nocache：本质上与Noarchive相同，但是只有Internet Explorer和Firefox才使用它。
• Nosnippet：告诉搜索引擎不要在SERP上显示此页面的摘要或元描述。
• Notranslate：告诉搜索引擎不要在SERP中提供此页面的翻译。
• Max-snippet：建立元描述的最大字符分配。
• 最大视频预览数：确定视频预览的持续时间。
• 最大图像预览：确定图像预览的最大尺寸。
• Unavailable_after：告诉搜索引擎在特定日期后不应将该页面编入索引。
• 有关如何使用元机器人标签的示例。

Robots.txt文件

尽管用于SEO的robot.txt文件管理着内容对搜索引擎的可访问性，但要注意的是，它们不提供索引说明，因为这些指令是针对您整个网站的，而不是针对单个网页的。robots.txt指令的五个最常用的术语是：

• 用户代理：这应该始终是robots.txt文件中的第一行，因为它是指应遵循您的指令的特定网络抓取工具。
• 禁止：这是告诉用户代理不要抓取您的网页的命令。每个网址只能包含一个“禁止”行。
• 允许：此指令仅适用于Googlebot-告诉Googlebot即使禁止了其父页面，也可以访问特定的网页。
• 抓取延迟：这指定抓取器在加载和抓取页面内容之前应等待的时间。Googlebot不认可该术语，但是，您可以在Google Search Console中设置网页的抓取速度。
• 站点地图：此术语用于指出与特定URL相关联的任何XML站点地图的位置。该指令仅得到Google，Ask，Bing和Yahoo的认可。
• $：可用于匹配URL的末尾。
• *：可用作通配符，表示任何字符序列。

针对Buzzfeed.com的不允许指令的SEO的robots.txt文件图片。

SEO哪个更好：Meta Robots标签与Robot.txt？

这个问题有点棘手，因为两者对于您网站的SEO都很重要。

由于meta robots标记和SEO robots.txt文件不是真正可互换的，因此您需要同时使用这两者来为网站抓取工具提供正确的参数。Robots.txt文件可指导抓取工具了解整个网站。当元机器人标签进入[网站上]特定页面的实质时。例如，如果您要从Google的SERP中对您的网页之一进行索引编制，最好使用“ Noindex”元机器人标签而不是robots.txt指令。如果您希望阻止网站的整个部分显示在SERP上，则最好使用禁止使用robots.txt文件。