我认为，把搜索引擎优化(SEO)中最常发生的一些问题归纳整理出来，提供给那些想在搜索结果中取得较高排名的人作为参考，是完全有必要的。我在下面列出了搜索引擎优化中最常见的5个误区以及相应的解决方案，这也是网站设计者最易犯的几个主要错误，正所谓“差之毫厘，谬以千里”。
误区之一：泛滥的关键字
问题分析：
在对主页做优化时，恨不能涵盖所有可能的关键词。我们经常能看到主页标题由大量关键字堆砌而成的网站。这些网站的设计者显然是想在主页中把所有的关键词都优化进去。他们恐怕不知道，这样做反会适得其反。打个比方，假设一个网站其主页的标题标签中包含12个以上的关键词。让我们来看看其结果是怎样的——最常发生的就是这12个关键词中没有一个能够在搜索结果中获得比较高的排名。为什么呢？原因很简单，就是因为没有一个关键词能够满足较高排名所要求的关键词密度或重复次数。尤其对那些比较热门的关键词来说，要想在激烈的竞争中获得比较好的排名，往往对关键词密度(重复出现的频率)有更高的要求。那些只是简单地罗列大量关键词，以求改善排名的网站设计者只会使事情变的更糟。从搜索引擎优化的角度来看，关键词少而精反会达到事半功倍的效果。
解决方案：
对主页的优化应限定于最多三个重要关键词。如果你的关键词太热门，为了提高竞争力你最多只能围绕一到两个关键词进行优化了。在主页、标题、META标签中应围绕最多三个最重要的关键词进行优化。象ABAKUS公司的网站主页(索引页)，就是围绕Internet Marketing Web promotion和search engine optimization这三个关键词/短语进行的优化，收到了很好的效果。
概要：
在主页中应围绕三个最重要的(而且是最恰当的)关键词进行优化，而且记住关键词最好不要超过3个。如果关键词属于非常热门的领域，那你最多只能围绕一到两个关键词进行优化。不过如果你的生意确实属于那种“瞄准机会的市场范畴”那么你也可以选择不超过4到5个关键词进行优化。要确保你的网页标题的长度最多不超过7个词(30到40个字母之间)。在网页正文中应保证至少对关键词重复三次以上。别忘了每个页面对搜索引擎来说都是一个潜在的“桥页”。所以对于其它的关键词你完全可以在别的页面中分别做相应的优化，千万不要都挤到主页中去优化，因为那样不会达到预期的效果。
误区之二：头(header)域中内容的简单复制
问题分析：
这是网站设计中由于人的自然惰性而最容易出现的问题。最常见的就是当一个网站设计者在Dreamweaver或whatever中用“另存”来创建一个新内容的网页时，往往容易忽略对新页面中一同复制过来的旧头域 我想这样的网站大家都有见过，而且还不少。这些网站中每一页的标题和Meta签(meta tag)都是完全相同的，只有肉眼可以看见的内容不同而已。而且，如果你稍微留意一下就会发现很多这样的网站。其每一页的网页标题都是诸如“我的网站. com”一类的毫无意义的内容。真是对标题的浪费，实在是可惜。搜索引擎业界的龙头老大Google一向特别关注标题标签中出现的关键字。而且事实上，对一个网站来说，不可能其每页内容和主题都相同。所以完全可以根据不同关键词分别进行优化，以提高在知名搜索引擎中的搜索结果排名。
解决方案：
在设计一个网站时，最好遵循一种设计风格。我一般都是先用模板做好网页内容，但在最后一定要确定每个网页的内容和后台代码都做了相应的优化。所以在我的整个网站上，你都不会找到标题标签相同的页面，而且每一页的描述标签也都是不同的。切记这一点：一个网站的每个页面都是一个进站页(Entry Page：也叫桥页)，所以对每个页面都应该力求做最好的优化。
概要：
在网站的内部页面中，避免出现重复标题标签和描述标签的页面，要重视每一页并进行全面的优化。同时不要忽略对头域中标签的优化工作。
误区之三：不必要的帧结构(FRAMESETS)
问题分析：
框架(帧)结构的网站设计在整体性及网站维护上比较有优势，然而这种设计对网站设计者来说未必就是必须的。而且由于很少能有网站设计者晓得如何对框架结构的网页做正确的优化，导致了这种网站的排名一般都相当的低。要想验证我的这个观点，你只要在Google中用”browser does not support frames”这句话进行搜索，看一下搜索结果就知道了。我们可以发现有六十多万个搜索结果。坦白的说，这六十多万个使用Frame的网站都需要做正确的搜索引擎优化。它们目前的优化实在是糟糕。这样的网站无论在任何搜索引擎上很少有排名进入前十名的。不过，倘若在Noframe标签中只放这么一句话： “您的浏览器不支持框架/browser does not support frames”，如果是想要别人无法在搜索引擎上找到你，这倒不失为一个好办法。
解决方案：
你可以把Noframe标签看做是一个普通文本内容的主页。其优化与普通网页类似，但有一点非常重要，在你的区域中须包含指向你的FRAME网页的链接。
另外，如果定位在框架结构中的一个内部页面却被用户调用到一个单独的窗口打开，那么框架结构就失去了它优势的导航作用。这显然悖离了框架设计的本来意图。为了让用户只能通过整个Frame来浏览你的页面，我们可以考虑用JAVASCRIPT程序(脚本)来保护和控制Frame。只要用下面的语句代替 HTML中原有的即可，同时将frameset.html指向你的FRAMESET文件。绝大多数浏览器都能够支持。
＜body onload="if (parent.frames.length==0) top.location=http://www.yoursite.com/frameset.html;"＞
此外，运用CSS层定位，Iframe(内联框架：Inline frame)，或其它方法一样可以达到框架结构的效果。不过除非你必须要使用帧结构，一般我们还是不提倡这种结构设计的。更多框架结构的优化方法请参看“框架型网页的优化技巧”。
概要：
如果你非用框架结构不可，须确保正确的优化。正确使用NOFRAME标签并在区域中包含指向FRAME网页的链接。使用JAVASCRIPT程序(脚本)来控制和保护你的帧页。
误区之四：纯图象(SPLASH PAGE)及FLASH风格的网站设计
问题分析：
我经常能看到这样一些网站，它们确实也包含了大量对我们这些真实的访问者而言可见的文本内容。但由于这些文字被做成了图形而非真正的文字，所以虽然页面做的极为养眼，但对搜索引擎而言，它们是无法读取图象的。所以这样的网站反而得不到好的页面等级和期望的访问量。这样的问题主要发生在一些成人站点以及那些面向青少年市场的网站。这些网站认为，大量的图形能够让网站更加具有吸引力，从而有效刺激访问者的购买欲望。(如网上便利店、游戏平台网站、游戏软件站点等。)
当然了，最糟糕的还应当首推那些纯FLASH或大量使用FLASH的网站。譬如有一个主页是用FLASH做的网站，其后台代码为：
＜html＞
＜head＞
＜title＞My flash home page＜/title＞
＜/head＞
＜body bgcolor="#000033"＞
＜object classid="clsid27CDB6E-AB6D-11cf-96B8-444553540000" codebase="http://download.macromedia.com/pub/shockwave/cabs/flash/swflash.cab..." width="100%" height="100%"＞
＜param name="movie" value="flash.swf"＞
＜param name="quality" value="high"＞
＜param name="SCALE" value="exactfit"＞
＜embed src="flash.swf" quality="high" pluginspage="http://www.macromedia.com/shockwave/download/index.cgi? P1_Prod_Version=ShockwaveFlash" type="application/x-shockwave-flash" width="100%" height="100%" scale="exactfit"＞＜/embed＞
＜/object＞
＜/body＞
＜/html＞
从上面大家可以发现，对搜索引擎来说，其搜索程序无论是在该FLASH网页中还是后台的HTML代码中，都得不到它们想要的纯文本内容，自然对这个网页不感兴趣了，又怎么能够期望得到好的页面等级呢？绝大部分搜索引擎都不支持FLASH中的内嵌链接。据我所知，到目前为止只有Google(现在 Fast/AllTheWeb估计也能支持)能够解读FLASH图象中的内嵌链接。
解决方案：
对使用了SPLASH的网站来说，应尽可能多使用一些普通文本。其实现在只需要一点CSS字体格式方面的知识，同样可以使文本和文本链接的网页看起来非常棒。你压根没必要为了增加文字效果而把它们都做成图形，或者至少不要让你的网页全都是图形文字。你要保证搜索引擎能够在你的网站上能够解读一些东西才行。这一点对FLASH网页也适用，并不是什么内容都非得做成FLASH，你完全可以在一个FLASH对象周围使用一些普通的文本内容，这样做只会有利而无害。
概要：
对于那些没有提供或只提供了一丁点普通文本内容的网页，除非你能提供大量外部链接，否则就别指望能获得比较高的排名。图形和普通文字并用才是最佳设计手段。没有文本内容就等于没有排名，其实就这么简单。
误区之五：未经考察的关键字选取
问题分析：
遗憾的是，实际上只有很少的网站设计者能够不厌其烦于使用任何一种关键词分析工具软件。关键词分析工具软件并不多，而且其中的大多数(有大约4到5个) 都是免费向用户提供的，如Overture搜索引擎免费提供的关键词分析工具。但有很多网站设计者都认为没必要使用这种分析工具，因为他们认为自己很清楚网站的内容。所以无需再去借助那些关键词分析软件来寻求最佳关键词。这种想法其实大错特错！另一个极其错误的想法就是把搜索词(关键词)定义的要么太狭隘或者太冷僻，几乎没有人会想到用这个词来搜索。要么就反其道而行之，将搜索词定义的太宽泛太具竞争力。试想，对于一个新网站，仅有有限的外部链接数，怎么能够期望它能够从几百万个搜索结果中脱颖而出？这两个都是最常见的错误，它们都会影响你对页面和页面外元素的优化结果。譬如对于你网页上的外部链接，倘若你使用的是包含错误关键词的链接文字，那你所有的辛苦工作都只是在做无用功。对于搜索频率非常低的关键词的优化也只能得到寥寥无几的访问量。而如果选择的是一些极具竞争力的关键词，要想在其上百万的搜索结果页中占有一席之地，没有丰富的优化经验和较高的页面等级，那你也只能望搜索结果之“洋”而兴叹了。
解决方案：
注意不要使用单字做关键词，两到三个字长度的短语(我们称其为“关键短语”)为最佳。选取恰当关键短语的平衡点在于要确保所选关键词兼具良好竞争力和合理的搜索结果数量：既要保证该关键词有相当数量的搜索频率，又要保证它不会产生上百万搜索结果页。
概要：
花些时间对你的关键词进行深入的分析，你可以借助网上所提供的许多免费工具来进行关键词分析，以期待成功选取适合的关键词，要避免任何轻率和想当然的态度。
2007年3月10日星期六
2007年3月9日星期五
Google排名不是简单的网页优化
很多朋友一谈到GOOGLE排名，总以为它是单一的网页标签优化处理，其实，这种观点是错误的。 GOOGLE排名服务，要做的有以下几步工作.............
第一步：网站诊断，包括： 网站结构诊断：看其是否适合搜索引擎习惯； 网站页面诊断：看其是否布局合理，处理得当； 网站文件名诊断：看其是否用了不合理的文件名； 网站营销基础诊断：看其目前所用的网络推广方面是否合理。
第二步：网站基础流量分析： 流量统计系统安装 流量来路分析， 地区分布分析。
第三步：网站优化处理： 网站结构优化：让网站结构合理化，以适合搜索引擎习惯 网站页面优化：关键词布局，图文处理等。网站连接优化：让网站整体的连接系统化，一方面有助于搜索引擎搜索，一方面结合用户习惯，引导用户来看网站的内容，以促成最后的生意成交。网站标签优化：网站标签设计，优化。
第四步：GOOGLE排名其他策略： 制造流量：GOOGLE排名关键还是流量啊，这个过程中我们会用到许多网络营销方法。制造外部连接：通过友情连接，文章宣传，帖子宣传等等各种方式提高网站外部里连接。 其他… … 网站要想再GOOGLE排名做的好，首先要自身做的好，推广好，才能取得较好的排名。所以对网站进行GOOGLE排名要站在综合营销的角度来考虑，然后去做。这样才能达到效果。 如果想靠单一的标签优化，以及作弊手段达到GOOGLE左侧排名考前的效果，那是十分幼稚可笑的。毕竟，GOOGLE排名还是为了推广网站。那么，网站的综合推广做好了，可以在google取的较好的排名就是情理之中的事了。
第一步：网站诊断，包括： 网站结构诊断：看其是否适合搜索引擎习惯； 网站页面诊断：看其是否布局合理，处理得当； 网站文件名诊断：看其是否用了不合理的文件名； 网站营销基础诊断：看其目前所用的网络推广方面是否合理。
第二步：网站基础流量分析： 流量统计系统安装 流量来路分析， 地区分布分析。
第三步：网站优化处理： 网站结构优化：让网站结构合理化，以适合搜索引擎习惯 网站页面优化：关键词布局，图文处理等。网站连接优化：让网站整体的连接系统化，一方面有助于搜索引擎搜索，一方面结合用户习惯，引导用户来看网站的内容，以促成最后的生意成交。网站标签优化：网站标签设计，优化。
第四步：GOOGLE排名其他策略： 制造流量：GOOGLE排名关键还是流量啊，这个过程中我们会用到许多网络营销方法。制造外部连接：通过友情连接，文章宣传，帖子宣传等等各种方式提高网站外部里连接。 其他… … 网站要想再GOOGLE排名做的好，首先要自身做的好，推广好，才能取得较好的排名。所以对网站进行GOOGLE排名要站在综合营销的角度来考虑，然后去做。这样才能达到效果。 如果想靠单一的标签优化，以及作弊手段达到GOOGLE左侧排名考前的效果，那是十分幼稚可笑的。毕竟，GOOGLE排名还是为了推广网站。那么，网站的综合推广做好了，可以在google取的较好的排名就是情理之中的事了。
2007年3月7日星期三
提高Google排名的三大关键
如今，Google已成长成为具有垄断优势的全球性搜索引擎，算上它为Yahoo和AOL提供的搜索服务，Google目前的全球市场占有率已超过 80%。简单的结论是，如果你的网站在Google上不能获得良好的排名，那么你的网络营销策略就算是失败。
要想针对Google来优化你的网页和进行相应的推广工作，首先得了解Google是以什么规则来评估一个网站对于某个特定关键词的排名值的。当然，除了Google的工程师，没有谁真正知道这个秘密，但是有关研究表明，影响Google排名的因素主要有如下三个方面：
1. Link Popularity
国内有人译作“链接广泛度”，是Google用来评判一个网站的价值的主要手段。我们都知道Google 工具条上有一个绿色的PageRank标尺，就是用来指示网站的链接广泛度的。 PageRank值从0到10。这里的链接包括网站内部链接、连出链接和连入链接，其中最重要的是连入链接。Google通过统计这些链接的质量和数量来给网站确定PageRank值，值越高排名也就越高。因此网站建好后你需要投入大量的时间和精力来获得大量的外部链接，特别是来自PageRank值比较高的网站的链接。
一般说来，如果一个网站的PageRank值是4到6的话，说明这个网站已经获得了不错的访问量；如果到了7以上，说明不管是从网站的质量到知名度都非常优秀了。
2. Page Title
搜索引擎是通过关键词来选择网站的，而网站的标题是搜索引擎寻找关键词的主要目的地－你通过分析Google的搜索结果就可以很清楚地发现这一点。因此，你一定要首先确定你的网站的主关键词（一般可以选定1到5个），然后在将关键词体现到网页的Title中去。记住，Title标签不要超过40个字符。
除了显示在浏览器顶端的Title标签，网页主体里面的文字标题往往也起到很大作用，一个含有主关键词的
格式的标题也能对网页的排名起到很大的作用。这个标题除了
标签外最好是没有任何的定义。不过，现实是大多数人为了页面的美观都不愿意这样做。
3. Keyword Density
关键词除了需要出现在标题里面，还需要在整个网页里面以一定的频率出现。你需要在标题、段落内容、（文字内容的）页头和页尾、Alt标签甚至不显示的
要想针对Google来优化你的网页和进行相应的推广工作，首先得了解Google是以什么规则来评估一个网站对于某个特定关键词的排名值的。当然，除了Google的工程师，没有谁真正知道这个秘密，但是有关研究表明，影响Google排名的因素主要有如下三个方面：
1. Link Popularity
国内有人译作“链接广泛度”，是Google用来评判一个网站的价值的主要手段。我们都知道Google 工具条上有一个绿色的PageRank标尺，就是用来指示网站的链接广泛度的。 PageRank值从0到10。这里的链接包括网站内部链接、连出链接和连入链接，其中最重要的是连入链接。Google通过统计这些链接的质量和数量来给网站确定PageRank值，值越高排名也就越高。因此网站建好后你需要投入大量的时间和精力来获得大量的外部链接，特别是来自PageRank值比较高的网站的链接。
一般说来，如果一个网站的PageRank值是4到6的话，说明这个网站已经获得了不错的访问量；如果到了7以上，说明不管是从网站的质量到知名度都非常优秀了。
2. Page Title
搜索引擎是通过关键词来选择网站的，而网站的标题是搜索引擎寻找关键词的主要目的地－你通过分析Google的搜索结果就可以很清楚地发现这一点。因此，你一定要首先确定你的网站的主关键词（一般可以选定1到5个），然后在将关键词体现到网页的Title中去。记住，Title标签不要超过40个字符。
除了显示在浏览器顶端的Title标签，网页主体里面的文字标题往往也起到很大作用，一个含有主关键词的
格式的标题也能对网页的排名起到很大的作用。这个标题除了
标签外最好是没有任何的定义。不过，现实是大多数人为了页面的美观都不愿意这样做。
3. Keyword Density
关键词除了需要出现在标题里面，还需要在整个网页里面以一定的频率出现。你需要在标题、段落内容、（文字内容的）页头和页尾、Alt标签甚至不显示的
2007年3月6日星期二
搜索引擎优化服务商
SEO 是“搜索引擎优化服务商”的缩写。许多 SEO 为网站所有者提供了诸多有用的服务，包括撰写稿件、为网站结构出谋划策以及帮助查找网站可以提交到的相关目录等。但是，也有少数不道德的 SEO 采用极为过分的市场营销手段，并试图暗箱操纵搜索引擎结果，从而损害了这个行业的声誉。
Google 与任何 SEO 都没有关联，也不会为您提供这方面的建议，但我们提供了一些提示，帮助您区分哪些 SEO 可以能改善您的网站，哪些却只能徒使搜索引擎将您从搜索结果中删除。
对突然向您发送电子邮件的 SEO 公司要提高警惕。
令人吃惊的是，我们也收到过这类垃圾邮件：
“尊敬的 Google， 我访问了您的网站，发现大多数主要的搜索引擎和目录都没有将您列入其中...”
不要轻易相信那些涉及搜索引擎的垃圾邮件，它们就像“让脂肪在睡眠中燃烧”的减肥药丸一样可疑。
没有人能担保您在 Google 上排名第一。
如果 SEO 宣称可以确保您名列前茅，或声称与 Google 有特殊关系，可以优先向 Google 提交您的网站，千万不要相信。Google 从来都没有优先提交一说。事实上，向 Google 直接提交网站的唯一方式，便是通过我们的“添加网址”页。您自己便可以办到，而且不需要支付任何费用。
如果一个公司遮遮掩掩，或不明确说明自己的意图，请多加小心。
如果有任何不明白之处，都应当要求对方解释。 如果 SEO 为您制作了一些欺骗性或误导性内容，如桥页或“一次性”域，则您的网站可能会彻底从 Google 索引中删除。归根结底，您要对所雇佣公司的行为负责，因此，您最好弄清楚他们打算采用何种方法来“帮助”您。
不要链接到 SEO。 请远离那些高谈“免费链接站点”的好处，宣传链接流行度方案，或将您的网站提交给成千上万个搜索引擎的 SEO。因为这些做法是徒劳无益的，并不会影响您在各大搜索引擎结果中的排名。至少不会产生您期望的正面影响。
一些 SEO 可能会尝试向您出售直接在浏览器地址栏中输入关键字的功能。
这些方案大都要求用户安装额外的软件，而很少有用户这样做。在评估此类方案时，务必极其小心，不要轻信对方提供的下载所需应用程序的用户人数。
做出明智的选择。
在考虑是否与 SEO 合作时，您应当对该行业做一些调查。Google 自然可以提供此方面的信息。您可能还需要查找报刊上所登载的一些提醒性质的报道，譬如以下这篇有关某个做法激进的 SEO 的文章：http://www.salon.com/tech/feature/2002/07/01/spyware_inc/index.html （英文）。尽管 Google 不会对具体的公司加以评论，但我们确实遇到了一些自称是 SEO 而其行为却违背了合理的商业行为准则的公司。请务必小心。
了解资金去向。 虽然 Google 从未将搜索结果中的较好排名进行出售，但其他一些搜索引擎已在其常规的网络搜索结果中实施了按点击次数或列入结果的次数进行收费。一些 SEO 会承诺使您在搜索引擎中居于靠前的位置，但是却将您放在搜索引擎的广告部分而非搜索结果中。还有少数 SEO 甚至会实时更改他们的报价，制造出他们可以“控制”其他搜索引擎并能够手眼通天、为所欲为的假象。这些伎俩在 Google 是行不通的，因为我们的广告服务已明确标示，并与搜索结果相互独立，但是对于任何 SEO，您都要问清楚哪些费用用于将您永久性地列入搜索结果，哪些费用用于短时间的广告刊登。
与多个 SEO 洽谈，询问其他 SEO 对您正在考察的公司的看法。
他人的推荐是一个良好的开端，但是推荐人的介绍往往并不全面。您应当了解公司的成立时间，雇佣的全职员工数量等信息。如果您感到有压力或怀疑，应顺从您内心的感觉，不要贸然行事，在找到可以信赖的公司之前不要做出任何决定。询问您的 SEO公司是否使用位于以下网址的垃圾邮件投诉表，向 Google 报告所发现的每封垃圾邮件：http://www.google.com/contact/spamreport.html （英文）。 有道德的 SEO 公司会报告违反 Google 垃圾邮件指南的所有欺骗性网站。
确保您受法律保护。
为了您自身的安全，您应当坚持要求无条件全额退款保证。无论什么原因，只要有所不满，或如果 SEO 的行为导致您的域名从搜索引擎索引中删除，不要惧怕要求退款。务必签订包括定价在内的书面合同。合同中还应要求 SEO 遵循每个搜索引擎针对要列入的网站所做出的规定。
--------------------------------------------------------------------------------
网站所有者可能会遇到哪些最常见的欺诈行为？
--------------------------------------------------------------------------------
一个常见的欺骗手段是创建“影子域名”，使用欺骗性的重定向功能，将用户链接到某个网站。这些影子域名通常为那些声称为客户工作的 SEO 所有。但是，如果双方关系恶化，SEO 可能会将该域指向另外一个网站，甚至指向竞争对手的域。此时，客户等于付费开发了一个完全由 SEO 所有的竞争网站。
另外一个不轨的做法是在客户网站的某个位置放置充斥着关键字的“桥页”。SEO 承诺这种方法会增强网页的相关性，从而可以匹配更多的查询。这种观点根本就是错误的，因为单个网页几乎不可能与大量的关键字都相关。但更大的隐患是这些桥页还常常包含指向 SEO 其他客户的隐藏链接。这些桥页会将网站的链接流行度分流到 SEO 及它的其他客户那里，其中可能包含一些提供令人生厌或非法内容的网站。
--------------------------------------------------------------------------------
还需要注意哪些事项？
--------------------------------------------------------------------------------
您可以通过某些迹象来判断是否正在与不道德的 SEO 打交道。下面所列出的只是其中很少的一部分，因此，只要有任何疑虑，您都应当相信您的直觉。 如果 SEO 具有以下行为，一定要想尽办法果断摆脱它：
拥有影子域名
在桥页上放置指向其他客户的链接
出售在地址栏中输入关键字的功能
对实际搜索结果和搜索结果中的广告不加区分
保证排名，但只依靠随意可得的晦涩冗长的关键字词组
使用多个别名或伪造的 WHOIS 信息
从“虚假的”搜索引擎、间谍软件 (spyware) 或变脸软件 (scumware) 获取点击量
自身的域名或者所拥有的域已从 Google 索引中删除，或者在 Google 的索引中没有被列出
Google 与任何 SEO 都没有关联，也不会为您提供这方面的建议，但我们提供了一些提示，帮助您区分哪些 SEO 可以能改善您的网站，哪些却只能徒使搜索引擎将您从搜索结果中删除。
对突然向您发送电子邮件的 SEO 公司要提高警惕。
令人吃惊的是，我们也收到过这类垃圾邮件：
“尊敬的 Google， 我访问了您的网站，发现大多数主要的搜索引擎和目录都没有将您列入其中...”
不要轻易相信那些涉及搜索引擎的垃圾邮件，它们就像“让脂肪在睡眠中燃烧”的减肥药丸一样可疑。
没有人能担保您在 Google 上排名第一。
如果 SEO 宣称可以确保您名列前茅，或声称与 Google 有特殊关系，可以优先向 Google 提交您的网站，千万不要相信。Google 从来都没有优先提交一说。事实上，向 Google 直接提交网站的唯一方式，便是通过我们的“添加网址”页。您自己便可以办到，而且不需要支付任何费用。
如果一个公司遮遮掩掩，或不明确说明自己的意图，请多加小心。
如果有任何不明白之处，都应当要求对方解释。 如果 SEO 为您制作了一些欺骗性或误导性内容，如桥页或“一次性”域，则您的网站可能会彻底从 Google 索引中删除。归根结底，您要对所雇佣公司的行为负责，因此，您最好弄清楚他们打算采用何种方法来“帮助”您。
不要链接到 SEO。 请远离那些高谈“免费链接站点”的好处，宣传链接流行度方案，或将您的网站提交给成千上万个搜索引擎的 SEO。因为这些做法是徒劳无益的，并不会影响您在各大搜索引擎结果中的排名。至少不会产生您期望的正面影响。
一些 SEO 可能会尝试向您出售直接在浏览器地址栏中输入关键字的功能。
这些方案大都要求用户安装额外的软件，而很少有用户这样做。在评估此类方案时，务必极其小心，不要轻信对方提供的下载所需应用程序的用户人数。
做出明智的选择。
在考虑是否与 SEO 合作时，您应当对该行业做一些调查。Google 自然可以提供此方面的信息。您可能还需要查找报刊上所登载的一些提醒性质的报道，譬如以下这篇有关某个做法激进的 SEO 的文章：http://www.salon.com/tech/feature/2002/07/01/spyware_inc/index.html （英文）。尽管 Google 不会对具体的公司加以评论，但我们确实遇到了一些自称是 SEO 而其行为却违背了合理的商业行为准则的公司。请务必小心。
了解资金去向。 虽然 Google 从未将搜索结果中的较好排名进行出售，但其他一些搜索引擎已在其常规的网络搜索结果中实施了按点击次数或列入结果的次数进行收费。一些 SEO 会承诺使您在搜索引擎中居于靠前的位置，但是却将您放在搜索引擎的广告部分而非搜索结果中。还有少数 SEO 甚至会实时更改他们的报价，制造出他们可以“控制”其他搜索引擎并能够手眼通天、为所欲为的假象。这些伎俩在 Google 是行不通的，因为我们的广告服务已明确标示，并与搜索结果相互独立，但是对于任何 SEO，您都要问清楚哪些费用用于将您永久性地列入搜索结果，哪些费用用于短时间的广告刊登。
与多个 SEO 洽谈，询问其他 SEO 对您正在考察的公司的看法。
他人的推荐是一个良好的开端，但是推荐人的介绍往往并不全面。您应当了解公司的成立时间，雇佣的全职员工数量等信息。如果您感到有压力或怀疑，应顺从您内心的感觉，不要贸然行事，在找到可以信赖的公司之前不要做出任何决定。询问您的 SEO公司是否使用位于以下网址的垃圾邮件投诉表，向 Google 报告所发现的每封垃圾邮件：http://www.google.com/contact/spamreport.html （英文）。 有道德的 SEO 公司会报告违反 Google 垃圾邮件指南的所有欺骗性网站。
确保您受法律保护。
为了您自身的安全，您应当坚持要求无条件全额退款保证。无论什么原因，只要有所不满，或如果 SEO 的行为导致您的域名从搜索引擎索引中删除，不要惧怕要求退款。务必签订包括定价在内的书面合同。合同中还应要求 SEO 遵循每个搜索引擎针对要列入的网站所做出的规定。
--------------------------------------------------------------------------------
网站所有者可能会遇到哪些最常见的欺诈行为？
--------------------------------------------------------------------------------
一个常见的欺骗手段是创建“影子域名”，使用欺骗性的重定向功能，将用户链接到某个网站。这些影子域名通常为那些声称为客户工作的 SEO 所有。但是，如果双方关系恶化，SEO 可能会将该域指向另外一个网站，甚至指向竞争对手的域。此时，客户等于付费开发了一个完全由 SEO 所有的竞争网站。
另外一个不轨的做法是在客户网站的某个位置放置充斥着关键字的“桥页”。SEO 承诺这种方法会增强网页的相关性，从而可以匹配更多的查询。这种观点根本就是错误的，因为单个网页几乎不可能与大量的关键字都相关。但更大的隐患是这些桥页还常常包含指向 SEO 其他客户的隐藏链接。这些桥页会将网站的链接流行度分流到 SEO 及它的其他客户那里，其中可能包含一些提供令人生厌或非法内容的网站。
--------------------------------------------------------------------------------
还需要注意哪些事项？
--------------------------------------------------------------------------------
您可以通过某些迹象来判断是否正在与不道德的 SEO 打交道。下面所列出的只是其中很少的一部分，因此，只要有任何疑虑，您都应当相信您的直觉。 如果 SEO 具有以下行为，一定要想尽办法果断摆脱它：
拥有影子域名
在桥页上放置指向其他客户的链接
出售在地址栏中输入关键字的功能
对实际搜索结果和搜索结果中的广告不加区分
保证排名，但只依靠随意可得的晦涩冗长的关键字词组
使用多个别名或伪造的 WHOIS 信息
从“虚假的”搜索引擎、间谍软件 (spyware) 或变脸软件 (scumware) 获取点击量
自身的域名或者所拥有的域已从 Google 索引中删除，或者在 Google 的索引中没有被列出
搜索引擎发展史
90年初当时万维网(World Wide Web)还未出现，为了查询散布在各个分散的主机中的文件，曾有过Archie, Gopher等搜索工具,随着互联网的迅速发展，基于HTTP访问的web技术的迅速普及，他们就不再能适应用户的需要。在1994年1月，第一个既可搜索又可浏览的分类目录EINet Galaxy（Tradewave Galaxy）上线,它还支持Gopher和Telnet搜索。同年4月，Yahoo目录诞生,随着访问量和收录链接数的增长，开始支持简单的数据库查询。这就是我们说的早期的,目录导航系统，他们的缺点网站收录/更新都是要考人工维护，所以在信息量剧增的条件下，就不是非常受用了。
1994年7月,Lycos推出了基于robot的数据发现技术,并支持搜索结果相关性排序,并且他第一个开始在搜索结果中使用了网页自动摘要。Infoseek也是同时期的一个重要代表，他们是搜索引擎史上一个重要的进步。
1995 年，一种新的搜索引擎工具出现了——元搜索引擎,第一个元搜索引擎是华盛顿大学的学生开发的Metacrawler。用户只需提交一次搜索请求，由元搜索引擎负责转换处理后提交给多个预先选定的独立搜索引擎，并将从各独立搜索引擎返回的所有查询结果，集中起来处理后再返回给用户。
1995 年12月才登场亮相的AltaVista推出了大量的创新功能使它迅速到达当时搜索引擎的顶峰,它第一个支持自然语言搜索的搜索引擎,具备了基于网页内容分析,智能处理的能力，第一个实现高级搜索语法的搜索引擎（如AND, OR, NOT等), 同时AltaVista还支持搜索新闻群组（Newsgroups）,搜索图片等具有划时代意义的功能。同时期还有inktomi,HotBot等搜索引擎。
1997年8月Northernlight 公司正式推出搜索引擎,它第一个支持对搜索结果进行简单的自动分类，也是当时拥有最大数据库的搜索引擎之一。
1998年10月,Google诞生。它是目前最流行的搜索引擎之一,具备很多独特而且优秀的功能,并且在界面等实现了革命性创新。
1999 年5月，Fast（Alltheweb）公司发布了自己的搜索引擎AllTheWeb,它的网页搜索可利用ODP自动分类，支持Flash和pdf搜索，支持多语言搜索，还提供新闻搜索、图像搜索、视频、MP3、和FTP搜索，拥有极其强大的高级搜索功能。它曾经是最流行的搜索引擎之一，后在2003年2 月被Overture收购。
在中文搜索引擎领域，1996年8月成立的搜狐公司是最早参与作网络信息分类导航的网站，曾一度有“出门找地图，上网找搜狐的”美誉。由于其人工分类提交的局限性，随着网络信息的暴增，逐渐被基于robot自动抓取智能分类的新一代信息技术取代。
台湾中正大学吴升教授所领导的GAIS实验室1998年1月创立了Openfind中文搜索引擎,是最早开发的中文智能搜索引擎，采用GAIS实验室推出多元排序(PolyRankTM)核心技术，截止2002年6月，宣布累计抓取网页35亿，开始进入英文搜索领域。
北大天网是教育网最流行的搜索引擎，它由北大计算机系网络与分布式系统研究室开发，于1997年10月29日正式在CERNET上提供服务, 2000年初成立天网搜索引擎新课题组，由国家973重点基础研究发展规划项目基金资助开发，收录网页约6000万，利用教育网优势，有强大的ftp搜索功能。
百度中文搜索由超链分析专利发明人、前Infoseek资深工程师李彦宏和好友徐勇2000年1月创建,目前支持网页信息检索，图片，Flash，音乐等多媒体信息的检索。并且百度在中文领域第一个开始使用ppc经营模式。
2002年开始进入搜索引擎市场的中搜是由慧聪国际主持开发的，是搜索领域的后起之秀。目前处于起步阶段，技术没有特别见长的优势
1994年7月,Lycos推出了基于robot的数据发现技术,并支持搜索结果相关性排序,并且他第一个开始在搜索结果中使用了网页自动摘要。Infoseek也是同时期的一个重要代表，他们是搜索引擎史上一个重要的进步。
1995 年，一种新的搜索引擎工具出现了——元搜索引擎,第一个元搜索引擎是华盛顿大学的学生开发的Metacrawler。用户只需提交一次搜索请求，由元搜索引擎负责转换处理后提交给多个预先选定的独立搜索引擎，并将从各独立搜索引擎返回的所有查询结果，集中起来处理后再返回给用户。
1995 年12月才登场亮相的AltaVista推出了大量的创新功能使它迅速到达当时搜索引擎的顶峰,它第一个支持自然语言搜索的搜索引擎,具备了基于网页内容分析,智能处理的能力，第一个实现高级搜索语法的搜索引擎（如AND, OR, NOT等), 同时AltaVista还支持搜索新闻群组（Newsgroups）,搜索图片等具有划时代意义的功能。同时期还有inktomi,HotBot等搜索引擎。
1997年8月Northernlight 公司正式推出搜索引擎,它第一个支持对搜索结果进行简单的自动分类，也是当时拥有最大数据库的搜索引擎之一。
1998年10月,Google诞生。它是目前最流行的搜索引擎之一,具备很多独特而且优秀的功能,并且在界面等实现了革命性创新。
1999 年5月，Fast（Alltheweb）公司发布了自己的搜索引擎AllTheWeb,它的网页搜索可利用ODP自动分类，支持Flash和pdf搜索，支持多语言搜索，还提供新闻搜索、图像搜索、视频、MP3、和FTP搜索，拥有极其强大的高级搜索功能。它曾经是最流行的搜索引擎之一，后在2003年2 月被Overture收购。
在中文搜索引擎领域，1996年8月成立的搜狐公司是最早参与作网络信息分类导航的网站，曾一度有“出门找地图，上网找搜狐的”美誉。由于其人工分类提交的局限性，随着网络信息的暴增，逐渐被基于robot自动抓取智能分类的新一代信息技术取代。
台湾中正大学吴升教授所领导的GAIS实验室1998年1月创立了Openfind中文搜索引擎,是最早开发的中文智能搜索引擎，采用GAIS实验室推出多元排序(PolyRankTM)核心技术，截止2002年6月，宣布累计抓取网页35亿，开始进入英文搜索领域。
北大天网是教育网最流行的搜索引擎，它由北大计算机系网络与分布式系统研究室开发，于1997年10月29日正式在CERNET上提供服务, 2000年初成立天网搜索引擎新课题组，由国家973重点基础研究发展规划项目基金资助开发，收录网页约6000万，利用教育网优势，有强大的ftp搜索功能。
百度中文搜索由超链分析专利发明人、前Infoseek资深工程师李彦宏和好友徐勇2000年1月创建,目前支持网页信息检索，图片，Flash，音乐等多媒体信息的检索。并且百度在中文领域第一个开始使用ppc经营模式。
2002年开始进入搜索引擎市场的中搜是由慧聪国际主持开发的，是搜索领域的后起之秀。目前处于起步阶段，技术没有特别见长的优势
2007年3月5日星期一
Robots.txt指南
当搜索引擎访问一个网站时，它首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件。Robots.txt文件用于限定搜索引擎对其网站的访问范围，即告诉搜索引擎网站中哪些文件是允许它进行检索(下载)的。这就是大家在网络上常看到的“拒绝Robots访问标准”(Robots Exclusion Standard)。下面我们简称RES。
Robots.txt文件的格式：
Robots.txt文件的格式比较特殊，它由记录组成。这些记录通过空行分开。其中每条记录均由两个域组成：
1) 一个User-Agent(用户代理)字符串行；
2) 若干Disallow字符串行。
记录格式为： ":"
下面我们分别对这两个域做进一步说明。
User-agent(用户代理)：
User-agent行(用户代理行) 用于指定搜索引擎robot的名字，以Google的检索程序Googlebot为例，有：User-agent: Googlebot
一个robots.txt中至少要有一条User-agent记录。如果有多条User-agent记录，则说明有多个robot会受到RES标准的限制。当然了，如果要指定所有的robot，只需用一个通配符"*"就搞定了，即：User-agent: *
Disallow(拒绝访问声明)：
在Robots.txt文件中，每条记录的第二个域是Disallow:指令行。这些Disallow行声明了该网站中不希望被访问的文件和(或)目录。例如"Disallow: email.htm"对文件的访问进行了声明，禁止Spiders下载网站上的email.htm文件。而"Disallow: /cgi-bin/"则对cgi-bin目录的访问进行了声明，拒绝Spiders进入该目录及其子目录。Disallow声明行还具有通配符功能。例如上例中"Disallow: /cgi-bin/"声明了拒绝搜索引擎对cgi-bin目录及其子目录的访问，而"Disallow:/bob"则拒绝搜索引擎对/bob.html和 /bob/indes.html的访问(即无论是名为bob的文件还是名为bob的目录下的文件都不允许搜索引擎访问)。Disallow记录如果留空，则说明该网站的所有部分都向搜索引擎开放。
空格 & 注释
在robots.txt文件中，凡以"#"开头的行，均被视为注解内容，这和UNIX中的惯例是一样的。但大家需要注意两个问题：
1) RES标准允许将注解内容放在指示行的末尾，但这种格式并不是所有的Spiders都能够支持。譬如，并不是所有的Spiders都能够正确理解 "Disallow: bob #comment"这样一条指令。有的Spiders就会误解为Disallow的是"bob#comment"。最好的办法是使注解自成一行。
2) RES标准允许在一个指令行的开头存在空格，象"Disallow: bob #comment"，但我们也并不建议大家这么做。
Robots.txt文件的创建：
需要注意的是，应当在UNIX命令行终端模式下创建Robots.txt纯文本文件。好的文本编辑器一般都能够提供UNIX模式功能，或者你的FTP客户端软件也“应该”能够替你转换过来。如果你试图用一个没有提供文本编辑模式的HTML编辑器来生成你的robots.txt纯文本文件，那你可就是瞎子打蚊子——白费力气了。
对RES标准的扩展：
尽管已经提出了一些扩展标准，如Allow行或Robot版本控制(例如应该忽略大小写和版本号)，但尚未得到RES工作组的正式批准认可。
附录I. Robots.txt用法举例：
使用通配符"*"，可设置对所有robot的访问权限。
User-agent: *
Disallow:
表明：允许所有搜索引擎访问网站下的所有内容。
User-agent: *
Disallow: /
表明：禁止所有搜索引擎对网站下所有网页的访问。
User-agent: *
Disallow: /cgi-bin/Disallow: /images/
表明：禁止所有搜索引擎进入网站的cgi-bin和images目录及其下所有子目录。需要注意的是对每一个目录必须分开声明。
User-agent: Roverdog
Disallow: /
表明：禁止Roverdog访问网站上的任何文件。
User-agent: Googlebot
Disallow: cheese.htm
表明：禁止Google的Googlebot访问其网站下的cheese.htm文件。
上面介绍了一些简单的设置，对于比较复杂的设置，可参看一些大型站点如CNN或Looksmart的robots.txt文件(www.cnn.com/robots.txt, www.looksmart.com/robots.txt)
附录II. 相关robots.txt文章参考：
1. Robots.txt常见问题解析
2. Robots Meta Tag的使用
3. Robots.txt检测程序
Robots.txt常见问题解析：
我们开发了一个针对robots.txt文件的“验检程序”，同时又设计了一个搜索程序，专门下载robots.txt文件，以此对新推出的这个 “robots.txt验检程序”进行测试。在对DMOZ(ODP)中所链接的站点进行遍历，共计检索240万个站点后，我们总共找到了大概75k的 robots.txt文件。
在这些robots.txt文件中，我们发现了大量的而且是形形色色的问题。有超过5%的robots.txt文件使用了错误格式，有超过2%的文件由于使用的是极其拙劣的格式而导致无法为任何SPIDER读取。我们将发现的一些问题在下面列出来供大家参考借鉴：
错误1—语法混用
例如：
User-agent: *
Disallow: scooter
正确语法应为：
User-agent: scooter
Disallow: *
错误2—一行Disallow声明多个目录
这是一个比较常见的错误。我们发现很多网站在其robots.txt中，在一个Disallow指令行中放入了多个目录。譬如：Disallow: /css/ /cgi-bin/images/
绝大多数的spiders对上述声明行都无法做出正确的解析，有些Spiders会忽略其空格而解析为/css//cgi-bin//images/，或只解析/images/或/css/，或者根本不予解析。
正确的语法应为：
Disallow: /css/
Disallow: /cgi-bin/
Disallow: /images/
错误3—在DOS模式下编辑robots.txt文件
这也是一个比较常见的错误。正确的做法应该是在UNIX模式下编辑你的robots.txt文件并以ASCII码格式上传。显然并非所有的FTP客户端软件都能够天衣无缝地将文件格式转换为UNIX命令行终端，所以在编辑robots.txt文件时，一定要确保你的文本编辑器是在UNIX模式下。
错误4—在指示行末尾加注
在robots.txt文件中，凡以"#"开头的行，均被视为注解内容，这和UNIX中的惯例是一样的。例如：Disallow: /cgi-bin/ # this bans robots from our cgi-bin
虽然根据RES标准，在指示行的末尾加注是可行的，但这种格式在过去却并非所有的Spiders都能够支持，有些Spiders干脆就把整个句子视为注解内容直接跳过去不读。当然我们知道现如今搜索引擎基本上都能够支持这种格式，不过—仍有可能无法被某些搜索引擎正确解读，你冒得起这个险吗？我们建议在编辑robots.txt文件时，最好让注解自成一行。
错误5—指令行前有空格
例如"Disallow: /cgi-bin/"，虽然RES标准并未对这种格式予以特别说明，但我们对这种格式是持极力反对态度的。同样的问题摆在你面前你冒得起无法被Spiders正确解读的险吗?
错误6--404重定向至另一页面
一般没有robots.txt的网站会将对robots.txt文件的调用请求转至另一页面。这种重定向通常不会产生服务器状态错误或重定向状态信息。然而因为是Spiders自己决定它看到的是robots.txt文件还是一个.html文件。虽然理论上应该不会有什么问题，不过为了保险起见，不妨在你服务器的顶级目录下放一个空的robots.txt文件。在www.google.com/bot.html下，也提供了相同的建议—“如欲避免网络服务器日志中的出错信息‘找不到文件’，可在其根域下创建一个空的robots.txt文件。”
错误7—声明自相矛盾
例如：
USER-AGENT: EXCITE
DISALLOW:
虽然RES标准忽略大小写(Case Sensitive)，但目录和文件名却是大小写敏感的。所以对于"USER-AGENT"和"DISALLOW"指令，用大小写都是可以的。但对于所声明的目录或文件名却一定要注意大小写的问题。
错误8—列出所有文件
这也是一种常见错误，不厌其烦地将目录下文件全数列出。例如：
Disallow: /AL/Alabama.html
Disallow: /AL/AR.html
Disallow: /Az/AZ.html
Disallow: /Az/bali.html
Disallow: /Az/bed-breakfast.html
其实，上面这么多声明行只需用目录选项来替代：
Disallow: /AL
Disallow: /Az
需要注意的是：反斜杠"/"表示禁止搜索引擎进入该目录。如果只有几十个文件需要设置访问权限，那倒也无可厚非。问题是我们发现有一个robots.txt文件中列出了有400k，多达4,000个文件。我们只是纳闷看到这么多声明，有多少Spiders会掉头而去。
错误9—自创ALLOW指令
没有ALLOW指令，只有DISALLOW指令！我们发现有这样的用法：
User-agent: Spot
Disallow: /john/
allow: /jane/
正确写法应为：
User-agent: Spot
Disallow: /john/
Disallow:
错误10—对声明的目录无反斜杠标识
例如我们发现有这样的例子：
User-agent: Spot
Disallow: john
对这样的记录Spider该怎么反应？按照RES标准，Spider会将名为"john"的文件和名为"john"的目录都DISALLOW。所以要记得使用"/"来标识所声明的路径(目录)。
我们还发现，有些网站的优化工作做得真彻底，竟然在其robots.txt中也放了关键词(费解，不明白他们怎么想的)。这些人一定是把他们的 robots.txt纯文本文件当作是html文件了。(要记住：在FrontPage下是不可能正确创建robots.txt文件的)
错误11—网络服务器端的错误配置
为什么对robots.txt文件的调用请求会产生一个二进制文件？只有网络服务器或FTP客户端软件错误设置的情况下才可能发生这种错误。建议大家定期检查自己的robots.txt文件(http://www.mydomain.com/robots.txt)。
服务器/域名“鲍鱼”
搜索引擎检测服务器或域名“鲍鱼”(即包含巨量站点)的一个简单途径是看它们的robots.txt。我们发现规模在400到500个域名的大型域名 “鲍鱼”，其“库”内站点使用都是同一个robots.txt文件。这也就相当于告诉搜索引擎这些使用同一robots.txt文件的站点是相关联的。
Google率先支持通配符:
Google是第一家能够支持robots.txt中通配符文件扩展名的搜索引擎。例如:
User-agent: googlebot
Disallow: *.cgi
不过注意了，由于目前只有Google能够支持这种格式，所以”USER-AGENT”只能是“Googlebot”。
Robots.txt文件的格式：
Robots.txt文件的格式比较特殊，它由记录组成。这些记录通过空行分开。其中每条记录均由两个域组成：
1) 一个User-Agent(用户代理)字符串行；
2) 若干Disallow字符串行。
记录格式为： ":"
下面我们分别对这两个域做进一步说明。
User-agent(用户代理)：
User-agent行(用户代理行) 用于指定搜索引擎robot的名字，以Google的检索程序Googlebot为例，有：User-agent: Googlebot
一个robots.txt中至少要有一条User-agent记录。如果有多条User-agent记录，则说明有多个robot会受到RES标准的限制。当然了，如果要指定所有的robot，只需用一个通配符"*"就搞定了，即：User-agent: *
Disallow(拒绝访问声明)：
在Robots.txt文件中，每条记录的第二个域是Disallow:指令行。这些Disallow行声明了该网站中不希望被访问的文件和(或)目录。例如"Disallow: email.htm"对文件的访问进行了声明，禁止Spiders下载网站上的email.htm文件。而"Disallow: /cgi-bin/"则对cgi-bin目录的访问进行了声明，拒绝Spiders进入该目录及其子目录。Disallow声明行还具有通配符功能。例如上例中"Disallow: /cgi-bin/"声明了拒绝搜索引擎对cgi-bin目录及其子目录的访问，而"Disallow:/bob"则拒绝搜索引擎对/bob.html和 /bob/indes.html的访问(即无论是名为bob的文件还是名为bob的目录下的文件都不允许搜索引擎访问)。Disallow记录如果留空，则说明该网站的所有部分都向搜索引擎开放。
空格 & 注释
在robots.txt文件中，凡以"#"开头的行，均被视为注解内容，这和UNIX中的惯例是一样的。但大家需要注意两个问题：
1) RES标准允许将注解内容放在指示行的末尾，但这种格式并不是所有的Spiders都能够支持。譬如，并不是所有的Spiders都能够正确理解 "Disallow: bob #comment"这样一条指令。有的Spiders就会误解为Disallow的是"bob#comment"。最好的办法是使注解自成一行。
2) RES标准允许在一个指令行的开头存在空格，象"Disallow: bob #comment"，但我们也并不建议大家这么做。
Robots.txt文件的创建：
需要注意的是，应当在UNIX命令行终端模式下创建Robots.txt纯文本文件。好的文本编辑器一般都能够提供UNIX模式功能，或者你的FTP客户端软件也“应该”能够替你转换过来。如果你试图用一个没有提供文本编辑模式的HTML编辑器来生成你的robots.txt纯文本文件，那你可就是瞎子打蚊子——白费力气了。
对RES标准的扩展：
尽管已经提出了一些扩展标准，如Allow行或Robot版本控制(例如应该忽略大小写和版本号)，但尚未得到RES工作组的正式批准认可。
附录I. Robots.txt用法举例：
使用通配符"*"，可设置对所有robot的访问权限。
User-agent: *
Disallow:
表明：允许所有搜索引擎访问网站下的所有内容。
User-agent: *
Disallow: /
表明：禁止所有搜索引擎对网站下所有网页的访问。
User-agent: *
Disallow: /cgi-bin/Disallow: /images/
表明：禁止所有搜索引擎进入网站的cgi-bin和images目录及其下所有子目录。需要注意的是对每一个目录必须分开声明。
User-agent: Roverdog
Disallow: /
表明：禁止Roverdog访问网站上的任何文件。
User-agent: Googlebot
Disallow: cheese.htm
表明：禁止Google的Googlebot访问其网站下的cheese.htm文件。
上面介绍了一些简单的设置，对于比较复杂的设置，可参看一些大型站点如CNN或Looksmart的robots.txt文件(www.cnn.com/robots.txt, www.looksmart.com/robots.txt)
附录II. 相关robots.txt文章参考：
1. Robots.txt常见问题解析
2. Robots Meta Tag的使用
3. Robots.txt检测程序
Robots.txt常见问题解析：
我们开发了一个针对robots.txt文件的“验检程序”，同时又设计了一个搜索程序，专门下载robots.txt文件，以此对新推出的这个 “robots.txt验检程序”进行测试。在对DMOZ(ODP)中所链接的站点进行遍历，共计检索240万个站点后，我们总共找到了大概75k的 robots.txt文件。
在这些robots.txt文件中，我们发现了大量的而且是形形色色的问题。有超过5%的robots.txt文件使用了错误格式，有超过2%的文件由于使用的是极其拙劣的格式而导致无法为任何SPIDER读取。我们将发现的一些问题在下面列出来供大家参考借鉴：
错误1—语法混用
例如：
User-agent: *
Disallow: scooter
正确语法应为：
User-agent: scooter
Disallow: *
错误2—一行Disallow声明多个目录
这是一个比较常见的错误。我们发现很多网站在其robots.txt中，在一个Disallow指令行中放入了多个目录。譬如：Disallow: /css/ /cgi-bin/images/
绝大多数的spiders对上述声明行都无法做出正确的解析，有些Spiders会忽略其空格而解析为/css//cgi-bin//images/，或只解析/images/或/css/，或者根本不予解析。
正确的语法应为：
Disallow: /css/
Disallow: /cgi-bin/
Disallow: /images/
错误3—在DOS模式下编辑robots.txt文件
这也是一个比较常见的错误。正确的做法应该是在UNIX模式下编辑你的robots.txt文件并以ASCII码格式上传。显然并非所有的FTP客户端软件都能够天衣无缝地将文件格式转换为UNIX命令行终端，所以在编辑robots.txt文件时，一定要确保你的文本编辑器是在UNIX模式下。
错误4—在指示行末尾加注
在robots.txt文件中，凡以"#"开头的行，均被视为注解内容，这和UNIX中的惯例是一样的。例如：Disallow: /cgi-bin/ # this bans robots from our cgi-bin
虽然根据RES标准，在指示行的末尾加注是可行的，但这种格式在过去却并非所有的Spiders都能够支持，有些Spiders干脆就把整个句子视为注解内容直接跳过去不读。当然我们知道现如今搜索引擎基本上都能够支持这种格式，不过—仍有可能无法被某些搜索引擎正确解读，你冒得起这个险吗？我们建议在编辑robots.txt文件时，最好让注解自成一行。
错误5—指令行前有空格
例如"Disallow: /cgi-bin/"，虽然RES标准并未对这种格式予以特别说明，但我们对这种格式是持极力反对态度的。同样的问题摆在你面前你冒得起无法被Spiders正确解读的险吗?
错误6--404重定向至另一页面
一般没有robots.txt的网站会将对robots.txt文件的调用请求转至另一页面。这种重定向通常不会产生服务器状态错误或重定向状态信息。然而因为是Spiders自己决定它看到的是robots.txt文件还是一个.html文件。虽然理论上应该不会有什么问题，不过为了保险起见，不妨在你服务器的顶级目录下放一个空的robots.txt文件。在www.google.com/bot.html下，也提供了相同的建议—“如欲避免网络服务器日志中的出错信息‘找不到文件’，可在其根域下创建一个空的robots.txt文件。”
错误7—声明自相矛盾
例如：
USER-AGENT: EXCITE
DISALLOW:
虽然RES标准忽略大小写(Case Sensitive)，但目录和文件名却是大小写敏感的。所以对于"USER-AGENT"和"DISALLOW"指令，用大小写都是可以的。但对于所声明的目录或文件名却一定要注意大小写的问题。
错误8—列出所有文件
这也是一种常见错误，不厌其烦地将目录下文件全数列出。例如：
Disallow: /AL/Alabama.html
Disallow: /AL/AR.html
Disallow: /Az/AZ.html
Disallow: /Az/bali.html
Disallow: /Az/bed-breakfast.html
其实，上面这么多声明行只需用目录选项来替代：
Disallow: /AL
Disallow: /Az
需要注意的是：反斜杠"/"表示禁止搜索引擎进入该目录。如果只有几十个文件需要设置访问权限，那倒也无可厚非。问题是我们发现有一个robots.txt文件中列出了有400k，多达4,000个文件。我们只是纳闷看到这么多声明，有多少Spiders会掉头而去。
错误9—自创ALLOW指令
没有ALLOW指令，只有DISALLOW指令！我们发现有这样的用法：
User-agent: Spot
Disallow: /john/
allow: /jane/
正确写法应为：
User-agent: Spot
Disallow: /john/
Disallow:
错误10—对声明的目录无反斜杠标识
例如我们发现有这样的例子：
User-agent: Spot
Disallow: john
对这样的记录Spider该怎么反应？按照RES标准，Spider会将名为"john"的文件和名为"john"的目录都DISALLOW。所以要记得使用"/"来标识所声明的路径(目录)。
我们还发现，有些网站的优化工作做得真彻底，竟然在其robots.txt中也放了关键词(费解，不明白他们怎么想的)。这些人一定是把他们的 robots.txt纯文本文件当作是html文件了。(要记住：在FrontPage下是不可能正确创建robots.txt文件的)
错误11—网络服务器端的错误配置
为什么对robots.txt文件的调用请求会产生一个二进制文件？只有网络服务器或FTP客户端软件错误设置的情况下才可能发生这种错误。建议大家定期检查自己的robots.txt文件(http://www.mydomain.com/robots.txt)。
服务器/域名“鲍鱼”
搜索引擎检测服务器或域名“鲍鱼”(即包含巨量站点)的一个简单途径是看它们的robots.txt。我们发现规模在400到500个域名的大型域名 “鲍鱼”，其“库”内站点使用都是同一个robots.txt文件。这也就相当于告诉搜索引擎这些使用同一robots.txt文件的站点是相关联的。
Google率先支持通配符:
Google是第一家能够支持robots.txt中通配符文件扩展名的搜索引擎。例如:
User-agent: googlebot
Disallow: *.cgi
不过注意了，由于目前只有Google能够支持这种格式，所以”USER-AGENT”只能是“Googlebot”。
登录搜索引擎失败的常见原因
1、使用框架：
框架内的内容通常不在搜索引擎抓取的范围之内。
2、图片太多，文本太少
3、提交页面指向另一网站
搜索引擎可能完全跳过这个页面
4、提交太过频繁
5、网站关键词密度太大
不幸的是搜索引擎并没解释多高的密度是极限
6、文本颜色跟背景色彩一样
搜索引擎误以为你在堆砌关键词欺骗它
7、动态网页
网站的内容管理系统方便了网页更新，却给大部分搜索引擎带来麻烦
8、网站转移服务器
搜索引擎通常只认IP地址，转换主机或域名时，IP/DNS地址发生改变，意味着你要重新提交网站
9、网页没有独立IP地址
有的主机商为了省钱，将同一IP分配给多用户使用，只要搜索引擎阻挡了其中一个网站，该IP属下的所有网站都受到牵连
10、免费的网站空间
有的搜索引擎拒绝索引来自免费空间的网站，抱怨很多垃圾，质量差
11、搜索引擎抓取时网站不在线
如果主机不稳定，就有可能出现这种情况。更糟糕的是，即使网站已经收录，重新抓取时发现不在线，还会将网站整个删除。
12、错误地阻挡了robots索引网站
有两种方法可能阻挡robots：主机服务器的根目录下有简单文本文件；网页中含某种META标签。
13、大量运用Flash, DHTML, cookies, javascript, Java制作或密码进入的网页
14、搜索引擎不能解析你的DNS
新域名注册后需要2-4天的时间才能生效，因此不要一注册了域名马上提交网站
15、网站的链接广泛度太低
16、网站URL包含特殊字符
如：&、＄、=、%、?等，在动态网页中通常含有这些字符。
17、服务器速度太慢
网页下载速度太慢，或者网页太复杂，都可能导致搜索引擎还没搜到文本内容就暂停
18、关键字问题
如果正文没有出现你的META标签中提到的关键字，搜索引擎可能误以为是垃圾
19、等待吧
据NEC机构调查，很多搜索引擎索引一个网站的时间长达半年之久
登录搜索引擎目录失败的常见原因：
1、没有登陆在正确的分类目录下
2、网站缺乏实在的相关内容
3、网站看起来不专业、太业余
4、网站需要特别的插件或密码才能进入
5、流量太低不受欢迎
6、网站没有提供邮政地址不可信
框架内的内容通常不在搜索引擎抓取的范围之内。
2、图片太多，文本太少
3、提交页面指向另一网站
搜索引擎可能完全跳过这个页面
4、提交太过频繁
5、网站关键词密度太大
不幸的是搜索引擎并没解释多高的密度是极限
6、文本颜色跟背景色彩一样
搜索引擎误以为你在堆砌关键词欺骗它
7、动态网页
网站的内容管理系统方便了网页更新，却给大部分搜索引擎带来麻烦
8、网站转移服务器
搜索引擎通常只认IP地址，转换主机或域名时，IP/DNS地址发生改变，意味着你要重新提交网站
9、网页没有独立IP地址
有的主机商为了省钱，将同一IP分配给多用户使用，只要搜索引擎阻挡了其中一个网站，该IP属下的所有网站都受到牵连
10、免费的网站空间
有的搜索引擎拒绝索引来自免费空间的网站，抱怨很多垃圾，质量差
11、搜索引擎抓取时网站不在线
如果主机不稳定，就有可能出现这种情况。更糟糕的是，即使网站已经收录，重新抓取时发现不在线，还会将网站整个删除。
12、错误地阻挡了robots索引网站
有两种方法可能阻挡robots：主机服务器的根目录下有简单文本文件；网页中含某种META标签。
13、大量运用Flash, DHTML, cookies, javascript, Java制作或密码进入的网页
14、搜索引擎不能解析你的DNS
新域名注册后需要2-4天的时间才能生效，因此不要一注册了域名马上提交网站
15、网站的链接广泛度太低
16、网站URL包含特殊字符
如：&、＄、=、%、?等，在动态网页中通常含有这些字符。
17、服务器速度太慢
网页下载速度太慢，或者网页太复杂，都可能导致搜索引擎还没搜到文本内容就暂停
18、关键字问题
如果正文没有出现你的META标签中提到的关键字，搜索引擎可能误以为是垃圾
19、等待吧
据NEC机构调查，很多搜索引擎索引一个网站的时间长达半年之久
登录搜索引擎目录失败的常见原因：
1、没有登陆在正确的分类目录下
2、网站缺乏实在的相关内容
3、网站看起来不专业、太业余
4、网站需要特别的插件或密码才能进入
5、流量太低不受欢迎
6、网站没有提供邮政地址不可信
订阅：
博文 (Atom)