蜘蛛陷阱指的是由於網站內部結構的某種特徵,使搜索引擎蜘蛛陷入無限循環,無法停止爬行。最典型的蜘蛛陷阱是某些頁面上的萬年曆,搜索引擎蜘蛛可以一直單擊「下個月,陷入無限循環。8 z" s: x3 _+ a5 @9 g
像我湘潭九華人才網(http://www.xtycw.cn)的個人註冊裡有一項是填寫出生日期如圖:
0 ^; K4 }3 u' p f% _- k還好這個是用js寫的,蜘蛛讀取不到,如果說蜘蛛可以讀到裡面的數據,極有可能會陷入死循環。
9 A3 X2 Q3 D0 f6 d5 W大家做網站的時候要注意避免蜘蛛進入陷阱,以免被搜索引擎懲罰 |
|