蜘蛛陷阱指的是由於網站內部結構的某種特徵,使搜索引擎蜘蛛陷入無限循環,無法停止爬行。最典型的蜘蛛陷阱是某些頁面上的萬年曆,搜索引擎蜘蛛可以一直單擊「下個月,陷入無限循環。9 W6 ^8 O' _3 Y; L
像我湘潭九華人才網(http://www.xtycw.cn)的個人註冊裡有一項是填寫出生日期如圖: 3 L9 P9 z% U3 m1 i* w
還好這個是用js寫的,蜘蛛讀取不到,如果說蜘蛛可以讀到裡面的數據,極有可能會陷入死循環。
+ T4 E5 J) T$ c0 D大家做網站的時候要注意避免蜘蛛進入陷阱,以免被搜索引擎懲罰 |
|