过期域名预定抢注

 找回密碼
 免费注册

Google 爬蟲真牛逼啊

  [複製鏈接]
發表於 2014-3-17 15:08:23 | 顯示全部樓層 |閱讀模式
本帖最後由 HONG 於 2014-3-17 15:19 編輯 8 x8 ^) f" n) Z) g) [

5 o, i1 J/ r2 f) k我發現有的網頁上面被人搞了好幾萬評論,我自己打開個網頁都要好幾分鐘。。。。。過了10分鐘後頁面還在不斷加載垃圾評論。。。。(這裡要讚揚下服務器先)7 z# x6 H$ U3 D
我在想爬蟲請求網頁的時候是否也有個時間限制,如果時間太長了,google爬蟲也就放棄這個頁面。; e8 y( M) X( S. \5 B1 r
) Y# }- D, k* t5 h4 c  u

9 A5 V4 y6 z1 e. N% S) h換句話講,我接著再弄軟件spam無論多少條評論都是沒有效果的吧? 因為爬蟲沒有能力抓取到頁面的內容了。! s$ b; d1 j; z+ H1 S

- S! i9 {) l8 F8 p2 i, B* _
2 P0 [" _: z6 a不知道我的猜測對否?
2 {0 T! ^, y3 E4 S' S  Z) b8 @% E; ^' j) W* |" S0 o, _7 `; i0 X% x
) S) Z  {% u2 }! s6 U

: d0 Q1 R4 ^3 c: P) G9 {2 g* d* ~! ]# H5 H( _: T1 k" r5 M$ O% F

' d/ M# m( c# ]- _
回復

使用道具 舉報

發表於 2014-3-17 15:44:14 | 顯示全部樓層
這樣搞,不是搞死自己的網站?!
/ @! @6 l" J5 \1 D5 _; z1 a; p
回復 给力 爆菊

使用道具 舉報

發表於 2014-3-17 15:53:13 | 顯示全部樓層
蜘蛛爬取網頁有超時限制,你的理解是正確的& z) ^. {5 J& }+ Q
回復 给力 爆菊

使用道具 舉報

發表於 2014-3-17 15:54:42 | 顯示全部樓層
會的. 蜘蛛會有一個限定的抓取時間, 如果超時的話, 會自動放棄抓取.
: n! V1 q, s. t/ b4 y
回復 给力 爆菊

使用道具 舉報

發表於 2014-3-17 16:13:11 | 顯示全部樓層
沒明白你這麼搞的目的是什麼?googlebot是可以識別spam的,就算回復裡面有spam也可以識別3 q! e8 v7 _. d, a8 X/ J8 {
回復 给力 爆菊

使用道具 舉報

發表於 2014-3-17 16:25:07 | 顯示全部樓層
有幾個判斷:第一,估計服務器帶寬不行,或者你網絡不好;第二,再多評論,也會分頁啊,只能說程序沒設計好?第三,服務器太慢,爬蟲是會超時的,經常這樣,爬蟲就不喜歡了,估計權重會降低! B3 f; \0 P7 ~( }: p& X
回復 给力 爆菊

使用道具 舉報

發表於 2014-3-18 00:16:54 | 顯示全部樓層
這是要搞死搞殘的節奏啊
3 e, W$ y7 K( W, ~" f$ ]
回復 给力 爆菊

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

4um點基跨境網編創業社區

GMT+8, 2024-11-24 22:52

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表