过期域名预定抢注

 找回密碼
 免费注册

Google 爬蟲真牛逼啊

  [複製鏈接]
發表於 2014-3-17 15:08:23 | 顯示全部樓層 |閱讀模式
本帖最後由 HONG 於 2014-3-17 15:19 編輯
! p: }6 T0 _: w  V
; |$ [+ `$ c5 B" m我發現有的網頁上面被人搞了好幾萬評論,我自己打開個網頁都要好幾分鐘。。。。。過了10分鐘後頁面還在不斷加載垃圾評論。。。。(這裡要讚揚下服務器先)
* q8 ~: t3 l! i 我在想爬蟲請求網頁的時候是否也有個時間限制,如果時間太長了,google爬蟲也就放棄這個頁面。
2 t3 I6 Y9 u% T' d* {$ [% m8 i' E+ y; E  b* E% |7 j% ]2 Z- N, w$ w0 k

1 R2 T. k' H- v6 p: ]; B換句話講,我接著再弄軟件spam無論多少條評論都是沒有效果的吧? 因為爬蟲沒有能力抓取到頁面的內容了。
, [6 o8 `7 c2 U. {' R: f* @: k
* d  u1 J4 |" N) i2 J) t: w% N0 R: `; F* o+ y" [9 a9 U
不知道我的猜測對否?
9 q! q3 _0 W4 x- L- M/ J+ y: w# D6 A7 I6 d( k
3 U, K) q, ^7 }& r! Y
% X" n" _5 D/ n
: Y; `( b5 P& K
8 R9 f' w/ x0 W7 O5 n+ t
回復

使用道具 舉報

發表於 2014-3-17 15:44:14 | 顯示全部樓層
這樣搞,不是搞死自己的網站?!
3 L  G" r1 X( l  M
回復 给力 爆菊

使用道具 舉報

發表於 2014-3-17 15:53:13 | 顯示全部樓層
蜘蛛爬取網頁有超時限制,你的理解是正確的
( g) l, |* g) j: P& w" k
回復 给力 爆菊

使用道具 舉報

發表於 2014-3-17 15:54:42 | 顯示全部樓層
會的. 蜘蛛會有一個限定的抓取時間, 如果超時的話, 會自動放棄抓取.% [; f4 Z- O( Z* n
回復 给力 爆菊

使用道具 舉報

發表於 2014-3-17 16:13:11 | 顯示全部樓層
沒明白你這麼搞的目的是什麼?googlebot是可以識別spam的,就算回復裡面有spam也可以識別6 P# `0 T; ?& ~% a
回復 给力 爆菊

使用道具 舉報

發表於 2014-3-17 16:25:07 | 顯示全部樓層
有幾個判斷:第一,估計服務器帶寬不行,或者你網絡不好;第二,再多評論,也會分頁啊,只能說程序沒設計好?第三,服務器太慢,爬蟲是會超時的,經常這樣,爬蟲就不喜歡了,估計權重會降低9 `5 `/ x0 i% T$ k
回復 给力 爆菊

使用道具 舉報

發表於 2014-3-18 00:16:54 | 顯示全部樓層
這是要搞死搞殘的節奏啊# j4 p, r# \8 _/ I
回復 给力 爆菊

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

4um點基跨境網編創業社區

GMT+8, 2024-11-24 23:12

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表