过期域名预定抢注

 找回密碼
 免费注册

Google 爬蟲真牛逼啊

  [複製鏈接]
發表於 2014-3-17 15:08:23 | 顯示全部樓層 |閱讀模式
本帖最後由 HONG 於 2014-3-17 15:19 編輯 1 i; Y- a+ t/ T) I, p$ d% z
' M, O( P" \8 f
我發現有的網頁上面被人搞了好幾萬評論,我自己打開個網頁都要好幾分鐘。。。。。過了10分鐘後頁面還在不斷加載垃圾評論。。。。(這裡要讚揚下服務器先)
7 v: S- K$ F, |# V 我在想爬蟲請求網頁的時候是否也有個時間限制,如果時間太長了,google爬蟲也就放棄這個頁面。0 p  G! I5 `( h3 o# @7 L

2 d1 u3 n! N+ L4 z
- |$ @/ K/ v! Y* y; ^換句話講,我接著再弄軟件spam無論多少條評論都是沒有效果的吧? 因為爬蟲沒有能力抓取到頁面的內容了。
& B  v; p( z7 ?9 R' J
* g: R7 J& G  v7 ~% T. }$ B, J7 [0 Y( d) w/ C2 G3 F0 @! X
不知道我的猜測對否?4 o0 p& s7 W* K  [

8 T% g# t9 z: `/ U2 _% A0 g& d0 B9 ?. L' R

6 w! x6 w% H/ J3 b0 y
" j0 ^/ h8 a  Y0 ]6 i2 R7 w3 j
回復

使用道具 舉報

發表於 2014-3-17 15:44:14 | 顯示全部樓層
這樣搞,不是搞死自己的網站?!
4 n, _  [* O5 b- E$ M4 [
回復 给力 爆菊

使用道具 舉報

發表於 2014-3-17 15:53:13 | 顯示全部樓層
蜘蛛爬取網頁有超時限制,你的理解是正確的: N& g3 S4 x; C- B* x" v6 b
回復 给力 爆菊

使用道具 舉報

發表於 2014-3-17 15:54:42 | 顯示全部樓層
會的. 蜘蛛會有一個限定的抓取時間, 如果超時的話, 會自動放棄抓取.2 w' Q1 C' c0 d! ?5 ^( p
回復 给力 爆菊

使用道具 舉報

發表於 2014-3-17 16:13:11 | 顯示全部樓層
沒明白你這麼搞的目的是什麼?googlebot是可以識別spam的,就算回復裡面有spam也可以識別& b6 U4 K, Y* U4 o5 y2 q
回復 给力 爆菊

使用道具 舉報

發表於 2014-3-17 16:25:07 | 顯示全部樓層
有幾個判斷:第一,估計服務器帶寬不行,或者你網絡不好;第二,再多評論,也會分頁啊,只能說程序沒設計好?第三,服務器太慢,爬蟲是會超時的,經常這樣,爬蟲就不喜歡了,估計權重會降低( }( I; W' }6 u( j
回復 给力 爆菊

使用道具 舉報

發表於 2014-3-18 00:16:54 | 顯示全部樓層
這是要搞死搞殘的節奏啊
, j+ G7 o, ?$ B' B8 L3 E
回復 给力 爆菊

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

4um點基跨境網編創業社區

GMT+8, 2024-11-25 02:00

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表