过期域名预定抢注

 找回密碼
 免费注册

有個問題想咨詢下月光,是關於CDN加速,抓取IP的問題?

  [複製鏈接]
發表於 2013-11-11 16:57:22 | 顯示全部樓層 |閱讀模式
就是想問下月光或者論壇上的大牛,我的網站用的是cloudflare.com的CDN加速服務,有免費的有收費的,我發現加速後,網站的解析IP地址就變了(在一個ip段內),那麼,GG抓取網站是抓取CDN解析後的網站IP,還是網站的真實IP。因為這決定到我的站群是否還需要在購買一批IP的問題,特別是現在IPV4短缺之後。因為我通過ip查詢這些,查詢到使用CDN加速的網站IP不再是真實的IP了,而是CDN解析後的IP。, C+ b, ~$ D4 W8 E

5 r" n2 Z5 |* V+ n  j
3 K& y' q. ~+ \# Y" r
發表於 2013-11-11 17:04:46 | 顯示全部樓層
嗯 我也有同樣的疑問  期待高手解答
8 E2 m' d5 c& r' z4 U- m6 c
回復 给力 爆菊

使用道具 舉報

發表於 2013-11-11 17:14:46 | 顯示全部樓層
正規cdn,會在http頭裡面包含了你的真實IP。4 P3 z0 v( H" h( h
如果非正規的,可能就會把文件緩存到不同的服務器,蜘蛛必然會發現你的IP經常更換。這樣一定是影響收錄的。/ U6 j  {6 y$ h- m
回復 给力 爆菊

使用道具 舉報

 樓主| 發表於 2013-11-11 17:32:33 | 顯示全部樓層
本帖最後由 zch0071 於 2013-11-11 17:35 編輯 / i$ T( Q' T7 b8 ^0 k- r- t- w' g! }
非常小黑 發表於 2013-11-11 17:14 ( f# L' l- L6 C
正規cdn,會在http頭裡面包含了你的真實IP。/ p$ f' C: H: ]: y9 s* E7 c" @" D
如果非正規的,可能就會把文件緩存到不同的服務器,蜘蛛必然會 ...
, U: R$ s% V1 ^/ k' b
www.cloudflare.com還不正規麼?我一直用他家的。: P2 w% P- ^& n, W3 Y

* Z' U# m2 P4 I( }* r我通過curl -I 網址 查看http頭 因為一個ip下反查了好幾個域名
  1. HTTP/1.1 200 OK
    8 J; R0 h' I/ ~' \8 q/ a8 H- J
  2. Server: nginx/1.0.12
    6 I* ^' Y1 M+ |' d8 G
  3. Date: Mon, 11 Nov 2013 09:33:42 GMT" k( d4 p2 l1 p' y( W/ s4 T
  4. Content-Type: text/html; charset=utf-8
    7 [  y7 n! I8 f. x" B. s8 s
  5. Connection: keep-alive7 B2 g2 H& j. L: ^$ v6 s4 P
  6. Vary: Accept-Encoding
    9 Q  n+ g/ o; F  j7 A. `
  7. X-Powered-By: PHP/5.2.17p1
    9 W3 Z  q+ _2 l- L4 N4 A5 d
  8. Set-Cookie: PHPSESSID=6673d7702994353f83893901472b2691; path=/
    : C5 b7 O0 z3 Z+ \1 k
  9. Expires: Thu, 19 Nov 1981 08:52:00 GMT# ~5 Y2 M( S2 ?3 f
  10. Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0* ~/ S; S+ E( h0 @
  11. Pragma: no-cache
複製代碼
  1. HTTP/1.1 200 OK
    ' g3 ?/ v+ X& w( J7 L
  2. Server: cloudflare-nginx1 i( L6 d1 u' k. [
  3. Date: Mon, 11 Nov 2013 09:27:27 GMT
    ! ~* W4 S# p) w
  4. Content-Type: text/html; charset=utf-8
    / U( I! b6 p( v4 a" y' P
  5. Connection: keep-alive
    5 q6 \! U9 C0 f, z
  6. Set-Cookie: __cfduid=xxxxxxxx$ n. c% G6 P# n( p
  7. X-Powered-By: PHP/5.3.212 o# m+ S1 G. ^: O" Z; l3 B
  8. Expires: Thu, 19 Nov 1981 08:52:00 GMT# m. d8 P$ q9 v: A  i0 O
  9. Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
    $ q6 [6 A) w4 I& U, S
  10. Pragma: no-cache
    $ F$ w5 p4 q2 c8 }& h2 L& m# x) Y
  11. Set-Cookie: PHPSESSID=42e69d14b795c773ce4cd913c7e6b9b0; path=/Vary: Accept-Encoding,User-Agent# u) D: }2 r  Y2 r8 ?8 R
  12. CF-RAY: cb9f25dedfa0077
複製代碼
沒看到返還原來的IP 而且我自己的vps是隱藏了apache的服務器名和版本號 php的也隱藏了。請問還有什麼問題? 另外我看了下CF-RAY 這個是不一樣的。這是什麼參數?1 ^, N) i+ J, y  Z2 l
9 c+ m7 Q# F& ^& h4 v6 \' @
( k* g4 v: t- W. ]

8 l: [0 H4 W9 k$ v% n% `1 Y5 \$ Z

6 Y$ q  U' @( e9 i3 K* k1 c
回復 给力 爆菊

使用道具 舉報

發表於 2013-11-11 17:35:43 | 顯示全部樓層
cloudflare是這樣的,而且php程序裡面的網站ip也變成了它的
  Y. h6 A9 `1 w5 e) J- f$ Q你可以使用cloudflare,但可以取消cdn加速,把按鈕滅掉就可以  i7 b  B# [8 r5 l! c7 s- N

! \. u4 X! f: c- F5 K0 }6 |" c1 h$ x
回復 给力 爆菊

使用道具 舉報

 樓主| 發表於 2013-11-11 17:45:49 | 顯示全部樓層
月光飛燕 發表於 2013-11-11 17:35
# f" c. F, Y$ }. ncloudflare是這樣的,而且php程序裡面的網站ip也變成了它的
. E+ B, P) i# m) ]$ B. r你可以使用cloudflare,但可以取消cdn加速,把 ...
9 i6 b9 Y9 P/ Z
其實,我的想法就是買個好點的vps,然後放一票站群,統統使用cloudflare的CDN加速,因為CDN之後ip就變成cloudflare的IP了,那麼這樣的站群在ip上的關聯就應該不存在了吧
- i& F  W5 s) y, F9 v  ]8 g% \
& M- L; j' e) O

點評

这个我不清楚,没有用这个做过站群  發表於 2013-11-11 18:19
回復 给力 爆菊

使用道具 舉報

發表於 2013-11-11 17:50:57 | 顯示全部樓層
zch0071 發表於 2013-11-11 17:32 8 j  S& |5 c7 _6 V
www.cloudflare.com還不正規麼?我一直用他家的。
& D3 q  }" R" T! O
# G, I, x% D" i我通過curl -I 網址 查看http頭 因為一個ip下反查了好 ...
/ l; i9 q, j+ N' I  [
我通過curl -I 網址 查看http頭 因為一個ip下反查了好幾個域名
# v% z9 X; ^+ a  [+ ?2 q$ C
( h  p7 t5 ~& `/ y  W這個是怎麼查看的額?0 I6 Z8 h+ c$ F: Y+ ]/ m9 [
% N5 D8 W& W5 G4 }4 t+ A
還有如下的疑問# M6 R8 R8 X) @+ Q7 L4 _
  • Expires: Thu, 19 Nov 1981 08:52:00 GMT    這個過期時間怎麼是1981年額
  • Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
  • Pragma: no-cache, T7 F; Q. L5 U7 L* }
cache是關閉的,不是一般把cache 打開可以加快速度,又可以節省流量嗎?
  n! s+ K- H7 {' ]6 }2 S7 o
, _! X- u+ W- H2 j7 {. v/ e& i% G( S4 B! ~3 @
回復 给力 爆菊

使用道具 舉報

 樓主| 發表於 2013-11-11 17:55:17 | 顯示全部樓層
本帖最後由 zch0071 於 2013-11-11 17:58 編輯
. ]# {) }" }* \# E% @
熟能生巧哇 發表於 2013-11-11 17:50
. z' `' U7 L# m0 l+ p* _' _; j& W我通過curl -I 網址 查看http頭 因為一個ip下反查了好幾個域名% O& S$ T5 g3 o- G! |7 q
6 Q" s, @+ H- y9 M4 x: y
這個是怎麼查看的額?

, a8 n) k: r! O& U1 y# |ip反查域名 網上一搜一大堆/ x# W: w7 h" i6 {8 a7 H( @" l7 [
查詢http頭信息
! c) @7 i0 @) B' Ucurl -I http://www.xxx.com
( R. U2 i" P  s! }2 Rcurl是在linux下的命令
) R3 S8 q/ e5 x6 D8 x7 \; y2 b至於cache後台設置
+ N( R7 I( @+ Z, c
8 j% U; c- W8 ?8 K5 A+ s) Y: N& m4 [
回復 给力 爆菊

使用道具 舉報

發表於 2013-11-11 17:57:06 | 顯示全部樓層
樓主這個想法我覺得可以試下
% R, {' {/ I6 {4 ~2 h2 E
回復 给力 爆菊

使用道具 舉報

 樓主| 發表於 2013-11-11 18:00:53 | 顯示全部樓層
will86 發表於 2013-11-11 17:57
0 D6 s, n1 r% @  n& w樓主這個想法我覺得可以試下
8 ^. X: S1 E& b
就是覺得配置小內存的台慢了,直接上台服務器,然後配置幾十個blog,然後CDN加速解析好,就把真實ip隱藏掉了。。gg抓取不知道是不是CND的信息和IP(這點我不知道怎麼確定,畢竟GG的技術我等只能膜拜)8 a$ c9 t; _& u; U
所以。。。考慮中。
3 G  D0 n, I$ r! |) N
回復 给力 爆菊

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

过期高净值品牌域名预定抢注

4um點基跨境網編創業社區

GMT+8, 2024-11-25 09:46

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表