wordpress做的採集站怎麼解決文章重複？

有的標題重複，有的標題內容均重複，試了好幾個插件和sql都不行！數據量大了的關係 ，非常慢的。
+ {; I) g" a) S# K# n3 Q+ n

這個需要技術支持，沒技術還是不要做採集站
sql使用模糊搜索語句like%%
& y: G. }5 b) Z) N+ P

月光飛燕 發表於 2013-6-19 19:58
- a" K9 ~* U/ h這個需要技術支持，沒技術還是不要做採集站
sql使用模糊搜索語句like%%

, A* @, M5 ^  V* [主要這個站是架設在雲上的，本身有很多限制，現在數據量大了操作數據庫很容易到上限。。。這就是為什麼現有的插件和sql查詢刪除語句行不通的原因。
. c% |$ f& i9 n8 ?! E換個思路，如果不好去除重複，如何做優化利於seo呢？ 我是在google站長工具裡看到重複數據的提示才發現問題的！
0 }" y4 ?/ R: Z

- r8 W" E$ x% H' h- d0 b# R

有插件，你百度找下。
% y, g' _$ m% ^" N) R+ r

通常採集回來的內容，我都是通過SQL分拆、拼接、變換內容、變換標題等等，還有去標題、關鍵詞、標籤重複，自己寫存儲過程和函數，最後插入wordpress的相關表裡面。還有定時發佈，我沒有使用任何定時發佈的插件，直接生成所需的發佈時間。

cyrich 發表於 2013-6-19 21:28
通常採集回來的內容，我都是通過SQL分拆、拼接、變換內容、變換標題等等，還有去標題、關鍵詞、標籤重複， ...

都通過sql啊, 這個也太麻煩了吧......
為什麼不使用php啊? 你要是有些變量需要修改,不就得修改存儲過程了?
; J& X3 b2 T& K9 g/ O

cyrich 發表於 2013-6-19 21:28
9 M' j2 q+ D) T  d  `" X5 \通常採集回來的內容，我都是通過SQL分拆、拼接、變換內容、變換標題等等，還有去標題、關鍵詞、標籤重複， ...

: l8 J0 H# i% I2 v6 e2 g; R請教如何用sql分拆？
! s$ B) B/ x8 e4 e7 c/ B
( E5 ?% c1 J; d% |, ^1 t- R我是select數據後用php進行處理的，用sql會效率高些？

求指點


# L6 l) _  e+ M; l  I+ m

風吹不動 發表於 2013-6-20 06:54
0 ~$ S) O4 B. R) ~5 m$ ~請教如何用sql分拆？
- R* |# d+ ?" c, V* V& V
; T1 G$ |/ `. g( l  h& [我是select數據後用php進行處理的，用sql會效率高些？

只會SQL語言，沒學過PHP，所以一般使用SQL來編緝數據，必要時就寫個存儲過程和函數

http://blog.csdn.net/dengwen168/article/details/8832775
用火車頭採集和發佈比較簡單.
+ _" p+ d+ E  q

如果要防止完全重複，給title字段加上Unique索引，不過這樣wordpress使用的時候會有一些問題 比如無法自動保存。 或者你另建一個key-value索引表只留ID和TITLE兩個字段 然後用它對應wp_posts去重