wordpress做的採集站怎麼解決文章重複？

有的標題重複，有的標題內容均重複，試了好幾個插件和sql都不行！數據量大了的關係 ，非常慢的。
& m. @9 q# u9 k4 T* b, k( ?

這個需要技術支持，沒技術還是不要做採集站
sql使用模糊搜索語句like%%
7 y, @" y" Y, V9 Y! i

月光飛燕 發表於 2013-6-19 19:58
這個需要技術支持，沒技術還是不要做採集站
sql使用模糊搜索語句like%%

2 r( B( Q3 C( W+ ?主要這個站是架設在雲上的，本身有很多限制，現在數據量大了操作數據庫很容易到上限。。。這就是為什麼現有的插件和sql查詢刪除語句行不通的原因。
換個思路，如果不好去除重複，如何做優化利於seo呢？ 我是在google站長工具裡看到重複數據的提示才發現問題的！


0 R8 N) x# L$ |2 w/ V% c

有插件，你百度找下。

通常採集回來的內容，我都是通過SQL分拆、拼接、變換內容、變換標題等等，還有去標題、關鍵詞、標籤重複，自己寫存儲過程和函數，最後插入wordpress的相關表裡面。還有定時發佈，我沒有使用任何定時發佈的插件，直接生成所需的發佈時間。
! }- e2 N* r# f' s7 l9 D4 }

cyrich 發表於 2013-6-19 21:28
0 K$ }- E4 {8 d+ z6 h- x/ h通常採集回來的內容，我都是通過SQL分拆、拼接、變換內容、變換標題等等，還有去標題、關鍵詞、標籤重複， ...

都通過sql啊, 這個也太麻煩了吧......
為什麼不使用php啊? 你要是有些變量需要修改,不就得修改存儲過程了?
0 c3 [) @4 x" S
3 L& M8 p. u; R% i$ _  R

cyrich 發表於 2013-6-19 21:28
通常採集回來的內容，我都是通過SQL分拆、拼接、變換內容、變換標題等等，還有去標題、關鍵詞、標籤重複， ...

/ K: f$ l8 ~4 M) q- Q$ H. E; _& J請教如何用sql分拆？

我是select數據後用php進行處理的，用sql會效率高些？

+ L" X. L! I$ q+ h0 V求指點
8 M6 f( f. f5 F
9 J" [/ v. ]9 s! r- O( j

風吹不動 發表於 2013-6-20 06:54
' y6 t+ b  M$ O$ h* K2 j請教如何用sql分拆？

6 R& A- J% A7 B0 ?我是select數據後用php進行處理的，用sql會效率高些？

# `& k) Y+ L. i" B5 O" }只會SQL語言，沒學過PHP，所以一般使用SQL來編緝數據，必要時就寫個存儲過程和函數
  F7 X0 A5 c; Y, Z/ V. w2 K9 _- ^

http://blog.csdn.net/dengwen168/article/details/8832775
用火車頭採集和發佈比較簡單.
, [" D5 [8 i' j' K! o% D

如果要防止完全重複，給title字段加上Unique索引，不過這樣wordpress使用的時候會有一些問題 比如無法自動保存。 或者你另建一個key-value索引表只留ID和TITLE兩個字段 然後用它對應wp_posts去重