百度快速收錄文章抓取鏈接有四種方式
1、自動(dòng)推送(百度已停用)
2、Sitemap
可以定期將網(wǎng)站鏈接放到Sitemap中,然后Sitemap提交給百度。百度會(huì)周期性地抓取檢查站長(zhǎng)提交的Sitemap,對(duì)其中的鏈接進(jìn)行處理。
文件地址格式為txt或xml,每個(gè)地址文件最多包含50,000個(gè)網(wǎng)址且需小于10MB。
sitemap提交工具僅對(duì)已驗(yàn)證站點(diǎn)開放使用,開發(fā)者無法提交同一主域下其他未驗(yàn)證站點(diǎn)的數(shù)據(jù)。
請(qǐng)勿提交索引型sitemap,索引型不予處理,且若存在索引型sitemap,將不允許提交新文件;請(qǐng)刪除索引型sitemap后再嘗試提交數(shù)據(jù)。
3、API主動(dòng)推送
是最為快速的提交方式,將站點(diǎn)當(dāng)天新產(chǎn)出鏈接立即通過此方式推送給百度,可以保證新鏈接可以及時(shí)被百度收錄。
4、手動(dòng)提交
如果你不想通過程序提交,你可以用這種方式手動(dòng)提交鏈接到百度。
請(qǐng)?jiān)谳斎肟蛑刑顚懏?dāng)前選擇站點(diǎn)的鏈接;如需提交其他驗(yàn)證站點(diǎn)鏈接,請(qǐng)選擇對(duì)應(yīng)的站點(diǎn)
您每次最多可提交20條鏈接,每行一條
僅支持頁面對(duì)應(yīng)鏈接的提交,不支持sitemap形式的文件提交
百度自動(dòng)推送文章收錄怎么做
百度站長(zhǎng)平臺(tái)提供鏈接索引,api提交。
接口調(diào)用地址:http://data.zz.baidu.com/urls?site=http://theartemis.cn&token=xQgdfR1gcTkcDYZQ
參數(shù)名稱 | 是否必選 | 參數(shù)類型 | 說明 |
---|---|---|---|
site | 是 | string | 在搜索資源平臺(tái)驗(yàn)證的站點(diǎn),比如www.example.com |
token | 是 | string | 在搜索資源平臺(tái)申請(qǐng)的推送用的準(zhǔn)入密鑰 |
下面提供一些推送示例
1)curl推送示例
將要提交的url數(shù)據(jù)寫入一個(gè)本地文件,比如urls.txt,每個(gè)url占一行,然后調(diào)用curl命令:
curl -H 'Content-Type:text/plain' --data-binary @urls.txt
"http://data.zz.baidu.com/urls?site=www.example.com&token=edk7yc4rEZP9pDQD"
使用php、python、java等可以參照這個(gè)過程推送結(jié)構(gòu)化數(shù)據(jù)。
2)post推送示例
POST /urls?site=www.58.com&token=edk7ychrEZP9pDQD HTTP/1.1
User-Agent: curl/7.12.1
Host: data.zz.baidu.com
Content-Length: 83
http://www.example.com/1.html
http://www.example.com/2.html
3)php推送示例
$urls = array(
'http://www.example.com/1.html',
'http://www.example.com/2.html',
);
$api = 'http://data.zz.baidu.com/urls
site=www.58.com&token=edk7ychrEZP9pDQD';
$ch = curl_init();
$options = array(
CURLOPT_URL => $api,
CURLOPT_POST => true,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_POSTFIELDS => implode("\n", $urls),
CURLOPT_HTTPHEADER => array('Content-Type: text/plain'),
);
curl_setopt_array($ch, $options);
$result = curl_exec($ch);
echo $result;
4)ruby推送示例
require 'net/http'
urls = ['http://www.example.com/1.html', 'http://www.example.com/2.html']
uri = URI.parse('http://data.zz.baidu.com/urls
site=www.xxx.com&token=eTk7ychrWZP1pDQD')
req = Net::HTTP::Post.new(uri.request_uri)
req.body = urls.join("\n")
req.content_type = 'text/plain'
res = Net::HTTP.start(uri.hostname, uri.port) { |http| http.request(req) }
puts res.body如何查看推送反饋
您可以通過推送后返回的狀態(tài)碼和字段來判斷數(shù)據(jù)是否推送成功。
1,狀態(tài)碼為200,表示推送成功,可能返回以下字段:
字段 | 是否必選 | 參數(shù)類型 | 說明 |
success | 是 | int | 成功推送的url條數(shù) |
remain | 是 | int | 當(dāng)天剩余的可推送url條數(shù) |
not_same_site | 否 | array | 由于不是本站url而未處理的url列表 |
not_valid | 否 | array | 不合法的url列表 |
成功返回示例:
{
"remain":4999998,
"success":2,
"not_same_site":[],
"not_valid":[]
}
2,狀態(tài)碼為4XX或500,表示推送失敗,返回字段有:
字段 | 是否必選 | 類型 | 說明 |
error | 是 | int | 錯(cuò)誤碼,與狀態(tài)碼相同 |
message | 是 | string | 錯(cuò)誤描述 |
常見的推送失敗返回示例說明:
error | message | 含義 |
400 | site error | 站點(diǎn)未在站長(zhǎng)平臺(tái)驗(yàn)證 |
empty content | post內(nèi)容為空 | |
only 2000 urls are allowed once | 每次最多只能提交2000條鏈接 | |
over quota | 超過每日配額了,超配額后再提交都是無效的 | |
401 | token is not valid | token錯(cuò)誤 |
404 | not found | 接口地址填寫錯(cuò)誤 |
500 | internal error, please try later | 服務(wù)器偶然異常,通常重試就會(huì)成功 |
API推送功能常見問題
1, 和原來的sitemap提交接口有什么區(qū)別?
答:狀態(tài)反饋更及時(shí)了,原來提交后需要登錄到搜索資源平臺(tái)查看提交是否成功。目前只要根據(jù)提交后返回的數(shù)據(jù)就可以判斷了。
2, 已經(jīng)存在的提交sitemap數(shù)據(jù)的程序代碼需要做什么修改?
答:主要修改兩點(diǎn)。第一點(diǎn),提交的接口需要修改;第二點(diǎn),需要處理下接口返回的信息,失敗后需要根據(jù)錯(cuò)誤進(jìn)行相應(yīng)處理,報(bào)錯(cuò)的鏈接是無法提交成功的
3,為什么提交成功后看不到數(shù)據(jù)變化?
答:我們反饋的是新提交鏈接的數(shù)量,如果您提交的鏈接在之前提交過(即重復(fù)提交)是不會(huì)被統(tǒng)計(jì)到的
4,在什么時(shí)機(jī)使用API推送提交功能效果最明顯?
答:頁面鏈接產(chǎn)生或發(fā)布時(shí)立即提交,這樣效果是最好的
5,每次提交一條數(shù)據(jù)和多條數(shù)據(jù)有什么區(qū)別?
答:沒有區(qū)別
6,重復(fù)提交已經(jīng)發(fā)布的鏈接會(huì)有什么問題?
答:會(huì)有兩個(gè)影響。第一,將浪費(fèi)您提交的配額,每個(gè)站點(diǎn)每天可提交的數(shù)量是有限制的,如果您都提交了舊鏈接,當(dāng)有新鏈接時(shí)可能因?yàn)榕漕~耗盡無法提交。第二,如果您經(jīng)常重復(fù)提交舊鏈接,我們會(huì)下調(diào)您的配額,您可能會(huì)失去API推送功能的權(quán)限
7,API推送可以推多少條鏈接?
答:API推送可提交的鏈接數(shù)量上限是根據(jù)您提交的新產(chǎn)生有價(jià)值鏈接數(shù)量而決定的,百度會(huì)根據(jù)您提交數(shù)量的情況不定期對(duì)上限額進(jìn)行調(diào)整,提交的新產(chǎn)生有價(jià)值鏈接數(shù)量越多,可提交鏈接的上限越高。
如對(duì)本文有疑問,請(qǐng)?zhí)峤坏浇涣髡搲瑥V大熱心網(wǎng)友會(huì)為你解答?。?點(diǎn)擊進(jìn)入論壇