HtmlAgilityPack是一個(gè)開(kāi)源的解析HTML元素的類(lèi)庫(kù),最大的特點(diǎn)是可以通過(guò)XPath來(lái)解析HMTL,如果您以前用C#操作過(guò)XML,那么使用起HtmlAgilityPack也會(huì)得心應(yīng)手。目前最新版本為1.4.6,下載地址如下:
這是個(gè)很好的的東西,以前做Html解析都是在用htmlparser,用的雖然順手,但解析速度較慢,碰巧今天找到了這個(gè),就拿過(guò)來(lái)試,一切出乎意料,非常爽,推薦給各位使用。
下面是一些簡(jiǎn)單的使用技巧,希望對(duì)大家有用,我個(gè)人也是個(gè)學(xué)習(xí)過(guò)程。
Why Html Agility Pack? (以下簡(jiǎn)稱(chēng)HAP)
.Net下解析HTML文件有很多種選擇,包括微軟自己也提供MSHTML用于manipulate HTML文件。但是,經(jīng)過(guò)我一段時(shí)間的搜索,Html Agility Pack浮出水面:它是Stackoverflow網(wǎng)站上推薦最多的C# HTML解析器。HAP開(kāi)源,易用,解析速度快。
How to use HAP?
1. 下載http://htmlagilitypack.codeplex.com/
2. 解壓,下載后解壓縮后有3個(gè)文件,這里只需要將其中的HtmlAgilityPack.dll(程序集)、HtmlAgilityPack.xml(文檔,用于Visual Studio 2008中代碼智能提示和幫助說(shuō)明之用)引入解決方案中即可使用,無(wú)需安裝任何東西,非常好用。
3. 在Visual Studio Solution里,右擊project -> add reference -> 選擇解壓文件夾里的HTMLAgilityPack.dll -> 確定
4. 代碼頭部加入 using HtmlAgilityPack;
HtmlWeb webClient = new HtmlWeb();
HtmlDocument doc = webClient.Load("http://xxx");
HtmlNodeCollection hrefList = doc.DocumentNode.SelectNodes(".//a[@href]");
if (hrefList != null)
{
foreach (HtmlNode href in hrefList)
{
HtmlAttribute att = href.Attributes["href"];
doSomething(att.Value);
}
}
Q: 如何根據(jù)ID選擇HTML結(jié)點(diǎn)?
A: 利用@id='xxx', e.g.,
HtmlNode bugSum = doc.DocumentNode.SelectSingleNode("//h2[@id='summary']");
Q: 如何得到結(jié)點(diǎn)的文字內(nèi)容或Html內(nèi)容?
node.InnerText.Trim()
node.InnerHtml
node.OuterHtml
Q: 如何在html樹(shù)結(jié)構(gòu)下查找結(jié)點(diǎn)?
A: 比如從根節(jié)點(diǎn)查找id=container的div下的第一個(gè)table:
HtmlNode table = doc.DocumentNode.SelectSingleNode("//div[@id='container']/table[1]");
注意路徑里"//"表示從根節(jié)點(diǎn)開(kāi)始查找,兩個(gè)斜杠‘//’表示查找所有childnodes;一個(gè)斜杠'/'表示只查找第一層的childnodes(即不查找grandchild);點(diǎn)斜杠"./"表示從當(dāng)前結(jié)點(diǎn)而不是根結(jié)點(diǎn)開(kāi)始查找。接上一行代碼,比如要查找table所有直接子結(jié)點(diǎn)的tr:
HtmlNodeCollection tr = table.SelectNodes("./tr");
Q: 如何得到結(jié)點(diǎn)的ID?
A: 很簡(jiǎn)單: node.ID
Q: 如果一段html存在字符串里,是否可以用Html Agility Pack進(jìn)行處理?
A:可以,先將字符串load進(jìn)來(lái),之后的處理方法一樣:
<pre name="code" class="csharp">//load the original html
string html = "some html stuff"
HtmlDocument doc = new HtmlDocument();
doc.LoadHtml(@html);
Q: 我對(duì)load進(jìn)來(lái)的html進(jìn)行了一些處理,比如改變了一些結(jié)點(diǎn)內(nèi)容,刪除了一些結(jié)點(diǎn)什么的,為什么結(jié)果卻沒(méi)有變化?
A: 也許你忘記save你對(duì)html的改變了,假設(shè)html存在字符串中:
//load the original html
string html = "some html stuff"
HtmlDocument doc = new HtmlDocument();
doc.LoadHtml(@html);
//make some changes
doSomething();
//save the change
var sb = new StringBuilder();
using (var writer = new StringWriter(sb))
{
doc.Save(writer);
}
Q: 如何去掉外層的html tag只留下內(nèi)容?
A: 用remove方法。假設(shè)結(jié)點(diǎn)<a href=xxx>ABCD</a>,你想留下ABCD而不要<a></a>,那你需要先得到這個(gè)Html結(jié)點(diǎn),假設(shè)叫l(wèi)ink:
link.ParentNode.RemoveChild(link,true);
參數(shù)true表示留下grandchild,在這里即內(nèi)容ABCD; false表示將此結(jié)點(diǎn)連同其grandchilds一起刪除。
規(guī)則有很多,網(wǎng)上提供了源代碼,可以研究一下,還有源代碼有亂碼問(wèn)題,是字符集的問(wèn)題,只需要寫(xiě)一個(gè)方法來(lái)自動(dòng)判斷就可以解決了