AngleSharpを用いて、Webスクレイピングをしましょう[AngleSharp]

はじめに

Webスクレイピングとは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。ウェブ・クローラーあるいはウェブ・スパイダーとも呼ばれる。(wikipedia参照)

Webスクレイピングに、Html Agility Packではなく、今回は、AngleSharpを使用してみようと思います。 AngleSharpHTMLだけでなく、SVG、MathML、CSSもパース可能なようです。 (詳細は、C#でモダンにスクレイピングするならAngleSharp)

コード

以下のように簡単にインターネットのホームページのクエリーセレクタを指定して情報を取得可能です。

                // 株価を取得したいサイトのURL
                var code = "7984.T";
                var urlstring = $"http://stocks.finance.yahoo.co.jp/stocks/detail/?code={code}";

                // 指定したサイトのHTMLをストリームで取得する
                var doc = default(IHtmlDocument);
                using (var client = new HttpClient())
                using (var stream = await client.GetStreamAsync(new Uri(urlstring)))
                {
                    // AngleSharp.Parser.Html.HtmlParserオブジェクトにHTMLをパースさせる
                    var parser = new HtmlParser();
                    doc = await parser.ParseAsync(stream);
                }

                // クエリーセレクタを指定し株価部分を取得する
                var priceElement = doc.QuerySelector("#main td[class=stoksPrice]");

                string priceString = priceElement.TextContent.Replace(",", string.Empty);
                // 取得した株価がstring型なのでint型にパースする
                int.TryParse(priceString, out var price);

                Debug.WriteLine("コクヨ(7984.T)の株価: {0}円", price);