如何使用HtmlAgilityPack进行异步调用？

我试图让表ID table-matches可以在这里。问题是表格使用加载，ajax因此html下载页面时我没有完整的代码：

string url = "http://www.oddsportal.com/matches/soccer/20180701/";

using (HttpClient client = new HttpClient())
{
    using (HttpResponseMessage respOnse= client.GetAsync(url).Result)
    {
        using (HttpContent cOntent= response.Content)
        {
            string result = content.ReadAsStringAsync().Result;
        }
    }
}

在html返回的不包含任何表，所以我想看看是否有库的问题，事实上我设置好的上Chrome（特别是在开发控制台F12）的Javascript关闭，同样的结果在浏览器上。

Fox解决了这个问题，尽管我WebBrowser特别使用了：

webBrowser.Navigate("oddsportal.com/matches/soccer/20140221/"); 
HtmlElementCollection elements = webBrowser.Document.GetElementsByTagName("table");

但我想问一下我是否也可以加载完整的html异步调用，有人遇到过类似的问题吗？

您能否分享一个解决方案？谢谢。

此页面的主要问题是内部内容table-matches是通过ajax加载的。而且既不能HttpClient也不HtmlAgilityPack能够等待ajax被执行。因此，您需要不同的方法。

方法1-使用任何无头浏览器（如PuppeteerSharp）

using PuppeteerSharp;
using System;
using System.Threading.Tasks;

namespace PuppeteerSharpDemo
{
    class Program
    {
        private static String url = "http://www.oddsportal.com/matches/soccer/20180701/";

        static void Main(string[] args)
        {
            var htmlAsTask = LoadAndWaitForSelector(url, "#table-matches .table-main");
            htmlAsTask.Wait();
            Console.WriteLine(htmlAsTask.Result);

            Console.ReadKey();
        }

        public static async Task LoadAndWaitForSelector(String url, String selector)
        {
            var browser = await Puppeteer.LaunchAsync(new LaunchOptions
            {
                Headless = true,
                ExecutablePath = @"c:\Program Files (x86)\Google\Chrome\Application\chrome.exe"
            });
            using (Page page = await browser.NewPageAsync())
            {
                await page.GoToAsync(url);
                await page.WaitForSelectorAsync(selector);
                return await page.GetContentAsync();
            }
        }
    }
}

为了清洁起见，我在此处将输出发布到了这里。并且一旦获得html内容，便可以使用HtmlAgilityPack对其进行解析。

方法2-使用纯Selenium WebDriver。可以以无头模式启动。

using OpenQA.Selenium;
using OpenQA.Selenium.Chrome;
using OpenQA.Selenium.Support.UI;
using System;

namespace SeleniumDemo
{
    class Program
    {
        private static IWebDriver webDriver;
        private static TimeSpan defaultWait = TimeSpan.FromSeconds(10);
        private static String targetUrl = "http://www.oddsportal.com/matches/soccer/20180701/";
        private static String driversDir = @"../../Drivers/";

        static void Main(string[] args)
        {
            webDriver = new ChromeDriver(driversDir);
            webDriver.Navigate().GoToUrl(targetUrl);
            IWebElement table = webDriver.FindElement(By.Id("table-matches"));
            var innerHtml = table.GetAttribute("innerHTML");
        }

        #region (!) I didn't even use this, but it can be useful (!)
        public static IWebElement FindElement(By by)
        {
            try
            {
                WaitForAjax();
                var wait = new WebDriverWait(webDriver, defaultWait);
                return wait.Until(driver => driver.FindElement(by));
            }
            catch
            {
                return null;
            }
        }

        public static void WaitForAjax()
        {
            var wait = new WebDriverWait(webDriver, defaultWait);
            wait.Until(d => (bool)(d as IJavascriptExecutor).ExecuteScript("return jQuery.active == 0"));
        }
        #endregion
    }
}

方法＃3-模拟Ajax请求

如果使用Fiddler或浏览器的探查器（F12）分析页面加载，则可以看到所有数据都来自以下两个请求：

因此，您可以尝试使用HttpClient直接执行它们。但是在这种情况下，您可能需要跟踪授权标头，并且可能在每个HTTP请求中跟踪其他内容。