Почему этот код WebRequest медленный?

Я запросил 100 страниц, что все 404. Я написал

    {
    var s = DateTime.Now;
    for(int i=0; i < 100;i++)
        DL.CheckExist("http://google.com/lol" + i.ToString() + ".jpg");
    var e = DateTime.Now;
    var d = e-s;
        d=d;
        Console.WriteLine(d);
    }

static public bool CheckExist(string url)
{
    HttpWebRequest wreq = null;
    HttpWebResponse wresp = null;
    bool ret = false;

    try
    {
        wreq = (HttpWebRequest)WebRequest.Create(url);
        wreq.KeepAlive = true;
        wreq.Method = "HEAD";
        wresp = (HttpWebResponse)wreq.GetResponse();
        ret = true;
    }
    catch (System.Net.WebException)
    {
    }
    finally
    {
        if (wresp != null)
            wresp.Close();
    }
    return ret;
}

два прогона шоу проходит 00:00:30.7968750 и 00:00:26.8750000. Затем я попробовал firefox и использовал следующий код

<html>
<body>
<script type="text/javascript">
for(var i=0; i<100; i++)
    document.write("<img src=http://google.com/lol" + i + ".jpg><br>");
</script>

</body>
</html>

используя мое время компа и считая, что это было примерно 4 секунды. 4 секунды 6,5-7,5 быстрее, чем мое приложение. Я планирую сканировать тысячи файлов, поэтому использование 3.75 часов вместо 30 минут будет большой проблемой. Как сделать этот код быстрее? Я знаю, кто-то скажет Firefox кэши изображения, но я хочу сказать 1) он все еще должен проверить заголовки с удаленного сервера, чтобы увидеть, был ли он обновлен (что я хочу, чтобы мое приложение) 2) я не получаю тело, мой код должен запрашивать только заголовок. Итак, как мне решить эту проблему?

12
c# httpwebrequest httpwebresponse

7 ответов

вероятно, Firefox выдает сразу несколько запросов, тогда как ваш код делает их один за другим. Возможно, добавление потоков ускорит вашу программу.

2

Я заметил, что HttpWebRequest зависает при первом запросе. Я провел некоторое исследование, и, похоже, происходит то, что запрос настраивает или автоматически обнаруживает прокси. Если вы установите 

request.Proxy = null;

в объекте веб-запроса вы можете избежать начальной задержки.

С прокси-сервером автоматического обнаружения:

using (var response = (HttpWebResponse)request.GetResponse()) //6,956 ms
{
}

без прокси автоопределение:

request.Proxy = null;
using (var response = (HttpWebResponse)request.GetResponse()) //154 ms
{
}
52

измените код на асинхронный getresponse

public override WebResponse GetResponse() {
    •••
    IAsyncResult asyncResult = BeginGetResponse(null, null);
    •••
    return EndGetResponse(asyncResult);
}

Асинхронный Get

4

ответ изменяет HttpWebRequest / HttpWebResponse только на WebRequest/WebResponse. Это решило проблему.

1

вы пытались открыть тот же URL в IE на машине, на которой развернут ваш код? Если это машина Windows Server, то иногда это потому, что url-адрес, который вы запрашиваете, не находится в списке безопасных сайтов IE (который HttpWebRequest работает). Вам просто нужно добавить его.

У вас есть больше информации вы могли бы разместить? Я делаю что-то подобное и сталкивался с тоннами проблем с HttpWebRequest раньше. Все уникально. Поэтому больше информации поможет.

BTW, вызов в этом случае использование асинхронных методов не поможет. Это не сокращает время загрузки. Он просто не блокирует вызывающий поток, вот и все.

0

закройте поток ответов, когда вы закончите, поэтому в вашем checkExist () добавьте wresp.Закрыть () после wresp = (HttpWebResponse) wreq.GetResponse ();

0

OK если вы получаете код состояния 404 для всех веб-страниц, то это связано с не указанием учетных данных. Поэтому вам нужно добавить 

wreq.Credentials = CredentialCache.DefaultCredentials;

тогда вы также можете столкнуться с кодом состояния= 500 для этого вам нужно указать User Agent. Что-то вроде ниже строки

wreq.UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:2.0) Gecko/20100101 Firefox/4.0";

"экземпляр WebClient по умолчанию не отправляет необязательные заголовки HTTP. Если для запроса требуется необязательный заголовок, его необходимо добавить в коллекцию Headers. Для например, чтобы сохранить запросы в ответе, необходимо добавить заголовок user-agent. Кроме того, серверы могут возвращать 500 (Внутренняя ошибка сервера), если отсутствует заголовок агента пользователя."

ссылка: https://msdn.microsoft.com/en-us/library/system.net.webclient(v=vs. 110).aspx

чтобы улучшить производительность HttpWebrequest, вам нужно добавить

wreq.Proxy=null

теперь код будет выглядеть так:

 static public bool CheckExist(string url)
{
    HttpWebRequest wreq = null;
    HttpWebResponse wresp = null;
    bool ret = false;

try
{
    wreq = (HttpWebRequest)WebRequest.Create(url);
    wreq.Credentials = CredentialCache.DefaultCredentials;
    wreq.Proxy=null;
    wreq.UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:2.0) Gecko/20100101 Firefox/4.0";
    wreq.KeepAlive = true;
    wreq.Method = "HEAD";
    wresp = (HttpWebResponse)wreq.GetResponse();
    ret = true;
}
catch (System.Net.WebException)
{
}
finally
{
    if (wresp != null)
        wresp.Close();
}
return ret;

}

0