Я нашел / проверил проблему, проверив http-коммуникации с помощью WireShark. Есть ли способ обойти это

это невозможно. Связь через SSL-сокет полностью скрыта от случайного наблюдения протоколом шифрования. Используя программное обеспечение для захвата пакетов, вы сможете просмотреть инициализацию SSL-соединения и обмен зашифрованными пакетами, но содержимое этих пакетов может быть извлечено только на другом конце соединение (сервер). Если бы это было не так, то протокол HTTPS в целом был бы сломанные, поскольку весь смысл в том, чтобы защитить HTTP-связь от атак типа "человек в середине" (где в этом случае MITM является сниффером пакетов).

пример захвата запроса HTTPS (частичный):

.северный....Е... .........../..5..3..9..2..8.. ..............@........................КЖ.{...си....ЛРН..!.4.$.Т...-.-.Т....Вопрос:..М..КЖ.{...ЛЮМЕН..Л...ГМ.М...........s. ...n ... p^0}..I..G4.HK.n......8Y...............E ... A..> ... 0 ... 0......... ).с.......Ноль ..*.Х.. .....0F1.0...у....США1.0...США . Google В Ходе МКП-1"0 ..У....Google Internet Authority0.. 130327132822Z. 131231155850Z0h1.0 ... U....US1.0 ... U... California1.0...У... Горы Представление1.0...У. . Google Inc1.0 ... U....www.Гугл.com0..0

теоретически единственный способ узнать, если ваш User-Agent заголовок фактически исключается, если у вас есть доступ к серверам Google, но на самом деле нет ничего в спецификации HTTPS или реализации Java, которая исключает заголовки, которые обычно были бы отправлены по HTTP.

пример захвата HTTP-запроса:

GET/HTTP / 1.1
User-Agent: Mozilla/5.0 (Windows NT 5.1; rv:19.0) Gecko/20100101 Firefox / 19.0
Хозяин: www.google.com
Примите: текст / html, изображение / gif, изображение / jpeg,*; q=.2, /; q=.2
Соединение: keep-alive

оба примера захвата были сгенерированы с помощью точно тот же код:

URL url = new URL(target);
URLConnection conn = url.openConnection();
conn.setRequestProperty("User-Agent",
        "Mozilla/5.0 (Windows NT 5.1; rv:19.0) Gecko/20100101 Firefox/19.0");
conn.connect();
BufferedReader serverResponse = new BufferedReader(
        new InputStreamReader(conn.getInputStream()));
System.out.println(serverResponse.readLine());
serverResponse.close();

за исключением того, что для HTTPS целью было"https://www.google.com", а для HTTP это было"http://www.google.com".

изменить 1:

на основе вашего обновленного вопроса, используя -Dhttp.agent свойства действительно добавьте "Java / version" в заголовок агента пользователя, как описано в следующая документация:

протоколу HTTP.агент!--16--> (по умолчанию: "Java/")
Определяет строку, отправленную в заголовке запроса User-Agent в http-запросах. Обратите внимание, что строка "Java/" будет добавлена к строке, указанной в собственность (например, если -Dhttp.agent=используется" foobar", заголовок User-Agent будет содержать" Foobar Java/1.5.0", если версия виртуальной машины 1.5.0). Это свойство проверяется только один раз при запуске.

"оскорбительный" код находится в статическом инициализаторе блока sun.net.www.protocol.http.HttpURLConnection:

static {
    // ...
    String agent = java.security.AccessController
            .doPrivileged(new sun.security.action.GetPropertyAction(
                    "http.agent"));
    if (agent == null) {
        agent = "Java/" + version;
    } else {
        agent = agent + " Java/" + version;
    }
    userAgent = agent;

    // ...
}

непристойным способом обойти эту "проблему" является этот фрагмент кода, который я 1000% рекомендую вам не использование:

protected void forceAgentHeader(final String header) throws Exception {
    final Class<?> clazz = Class
            .forName("sun.net.www.protocol.http.HttpURLConnection");

    final Field field = clazz.getField("userAgent");
    field.setAccessible(true);
    Field modifiersField = Field.class.getDeclaredField("modifiers");
    modifiersField.setAccessible(true);
    modifiersField.setInt(field, field.getModifiers() & ~Modifier.FINAL);
    field.set(null, header);
}

использование этого переопределения с https.proxyHost, https.proxyPort и http.agent set дает желаемый результат:

подключение www.google.com:443 HTTP / 1.1
User-Agent: Mozilla/5.0 (Windows NT 5.1; rv:19.0) Gecko/20100101 Firefox / 19.0
Ведущий: www.google.com
Примите: текст / html, изображение / gif, изображение / jpeg,*; q=.2, /; q=.2
Прокси-соединение: keep-alive

Но да, не делай этого. Гораздо безопаснее просто использовать Apache HttpComponents:

final DefaultHttpClient client = new DefaultHttpClient();
HttpHost proxy = new HttpHost("127.0.0.1", 8888, "http");
HttpHost target = new HttpHost("www.google.com", 443, "https");
client.getParams().setParameter(ConnRoutePNames.DEFAULT_PROXY, proxy);
HttpProtocolParams
        .setUserAgent(client.getParams(),
                "Mozilla/5.0 (Windows NT 5.1; rv:19.0) Gecko/20100101 Firefox/19.0");
final HttpGet get = new HttpGet("/");

HttpResponse response = client.execute(target, get);