InputStream из URL-адреса
как получить InputStream из URL-адреса?
например, я хочу взять файл по URL wwww.somewebsite.com/a.txt
и прочитайте его как InputStream в Java, через сервлет.
Я пробовал
InputStream is = new FileInputStream("wwww.somewebsite.com/a.txt");
но то, что я получил сообщение об ошибке:
java.io.FileNotFoundException
6 ответов
использовать java.net.URL#openStream()
С правильным URL (включая протокол!). Е. Г.
InputStream input = new URL("http://www.somewebsite.com/a.txt").openStream();
// ...
Читайте также:
(a)wwww.somewebsite.com/a.txt
не является "URL-адресом файла". Это вообще не URL. Если поставить http://
на передней панели это будет HTTP-URL, что явно то, что вы намерены здесь.
(b)FileInputStream
для файлов, а не ссылок.
(c) способ получения входного потока из любой URL-адрес через URL.openStream(),
или URL.getConnection().getInputStream(),
что эквивалентно, но у вас могут быть другие причины, чтобы получить URLConnection
и играть с ним в первую очередь.
ваш исходный код использует FileInputStream, который предназначен для доступа к файлам, размещенным в файловой системе.
конструктор, который вы использовали, попытается найти файл с именем a.txt в www.somewebsite.com подпапка текущего рабочего каталога (значение системного свойства user.dir.) Введенное имя будет решен в файл с помощью класса file.
объекты URL являются общим способом решения этой проблемы. URL-адреса можно использовать для доступа к локальным файлам,а также к сетевым ресурсам. Класс URL поддерживает протокол file://, кроме http:// или https://, поэтому вам хорошо идти.
вот полный пример, который читает содержимое данной веб-страницы.
Веб-страница считывается из HTML-формы. Мы используем стандарт InputStream
классы, но это можно было бы сделать более легко с библиотекой JSoup.
<dependency>
<groupId>javax.servlet</groupId>
<artifactId>javax.servlet-api</artifactId>
<version>3.1.0</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>commons-validator</groupId>
<artifactId>commons-validator</artifactId>
<version>1.6</version>
</dependency>
это зависимости Maven. Мы используем библиотеку Apache Commons Для проверки строк URL.
package com.zetcode.web;
import com.zetcode.service.WebPageReader;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import javax.servlet.ServletException;
import javax.servlet.ServletOutputStream;
import javax.servlet.annotation.WebServlet;
import javax.servlet.http.HttpServlet;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
@WebServlet(name = "ReadWebPage", urlPatterns = {"/ReadWebPage"})
public class ReadWebpage extends HttpServlet {
@Override
protected void doGet(HttpServletRequest request, HttpServletResponse response)
throws ServletException, IOException {
response.setContentType("text/plain;charset=UTF-8");
String page = request.getParameter("webpage");
String content = new WebPageReader().setWebPageName(page).getWebPageContent();
ServletOutputStream os = response.getOutputStream();
os.write(content.getBytes(StandardCharsets.UTF_8));
}
}
The ReadWebPage
сервлет считывает содержимое данной веб-страницы и отправляет ее обратно клиенту в текстовом формате. Задача чтения страницы делегировано WebPageReader
.
package com.zetcode.service;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;
import java.nio.charset.StandardCharsets;
import java.util.logging.Level;
import java.util.logging.Logger;
import java.util.stream.Collectors;
import org.apache.commons.validator.routines.UrlValidator;
public class WebPageReader {
private String webpage;
private String content;
public WebPageReader setWebPageName(String name) {
webpage = name;
return this;
}
public String getWebPageContent() {
try {
boolean valid = validateUrl(webpage);
if (!valid) {
content = "Invalid URL; use http(s)://www.example.com format";
return content;
}
URL url = new URL(webpage);
try (InputStream is = url.openStream();
BufferedReader br = new BufferedReader(
new InputStreamReader(is, StandardCharsets.UTF_8))) {
content = br.lines().collect(
Collectors.joining(System.lineSeparator()));
}
} catch (IOException ex) {
content = String.format("Cannot read webpage %s", ex);
Logger.getLogger(WebPageReader.class.getName()).log(Level.SEVERE, null, ex);
}
return content;
}
private boolean validateUrl(String webpage) {
UrlValidator urlValidator = new UrlValidator();
return urlValidator.isValid(webpage);
}
}
WebPageReader
проверяет URL-адрес и считывает содержимое веб-страницы.
Она возвращает строку, содержащую HTML-код страницы.
<!DOCTYPE html>
<html>
<head>
<title>Home page</title>
<meta charset="UTF-8">
</head>
<body>
<form action="ReadWebPage">
<label for="page">Enter a web page name:</label>
<input type="text" id="page" name="webpage">
<button type="submit">Submit</button>
</form>
</body>
</html>
наконец, это домашняя страница, содержащая форму HTML. Это взято из моего учебник об этой теме.
С некоторым успехом я использую этот метод. Это обрабатывает редиректы и можно передать переменное число HTTP-заголовки asMap<String,String>
. Это тоже позволяет перенаправлять с HTTP на HTTPS.
private InputStream urlToInputStream(URL url, Map<String, String> args) {
HttpURLConnection con = null;
InputStream inputStream = null;
try {
con = (HttpURLConnection) url.openConnection();
con.setConnectTimeout(15000);
con.setReadTimeout(15000);
if (args != null) {
for (Entry<String, String> e : args.entrySet()) {
con.setRequestProperty(e.getKey(), e.getValue());
}
}
con.connect();
int responseCode = con.getResponseCode();
/* By default the connection will follow redirects. The following
* block is only entered if the implementation of HttpURLConnection
* does not perform the redirect. The exact behavior depends to
* the actual implementation (e.g. sun.net).
* !!! Attention: This block allows the connection to
* switch protocols (e.g. HTTP to HTTPS), which is <b>not</b>
* default behavior. See: https://stackoverflow.com/questions/1884230
* for more info!!!
*/
if (responseCode < 400 && responseCode > 299) {
String redirectUrl = con.getHeaderField("Location");
try {
URL newUrl = new URL(redirectUrl);
return urlToInputStream(newUrl, args);
} catch (MalformedURLException e) {
URL newUrl = new URL(url.getProtocol() + "://" + url.getHost() + redirectUrl);
return urlToInputStream(newUrl, args);
}
}
/*!!!!!*/
inputStream = con.getInputStream();
return inputStream;
} catch (Exception e) {
throw new RuntimeException(e);
}
}
пример вызова
private InputStream getInputStreamFromUrl(URL url, String user, String passwd) throws IOException {
String encoded = Base64.getEncoder().encodeToString((user + ":" + passwd).getBytes(StandardCharsets.UTF_8));
Map<String,String> httpHeaders=new Map<>();
httpHeaders.put("Accept", "application/json");
httpHeaders.put("User-Agent", "myApplication");
httpHeaders.put("Authorization", "Basic " + encoded);
return urlToInputStream(url,httpHeaders);
}