java爬取网页数据示例

要使用Java爬取网页数据，你可以使用Jsoup库。Jsoup是一个开源的Java HTML解析器，可以方便地处理HTML文档，提取所需的数据。

以下是一个使用Jsoup库进行网页数据爬取的示例代码：

javaCopy Codeimport org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;

public class WebScraper {
    public static void main(String[] args) {
        String url = "https://example.com";

        try {
            // 发送网络请求，获取网页内容
            Document document = Jsoup.connect(url).get();

            // 提取数据，这里以提取标题和链接为例
            Elements titles = document.select("h2");
            Elements links = document.select("a");

            // 打印提取的数据
            for (Element title : titles) {
                System.out.println(title.text());
            }

            for (Element link : links) {
                System.out.println(link.attr("href"));
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

在上述示例中，我们首先导入了org.jsoup包，并使用Jsoup.connect(url).get()方法发送网络请求，获取指定URL的网页内容。然后，使用select()方法和CSS选择器来提取所需的数据，例如"h2"表示提取所有<h2>标签的内容，"a"表示提取所有<a>标签的内容。

最后，我们通过遍历提取到的元素并使用text()方法获取文本内容，或使用attr("href")方法获取<a>标签中的链接。

请确保在进行网页数据爬取时遵守相关法律法规和网站的使用协议，以及设置适当的请求延迟和频率，以避免对目标网站造成过大负载和干扰。