那一抹温暖的阳光,是我们永恒的向往。
www.yangmufa.com

Internet worm(Java网络爬虫-虎牙篇)

jsoup虎牙篇

IDE:Idea:


package InternetWorm.huyaData;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;

public class GetHY {

    public static String[] games ={"wzry","3203","lol"};
    public static String URL = "https://www.huya.com/g/";

    public static void main(String[] args) throws IOException{

        for(String g :games){

            System.out.println("------------------------------------------------------"+g+"爬取开始了哟......");
            System.out.println("                                                              "+URL+g);

            Document doc = Jsoup.connect(URL+g)
                    .data("query","Java")
                    .userAgent("Crome")
                    .cookie("auth","token")
                    .timeout(3000).post();

//            Document doc =  Jsoup.connect(URL+g).get();
            Elements gameItmes = doc.select(".game-live-item");

            for(Element gi:gameItmes){

                String Title = gi.select("a").get(1).text();
                String Name = gi.select(".avatar").get(0).text();
                String Number = gi.select(".num").get(0).text();
                if(Number.endsWith("万")){
                    String n = Number.substring(0,Number.length()-1);
                    Number = (int)Double.parseDouble(n)*10000+"";
                }
                System.out.println(Title+"---"+Name+"---"+Number);

            }
            System.out.println("------------------------------------------------------------------"+g+"爬取结束!\n");

        }

    }

}

运行结果:

/*——————-反爬声明o(*////▽////*)咻咻咻——————–

作者:杨木发
版权声明:
       本文为博主倾情原创文章,整篇转载请附上源文链接!

如果觉得本文对你有所收获,你的请评论点赞 与

合理优质的转发也将是鼓励支持我继续创作的动力,

 更多精彩可百度搜索 杨木发 或:

个人网站:www.yangmufa.com    ,

开源中国:https://my.oschina.net/yangmufa    ,

Gitee:https://gitee.com/yangmufa    ,

GitHub:https://github.com/yangmufa    。

坚持创作 善于总结 开源共享 高质进步。
——————-反爬声明o(*////▽////*)咻咻咻——————–*/

时间:2019-12-08
分类:Java
标签: ,

你好!你目前的身份是游客,请输入昵称和电邮

Search