您的位置 首页 php

Spring boot + Jsoup 搭建,解析系统接口只需1分钟

前几天有个小姐姐想看《天使陷落》的大片问有没有资源的渠道。本着不给广大程序小老哥的脸,想也没想的就答应给小姐姐找资源。但是凄惨的是把以前经常用的网站烦了个遍都没有。

890d29167ee64772aed3bacb005196eb

这点小问题肯定难不到勤奋的小老弟,一通谷歌、百度、dogedoge终于找了可靠资源。

既然现在资源这么匮乏,网站都找到了何不试试抓包看看接口。说干就干,按照一贯的操作流程,打开Chrome->开发者工具->NextWork->All

2089daa85e494ea093a5992b8f0bbed3

经过一顿猛操作终于于发现接口,其实就是通过调用视频唯一标识来获取到原视频播放地址。

6a550599b98e4994a46e50dd4a62025d

到这一步的时候,已经是觉得都成了,可是打开Postman跑接口一看,人都傻了。

c7b6c2e0e35d4e6789d57d6b157f33a0

根本就没有返回视频播放源的地址,当然对于爬虫分析都得有耐心,像这种通过Postman跑出来的数据和浏览器控制台抓的数据不一样,大几率就是header参数缺失的问题,知道问题出在哪里问题就迎刃而解。然后一个一个参数的copy过来果不其然少了一个referer参数。

59b26381ffe54071811a51ad5713cf7d

接口参数抓到了就开始拿到我们需要的video路径。我们请求接口的参数返回的是html代码块。

<!DOCTYPE html><html> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0, user-scalable=no"> <meta name="referrer" content="never"> <title>电影盒子</title> <link rel="stylesheet" href="#34;> <style type="text/css">body, html, .dplayer { padding: 0; margin: 0; width: 100%; height: 100%; background-color:#000; }a { text-decoration: none; }</style> </head> <body> <div id="player" class="dplayer"></div> <script src="#34;></script> <script src="#34;></script> <script type="text/javascript"> var isiPad = navigator.userAgent.match(/iPad|iPhone|Android|Linux|iPod/i) != null; if(isiPad){ document.getElementById('player').innerHTML = ' <video src="#34; controls="controls" preload="preload" poster="#34; width="100%" height="100%" x-webkit-airplay="allow"></video>'; }else { var pic = ""; var dplayer = new DPlayer({ element: document.getElementById("player"), autoplay: true, hotkey: true, preload: 'auto', video: { url: '#39;, pic: '#39; } }); } </script> <script>var _hmt = _hmt || [];(function() { var hm = document.createElement("script"); hm.src = "#34;; var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(hm, s);})();</script> </body></html> 

这个时候我们可以通过正则从下面代码块里,拿到video标签里面的src值。

<video src="#34; controls="controls" preload="preload" poster="#34; width="100%" height="100%" x-webkit-airplay="allow"></video> 

说干就干,打开强大的IEDA,新建Spring boot项目。在Maven配置pom.xml加入Jsoup解析插件。

<dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.8.1</version></dependency> 

先通过Jsoup调用之前抓取到的接口解析得到Html。

/** *  * * @Param null * @Author:tianminghai * @Date:5:28 PM 2019/11/15 */ public static String getVideoUrlForFengGou(String apiUrl,String refeurl)throws Exception{ // 参数详情  采集 apiUrl = "#34;; refeurl = "#34;; Document html = null; try { html = Jsoup.connect(apiUrl).header("referer",refeurl).get(); } catch (IOException e) { throw e; } String videoUrl = getHtmlVideoStr(html.outerHtml()).get("src"); System.out.print("------原始数据:"+getHtmlVideoStr(html.outerHtml())); if (videoUrl.contains("download.weiyun.com")){ return videoUrl; }else { throw new Exception("数据解析问题"); } } 

具体通过正则表达式解析网页得到video中的src值方法。

/** *得到html中的 video src * * @Param null * @Author:tianminghai * @Date:5:25 PM 2019/11/15 */ public static Map<String, String> getHtmlVideoStr(String htmlStr) { Map<String, String> pics = new HashMap<String, String>(); String regEx_video="<video.*src\\s*=\\s*(.*?)[^>]*?>"; Pattern p = Pattern.compile(regEx_video,Pattern.CASE_INSENSITIVE); Matcher m = p.matcher(htmlStr); String video=""; Map<String, String> maps = new HashMap<String, String>(); while (m.find()) { video=m.group(); Matcher mPoster = Pattern.compile("poster\\s*=\\s*\"?(.*?)(\"|>|\\s+)").matcher(video); Matcher mSrc = Pattern.compile("src\\s*=\\s*\"?(.*?)(\"|>|\\s+)").matcher(video); String poster =""; String src=""; while (mPoster.find()){ poster=mPoster.group(1); } while (mSrc.find()){ src=mSrc.group(1); } maps.put("poster", poster); maps.put("src", src); maps.put("srcs", src); } return maps; } 

这个时候一切都准备就绪就差把数据通过接口来实现了,新建一个Controller。

@RestControllerpublic class VideoController { @RequestMapping(value = "/video") public ResultModel test(){  ResultModel resultModel = new ResultModel(); resultModel.setMsg("成功"); try { resultModel.setCode(JsonConfigModel.SUSSESS); JSONObject obj = new JSONObject(); obj.put("url",VideoUtils.getVideoUrlForFengGou("","")); resultModel.setObj(obj); } catch (Exception e) { resultModel.setCode(JsonConfigModel.ERROR_VIDEO); }  return resultModel; }} 

小程序访问接口看看到底能不能观看视频。新建一个小程序项目,添加一个视频播放组件。Vide.WXML;

<cu-custom bgColor="bg-main" isBack="{{true}}"> <view slot="backText">返回</view> <view slot="content">列表</view> </cu-custom><view class="section tc"> <video id="myVideo" src="{{voideUrl}}" enable-danmu danmu-btn controls> </video></view> 

Video.js

var http = require('../../utils/httputils.js');Page({ data: { voideUrl:''  }, onLoad: function (options) { var that = this; console.log("-------") var prams = { username: "1111", password: "123456" } http.getRequest("#34;, prams, function (res) { console.log("----aa---"+res.obj.url) that.setData({ voideUrl:res.obj.url, }) }, function (err) { })  }, onReady() {  } }); 

万事具备,来给我动作整齐划一的走起!

55cf023d60164fe68e724e3f42db5ba6

那么问题来了,今天下午小姐姐约我去吃饭,老哥们能否指点招?

文章来源:智云一二三科技

文章标题:Spring boot + Jsoup 搭建,解析系统接口只需1分钟

文章地址:https://www.zhihuclub.com/38675.shtml

关于作者: 智云科技

热门文章

网站地图