Python爬虫：寻找并分析百度云的转存api
寻找并分析百度云的转存api
首先你得有一个百度云盘的账号，然后登录，用浏览器（这里用火狐浏览器做示范）打开一个分享链接。f12打开控制台进行抓包。手动进行转存操作：全选文件->保存到网盘->选择路径->确定。点击【确定】前建议先清空一下抓包记录，这样可以精确定位到转存的api，这就是我们中学时学到的【控制变量法】2333。
可以看到上图中抓到了一个带有 “transfer” 单词的 post 请求，这就是我们要找的转存（transfer）api 。接下来很关键，就是分析它的请求头和请求参数，以便用代码模拟。
点击它，再点击右边的【cookies】就可以看到请求头里的 cookie 情况。
cookie分析
因为转存是登录后的操作，所以需要模拟登录状态，将与登录有关的 cookie 设置在请求头里。我们继续使用【控制变量法】，先将浏览器里关于百度的 cookie 全部删除（在右上角的设置里面，点击【隐私】，移除cookies。具体做法自己百度吧。）
然后登录，右上角进入浏览器设置->隐私->移除cookie，搜索 bai 观察 cookie 。这是所有跟百度相关的 cookie ，一个个删除，删一个刷新一次百度的页面，直到删除了 bduss ，刷新后登录退出了，所以得出结论，它就是与登录状态有关的 cookie 。
同理，删除掉 stoken 后，进行转存操作会提示重新登录。所以，这两个就是转存操作所必须带上的 cookie 。
弄清楚了 cookie 的情况，可以像下面这样构造请求头。
除了上面说到的两个 cookie ，其他的请求头参数可以参照手动转存时抓包的请求头。这两个 cookie 预留出来做参数的原因是 cookie 都是有生存周期的，过期了需要更新，不同的账号登录也有不同的 cookie 。
参数分析
接下来分析参数，点击【cookies】右边的【params】查看参数情况。如下：
上面的query string（也就是？后跟的参数）里，除了框起来的shareid、from、bdstoken需要我们填写以外，其他的都可以不变，模拟请求的时候直接抄下来。
前两个与分享的资源有关，bdstoken与登录的账号有关。下面的form data里的两个参数分别是资源在分享用户的网盘的所在目录和刚刚我们点击保存指定的目录。
所以，需要我们另外填写的参数为：shareid、from、bdstoken、filelist 和 path，bdstoken 可以手动转存抓包找到，path 根据你的需要自己定义，前提是你的网盘里有这个路径。其他三个需要从分享链接里爬取，这个将在后面的【爬取shareid、from、filelist，发送请求转存到网盘】部分中进行讲解。
搞清楚了参数的问题，可以像下面这样构造转存请求的 url 。
爬取shareid、from、filelist，发送请求转存到网盘
以上面这个资源链接为例（随时可能被河蟹，但是没关系，其他链接的结构也是一样的），我们先用浏览器手动访问，f12 打开控制台先分析一下源码，看看我们要的资源信息在什么地方。控制台有搜索功能，直接搜 “shareid”。
定位到4个shareid，前三个与该资源无关，是其他分享资源，最后一个定位到该 html 文件的最后一个标签块里。双击后可以看到格式化后的 js 代码，可以发现我们要的信息全都在里边。如下节选：
可以看到这两行
yundata.path 只指向了一个路径信息，完整的 filelist 可以从 yundata.fileinfo 里提取，它是一个 json ，list 里的信息是unicode编码的，所以在控制台看不到中文，用python代码访问并获取输出一下就可以了。
直接用request请求会收获 404 错误，可能是需要构造请求头参数，不能直接请求，这里博主为了节省时间，直接用selenium的webdriver来get了两次，就收到了返回信息。第一次get没有任何 cookie ，但是baidu 会给你返回一个baiduid ，在第二次 get 就可以正常访问了。
yundata.fileinfo 结构如下，你可以将它复制粘贴到json.cn里，可以看得更清晰。
清楚了这三个参数的位置，我们就可以用正则表达式进行提取了。代码如下：
爬取到了这三个参数，就可以调用之前的 transfer 方法进行转存了。
LM1877双路音频功率放大器
解读电力系统中的GPS北斗卫星同步时钟系统
智能家居推广的关键点在哪
ALTERA FPGA在微处理器系统中的在应用配置
国产EDA创新不止步，2023砥砺前行
Python爬虫：寻找并分析百度云的转存api
美博空调联手京东发起产业扶贫攻坚行动 助力岳西农产品“走出大山”
iOS 14.4开发人员检测iPhone非正版相机时将弹出错误消息
蔡浩轩：数字货币投资内功心法，过时不候！
先进的超声波镜头清洁芯片组可实现自清洁摄像头和传感器
基于物联网的语音控制智能火箭点火器
Quake Global推出Q-Pro卫星数据调制解调器
中国5G发展屡遭排挤，华为和中兴接连收到海外禁令
新增订单金额创历史新高！ASML发布2022年第三季度财报
智能仓储中电子标签拣选的过程是怎样的
瑞萨或出售移动芯片业务，转战汽车和工业芯片市场
张钹院士畅谈了清华是怎样办人工智能专业的
基于工业无线DTU的空气污染监测防治方案
关于区块链的未来一个大预测
电路图形符号大全，教你看懂电路图
首先你得有一个百度云盘的账号，然后登录，用浏览器（这里用火狐浏览器做示范）打开一个分享链接。f12打开控制台进行抓包。手动进行转存操作：全选文件->保存到网盘->选择路径->确定。点击【确定】前建议先清空一下抓包记录，这样可以精确定位到转存的api，这就是我们中学时学到的【控制变量法】2333。
可以看到上图中抓到了一个带有 “transfer” 单词的 post 请求，这就是我们要找的转存（transfer）api 。接下来很关键，就是分析它的请求头和请求参数，以便用代码模拟。
点击它，再点击右边的【cookies】就可以看到请求头里的 cookie 情况。
cookie分析
因为转存是登录后的操作，所以需要模拟登录状态，将与登录有关的 cookie 设置在请求头里。我们继续使用【控制变量法】，先将浏览器里关于百度的 cookie 全部删除（在右上角的设置里面，点击【隐私】，移除cookies。具体做法自己百度吧。）
然后登录，右上角进入浏览器设置->隐私->移除cookie，搜索 bai 观察 cookie 。这是所有跟百度相关的 cookie ，一个个删除，删一个刷新一次百度的页面，直到删除了 bduss ，刷新后登录退出了，所以得出结论，它就是与登录状态有关的 cookie 。
同理，删除掉 stoken 后，进行转存操作会提示重新登录。所以，这两个就是转存操作所必须带上的 cookie 。
弄清楚了 cookie 的情况，可以像下面这样构造请求头。
除了上面说到的两个 cookie ，其他的请求头参数可以参照手动转存时抓包的请求头。这两个 cookie 预留出来做参数的原因是 cookie 都是有生存周期的，过期了需要更新，不同的账号登录也有不同的 cookie 。
参数分析
接下来分析参数，点击【cookies】右边的【params】查看参数情况。如下：
上面的query string（也就是？后跟的参数）里，除了框起来的shareid、from、bdstoken需要我们填写以外，其他的都可以不变，模拟请求的时候直接抄下来。
前两个与分享的资源有关，bdstoken与登录的账号有关。下面的form data里的两个参数分别是资源在分享用户的网盘的所在目录和刚刚我们点击保存指定的目录。
所以，需要我们另外填写的参数为：shareid、from、bdstoken、filelist 和 path，bdstoken 可以手动转存抓包找到，path 根据你的需要自己定义，前提是你的网盘里有这个路径。其他三个需要从分享链接里爬取，这个将在后面的【爬取shareid、from、filelist，发送请求转存到网盘】部分中进行讲解。
搞清楚了参数的问题，可以像下面这样构造转存请求的 url 。
爬取shareid、from、filelist，发送请求转存到网盘
以上面这个资源链接为例（随时可能被河蟹，但是没关系，其他链接的结构也是一样的），我们先用浏览器手动访问，f12 打开控制台先分析一下源码，看看我们要的资源信息在什么地方。控制台有搜索功能，直接搜 “shareid”。
定位到4个shareid，前三个与该资源无关，是其他分享资源，最后一个定位到该 html 文件的最后一个标签块里。双击后可以看到格式化后的 js 代码，可以发现我们要的信息全都在里边。如下节选：
可以看到这两行
yundata.path 只指向了一个路径信息，完整的 filelist 可以从 yundata.fileinfo 里提取，它是一个 json ，list 里的信息是unicode编码的，所以在控制台看不到中文，用python代码访问并获取输出一下就可以了。
直接用request请求会收获 404 错误，可能是需要构造请求头参数，不能直接请求，这里博主为了节省时间，直接用selenium的webdriver来get了两次，就收到了返回信息。第一次get没有任何 cookie ，但是baidu 会给你返回一个baiduid ，在第二次 get 就可以正常访问了。
yundata.fileinfo 结构如下，你可以将它复制粘贴到json.cn里，可以看得更清晰。
清楚了这三个参数的位置，我们就可以用正则表达式进行提取了。代码如下：
爬取到了这三个参数，就可以调用之前的 transfer 方法进行转存了。
LM1877双路音频功率放大器
解读电力系统中的GPS北斗卫星同步时钟系统
智能家居推广的关键点在哪
ALTERA FPGA在微处理器系统中的在应用配置
国产EDA创新不止步，2023砥砺前行
Python爬虫：寻找并分析百度云的转存api
美博空调联手京东发起产业扶贫攻坚行动 助力岳西农产品“走出大山”
iOS 14.4开发人员检测iPhone非正版相机时将弹出错误消息
蔡浩轩：数字货币投资内功心法，过时不候！
先进的超声波镜头清洁芯片组可实现自清洁摄像头和传感器
基于物联网的语音控制智能火箭点火器
Quake Global推出Q-Pro卫星数据调制解调器
中国5G发展屡遭排挤，华为和中兴接连收到海外禁令
新增订单金额创历史新高！ASML发布2022年第三季度财报
智能仓储中电子标签拣选的过程是怎样的
瑞萨或出售移动芯片业务，转战汽车和工业芯片市场
张钹院士畅谈了清华是怎样办人工智能专业的
基于工业无线DTU的空气污染监测防治方案
关于区块链的未来一个大预测
电路图形符号大全，教你看懂电路图