胶博士

2020-10-22阅读(302)评论(0)

写在前面爬虫是 Python 的一个常见应用场景，很多练习项目就是让大家去爬某某网站爬取网页的时候，你大概率会碰到一些反爬措施这种情况下，你该如何应对呢？本文梳理了常见的反爬措施和应对方案接着往下看吧本文章原本链接https://syjun.vip/archives/271.html通过User-Agent来控制访问无论是浏览器还是爬虫程序，在向服务器发起网...

2020-10-15阅读(311)评论(0)

因朋友需要, 本人帮朋友写了一个爬取链家网小区详情的爬虫. 正好闲暇无事就又爬取了几个网站的小区详情信息.源码和小区数据都放在了github上, 可以在最下方找到github项目链接查看代码的部分截图:运行中部分截图: 采集到的数据: 项目地址: https://github.com/anyuhanfei/community_dict

2020-10-2阅读(371)评论(0)

如题，最近喜欢上折腾rss，就差rss订阅源。最近新上架了一个应用，抓包接口，从里面爬取一些rss源。没时间去学python，但是又想去尝试写，结果多线程写出来的比java慢很多，就放单线程代码上来吧。感兴趣的也可以帮忙修改下放评论区（随机user-agent+代{过}{滤}理ip），不然十万多条数据，估计给封ip接口从1到十万多，因为中间有些rss是失效的...

2020-9-14阅读(407)评论(0)

import webbrowser def click(): webbrowser.open(path) path = "https://www.tujigu.com/a/28708" click() import re import urllib.request as request import random import os ...

2020-9-13阅读(439)评论(0)

代码仅供学习和交流以下是正文和代码：1.进入某头条的官网，目前是叫阳光宽频网，就提取首页的内容2.通过分析出json数据的链接，并的得到出首页数据的链接：http://www.365yg.com/xigua/feed/?ChannelID=6797027941&Count=10&UseHQ=true（其中这个channelid是固定的，cou...

2020-9-3阅读(361)评论(0)

想要编写一个爬虫，不管用什么语言最重要的都是先获取所需要的内容在网页中的位置，就是说我们要获取到他的唯一标识，就比如根据标签的id或class，id和class获取的区别在于，id是唯一的，所以只会获取到一条数据，而class则不一样，一个页面可能会有多条class，所以如果要根据class获取数据，你需要找到你所需要的数据在第几个class，当然除了根据i...

2020-9-1阅读(374)评论(0)

美图录：https://www.meitulu.com/需安装：requests，lxml使用方法：  单线程，大佬可以写个多线程下载多线程开多个窗口运行就行新手勿喷#coding=utf-8 import os,time,requests,re from lxml import etree headers = { ...

2020-9-1阅读(408)评论(0)

本帖子分享小说爬虫实现过程，代码有什么问题请各位大神不吝指教1.导包，一般需要这两个包，包的下载方法就不说了，网上都有import requestsfrom bs4 import BeautifulSoup2.跟Java爬虫类似，爬虫的核心就是根据网址获取网页对象def download_page(url): data = requests.get...

2020-8-28阅读(400)评论(0)

shell---wget命令 爬一个网站 wget --mirror --convert-links --adjust-extension --page-requisites --retry-connrefused --exclude-directories=comments -U "Mozilla/5.0 (Macintosh; Intel...

2020-8-28阅读(420)评论(0)

写在前面项目源码地址 https://github.com/oGsLP/kuaishou-crawler代码功能如题，根据快手用户的id来爬取用户所有公开作品，包括图集和视频。原理：其实就是利用基于chromium内核的浏览器自带的devtools对所有请求进行排查找出包含作品链接的请求，然后用代码模拟请求去获得数据，再根据url下载作品保存就行了...