乱码是因为没有设置文件格式，存在esc是因为颜色问题，阅读器无法渲染。解决配置如下 import re # 自定义formatter，匹配常见的ANSI转义序列，处理日志中的esc字符 class NoColorFormatter(logging.Formatter): def format(self, record): ansi_escape = re.compile(r'\x1B(?:[@-Z\\-_]|\[[0-?]*[ -/]*[@-~])') record.msg = ansi_esc…
所涉及到的知识点 爬虫 爬虫基础 requests库的基本使用 pyquery库的基本使用 js逆向 js补环境(VMP还原) execjs的使用 数据分析 pandas的使用 numpy的使用 matplotlib的使用 绘制组合条形图 绘制词云图 绘制折线图 绘制柱状图 存储数据 pymysql的基本使用 pymongo的基本使用 存储到csv文件 小知识 复制请求的bash命令快速生成py代码 快速编写windows脚本（以mongodb启动脚本为例） 数据爬取 数据来源： 中国教育在线：https://ww…
背景 背景是23年11月末时候有个人找到我说想打个省标，我问预算多少，我跟他要600，结果他跟我说别人都是200零基础问我200能不能打，我当时就震惊了，一年多没正经打过代练，现在代练行业都这么玩了吗？ 正好当时在学APP逆向，由于跟dlt太熟悉了，我就把某代练通的搜索接口和分页查询接口给逆向了，这是当初21年我截的图，当然，现在已经不打单很久了。 但是一次只能爬取3000多条数据。后来想着攒到2万条时候再分析，结果12月事情太多了，各种比赛、考试、毕设中期检查、课设。实在是闲不下来，直到现在元旦才勉强有时间。 在…
本文共503字 一定要先这样导入 from functools import partial # 锁定参数 import subprocess subprocess.Popen = partial(subprocess.Popen, encoding="utf-8") import execjs import requests 千万不要导入的很随意，比如 import execjs # 固定格式，用于解决windows执行js文件输出汉字乱码问题 from functools import partial …
本文共1257个字 导包 scrapy是使用redis这个数据库实现分布式的，因此我们刚开始要安装这个scrapy-redis包。pip install scrapy-redis。 创建项目 创建项目：scrapy startproject base_scrapy_plus（⚠️这个项目名不能包含中文，不然会报错） 移动到命令执行目录：cd base_scrapy_plus 生成爬虫：scrapy genspider -t crawl blogspider bugdesigner.cn 配置settings文件 一…
