爬虫写得好，牢饭吃到饱。 首先大家看到的案例几乎是个例，可以说就算你违法，只要企业不起诉你，还是有很大概率不抓你的，（一般来说这个东西一种程度也是互利共赢的，你爬数据也是变相给对方的数据变的好看了一点）但是天网恢恢，疏而不漏啊。 国内是比较偏向企业的，无论是劳动仲裁，打官司这些的，爬虫也是这样，一般我们搞爬虫的别人想搞我们我们几乎是赢不了 爬取什么违法 爬取用户个人隐私信息（手机号、身份证号、家庭住址），还倒卖。—侵犯公民个人隐私权 通过一些手段爬到别人数据库里面的数据（不是公开的）—非法入侵计算机系统 疯狂爬小网…
所涉及到的知识点 爬虫 爬虫基础 requests库的基本使用 pyquery库的基本使用 js逆向 js补环境(VMP还原) execjs的使用 数据分析 pandas的使用 numpy的使用 matplotlib的使用 绘制组合条形图 绘制词云图 绘制折线图 绘制柱状图 存储数据 pymysql的基本使用 pymongo的基本使用 存储到csv文件 小知识 复制请求的bash命令快速生成py代码 快速编写windows脚本（以mongodb启动脚本为例） 数据爬取 数据来源： 中国教育在线：https://ww…
Solo亚太赛国二和Mathor Cup国三 我得到了什么 前言 我相信点进这个博客的同学都对数学建模有一定的了解，但是这里还是简单介绍一些数学建模。数模比赛是在一定的时间（一般是3-4天，也有一周及以上的），由三位同学一同协作完成一个题目，并提交论文和相关佐证材料的比赛。 为什么建议打数模 数模比赛培养的是什么能力?其实我认为对于普通的同学不外乎两个能力，团队协作能力、解决问题能力。三个人努力去实现一个共同的目标，努力想把这件事情做好，可以说大学里面80%的人都缺少这样的经历。 题外话 每次打完数模，特别是国赛经…
前言 首先，明确一点，不要轻易用最新的版本！！！很多开源项目文档写的真的太简练了，个人觉得不太适合小白，给个QA区也好啊。最后我们在遇到问题的时候解决方案一般有三条： 去网上搜索，看别人写的博客 问gpt 问别人（效率最低，特别是对于不会提问的同学） 对开源项目来说，还有两条 去github的issues区看别人是否遇到过这种问题 提issue 为什么说不要用最新版本，首先版本发布的最新，很多问题网上根本没有解决方案，特别是对于比较小众的开源项目。问GPT的话它的知识库都没更新到最新，也没法解决。至于github的…
背景 背景是23年11月末时候有个人找到我说想打个省标，我问预算多少，我跟他要600，结果他跟我说别人都是200零基础问我200能不能打，我当时就震惊了，一年多没正经打过代练，现在代练行业都这么玩了吗？ 正好当时在学APP逆向，由于跟dlt太熟悉了，我就把某代练通的搜索接口和分页查询接口给逆向了，这是当初21年我截的图，当然，现在已经不打单很久了。 但是一次只能爬取3000多条数据。后来想着攒到2万条时候再分析，结果12月事情太多了，各种比赛、考试、毕设中期检查、课设。实在是闲不下来，直到现在元旦才勉强有时间。 在…
最近在开发一个springboot五子棋AI项目，想着使用idea自带的初始化器初始化一个项目，没想到刚创建项目的时候就报错了，报错信息是： org.springframework.boot:spring-boot-starter-parent:pom:3.1.6 failed to transfer from http://maven.aliyun.com/nexus/content/repositories/central/ during a previous attempt. This failure was…
forEach详解 在使用动态sql<foreach>语句时collection写list或者@Param注解里面指定的名称都行，item是每一个元素的别名，注意引用时候跟外部方法参数引用方式一样，#{item.name}......，不加占位符会出现难以预料的问题 <delete id="deleteBatch"> delete from setmeal_dish where setmeal_id in <foreach col…
本文共503字 一定要先这样导入 from functools import partial # 锁定参数 import subprocess subprocess.Popen = partial(subprocess.Popen, encoding="utf-8") import execjs import requests 千万不要导入的很随意，比如 import execjs # 固定格式，用于解决windows执行js文件输出汉字乱码问题 from functools import partial …
