有些 Javascript 生成的动态内容，没有办法通过网页源代码查看。因为解析出的网页内容只是静态页面，不包含动态元素。 目前最新的前端技术比如服务器端渲染（SSR）、单页面应用（SPA）等，都是看不到静态的网页源码的。这种网页只能通过访问网站，使用浏览器开发者工具即时查看显示的元素。 Python可以使用Selenium模拟浏览器行为加载页面，就可以获得网页的实际显示元素。 下载浏览器驱动 搜索浏览器名字 + webdriver ，是一个单文件程序。下载后扔到C:\Users\user\AppData\Loca…

这次要从一个贴图论坛下载赛马娘tag的所有色图，预计要下载6700张图片。 查看网页结构 从网站在查询时的url可以看出网站是PHP搭建的。经过测试发现，页面的每张图片的缩略图链接，稍微修改一下就是完整的图片链接。 查看了分页逻辑的，看到JS代码是手动计算分页。每页显示42张图片，将总数除以42得到页数。可以解析每一页分页的图片链接，点击进去帖子里面。然后获取到图片地址。 使用公开的API 要处理近6700张图片，每页有42张图，就要处理160页面，解析帖子链接。然后从6700个帖子链接中获取图片地址。 这恐怕是个…

要将原来的博客数据迁移到新建的表上。表结构不一样，需要一条一条的重新插入。 使用pymysql模块，Python自动批量将数据迁移到不同表结构的新表上。 #导入mysql数据库驱动 import pymysql #建立与数据库的连接 conn=pymysql.connect(host='localhost',user='root',password='123456789',database='blog_ingke_net') #创建游标 cursor=conn.cursor() sql1='SELECT ID, p…

在学校里学完SQL，再过一遍《MySQL 必知必会》语法是都会，但是处理的技巧要在实践中才能领悟到 记载下在LeetCode上刷题时，编写查询语句影响深刻的技巧。 聚合函数sum()、count()、avg()、max()、min()，在查询条件时where join on使用时要分组，不分组会自动分组显示。在查询结果时select不用分组 count统计可以count(if(condition,1,null))来统计符合条件的行，因为count默认不统计null行。 count(*)会统计null行 计算所占比例…

本来这是去年10月11月做的，当时学算法，看设计模式，搞网站项目太忙了，忘了写，补一下水一篇文章。 去年开始玩赛马娘手游，一款养成类型的爆肝游戏，因为每天都要登录做一下每日任务领奖励，一局游戏操作又重复高，就打算写一个脚本。 在github找到一个项目，但是有些复杂，配置麻烦，还要根据游戏选卡，配装用编写的不同的插件。使用python写的，能在windows上ADB连接手机运行。我想自己或许也能整一个。 查了一个python的图像处理库，在游戏界面的截图，选择几个关键点提取颜色，和给定的预设色计算对比，误差小于一定…