狗东查库存补丁的补丁

之前那个查库存的补丁不太稳定,因为有时候是优惠或者领券的页面没有ID,有时候是手机版页面跟web版的不一样,太容易出问题,也没必要每个都分析,所以加了一个补丁,查不出来就不查了。

其实还想搞淘宝的,但是又懒得看那么多参数= -=,随便看了一眼感觉淘宝的参数也挺透明的

继续阅读

一个杠精的自我反省

是的,我又来反省了!

最近因为太杠感觉惹毛了很多朋友,之前是觉得我又没说错为什么要生我的气,不服的话大家可以讨论啊,但是有些人并不想讨论,有些会被我的气势压倒没法讨论,我有些时候真的很刚愎自用= -=

突然想起来之前认识的一个70后人士,他也是个很刚愎自用的人,跟人讨论的时候只有一条意见就是你的意见不重要我的才重要,那时候觉得70后都这样,都是沙雕,现在突然觉得是不是我也变成了这样,太过傲慢,虽然也没什么可值得傲慢的 = -=

一次令人愉悦的爬虫修补过程

自从爬虫和秒杀做完之后就开始踌躇满志的帮朋友买口罩了,然而悲伤的是搜出来的好货点开就是不在该区域销售,难道我们十位数俱乐部就不配防护么QAQ,然后懒得一个一个开了,打算搞一个京东检测有没有货的补丁,我们技术流(伪),嗯?是不是?能让电脑干的为什么要自己干?

原本的思路是smzdm的链接检测到如果是狗东就打开然后看看关键字,结果写的过程中遇到两个问题,1张大妈是跳转链接,还不是重定向,是用代码开的,2狗东的地址选项是ajax的,也就是requests不能直接提交。

于是机智(伪)的我,打印出张大妈跳转的那段代码跟狗东对比了一下,发现页面里有个关键字就是狗东的物品id,用正则提出来就行,其余不用管它怎么跳。地址选项嘛其实也很简单,ajax也是要接收数据的,接收的数据一般都是json,比检查代码还简单,也挖出来查看库存的地址是stockXXX,提交关键字给这个链接然后直接读库存的内容就行,于是就这么做了,但是发现查库存不止需要物品ID和地址ID,还要两个不知道干嘛的参数,一个估计是物品选项,还有一个猜不出

挠了半天头跳不掉这两个未知参数,差点想放弃重新用selenium,但是selenium又实在慢而且我只是查一下库存而已感觉太大了,聪慧(伪)的我又想起参数怎么也是要提交的,不如看看狗东的页面,结果!果然页面有,而且就直接列出来的(参数名一样),感恩,狗东还是我兄弟。

结果就可以直接在标题看有没有货啦,愉悦的奖励自己一瓶可乐(最后一瓶),可是确实都没有货呢QAQ

查库存的代码附后

继续阅读

一次令人头秃的爬虫制作过程

朋友一直抱怨买不到口罩,有天看到smzdm上推荐还蛮多的,就打算搞个爬虫抓一下新闻可以第一时间去买,于是去亚马逊翻了两本爬虫的书,是的我以前不会写!其实也没有写过python!经过半天的学习我已经完全掌握了爬虫编写技巧(呵呵),于是就开工了。

一开始是用书上最简单的requests定位元素获取text来抓,但是只能抓首页第一页,smzdm是动态加载的也就是传说中的ajax技术,但是这样也很满足啦,毕竟是自己养大的,然后做了个比较,值-不值大于100就收,然而测试了一晚上也没有抓取到口罩的相关数据,why!大家都不喜欢口罩么!算了细节不必在意。

第二天告诉朋友你看这里有买口罩,朋友说抢不到,我emmm,那再做一个秒杀的爬虫,这次用书上最简单的selenium做,就是类似按键精灵的获取页面元素然后模拟点击,但是稍微高级一点的是它可以用无头浏览器,速度快一点。搞了半天搞完了突然想起一个问题,第一其实时间不太好控制,第二这跟我手点有啥区别?于是开始怀疑人生。

第三天打算重新爬smzdm,然后把秒杀也改成requests的,看了下源代码原来很好心的提供了json,这样直接读就行了连元素获取都不用,然后就遇到了一个新手很痛苦的问题,提供的json是个dict形式,我读出来就成了list?折腾了恨不能有两个小时才发现,它提供的确实是dict,然后dict里套了list,list里又是dict,只要做个循环读出来就行,我。。。。菜的一批。因为数据多了就多加了个收藏选项,值-不值>50和收藏>50的都读出来,然后发现了为什么之前没有爬到口罩的内容,因为大家都点了不值然后加了收藏。。。你们真行

然后是requests直接秒杀的部分,先打算搞考拉的,因为第一个搜到的秒杀是考拉,搞了半天发现考拉还挺难弄?浏览器抓不到它访问的地址,难道我还要抓包?可是懒得。于是去搞京东,但是京东直接提交cookies登录失败了,好难啊为什么这样对新手,想了想干脆用selenium做个通用秒杀,只要提供立即购买和结算这两个按钮的访问地址就行,又觉得做出来没有意义= -= 毕竟慢,要等页面加载。

啊,真是令人头秃。

2019年的回顾和2020年的flag

昨天看了下豆瓣给我的2019总结,原来我也没看几本书,总觉得看了很多呢,大概还是看书比看电影苦吧,一共才看了38本,估计有三分之二都是在村里和火车上看的,2020要更加的少刷微信多读书嗯。

19年感觉还是做了不少事,但是年初计划实现了多少啊哈哈哈不说了,仔细一想我根本就没有年初计划,这样我就放心了。最近在读的一些书里都提到了立目标和每天写日记这两件事,觉得似乎有点道理,要不2020我也立一个吧。

准备两项考试,上半年的咨询工程师和下半年的信息项目管理师
至少背完四级单词
体重再减5KG
带老爸老妈出国自助游一次
搞出一个正经能用的平台
用paython写几个自己用的小程序
每周尽量写四篇日记
多赚点钱
少judge别人一些,虚怀若谷虚怀若谷
看不惯的就离远点,喜欢的就赶紧上,不要勉强,不要犹豫。