分类目录归档:计算机

狗东查库存补丁的补丁

之前那个查库存的补丁不太稳定,因为有时候是优惠或者领券的页面没有ID,有时候是手机版页面跟web版的不一样,太容易出问题,也没必要每个都分析,所以加了一个补丁,查不出来就不查了。

其实还想搞淘宝的,但是又懒得看那么多参数= -=,随便看了一眼感觉淘宝的参数也挺透明的

继续阅读

一次令人愉悦的爬虫修补过程

自从爬虫和秒杀做完之后就开始踌躇满志的帮朋友买口罩了,然而悲伤的是搜出来的好货点开就是不在该区域销售,难道我们十位数俱乐部就不配防护么QAQ,然后懒得一个一个开了,打算搞一个京东检测有没有货的补丁,我们技术流(伪),嗯?是不是?能让电脑干的为什么要自己干?

原本的思路是smzdm的链接检测到如果是狗东就打开然后看看关键字,结果写的过程中遇到两个问题,1张大妈是跳转链接,还不是重定向,是用代码开的,2狗东的地址选项是ajax的,也就是requests不能直接提交。

于是机智(伪)的我,打印出张大妈跳转的那段代码跟狗东对比了一下,发现页面里有个关键字就是狗东的物品id,用正则提出来就行,其余不用管它怎么跳。地址选项嘛其实也很简单,ajax也是要接收数据的,接收的数据一般都是json,比检查代码还简单,也挖出来查看库存的地址是stockXXX,提交关键字给这个链接然后直接读库存的内容就行,于是就这么做了,但是发现查库存不止需要物品ID和地址ID,还要两个不知道干嘛的参数,一个估计是物品选项,还有一个猜不出

挠了半天头跳不掉这两个未知参数,差点想放弃重新用selenium,但是selenium又实在慢而且我只是查一下库存而已感觉太大了,聪慧(伪)的我又想起参数怎么也是要提交的,不如看看狗东的页面,结果!果然页面有,而且就直接列出来的(参数名一样),感恩,狗东还是我兄弟。

结果就可以直接在标题看有没有货啦,愉悦的奖励自己一瓶可乐(最后一瓶),可是确实都没有货呢QAQ

查库存的代码附后

继续阅读

一次令人头秃的爬虫制作过程

朋友一直抱怨买不到口罩,有天看到smzdm上推荐还蛮多的,就打算搞个爬虫抓一下新闻可以第一时间去买,于是去亚马逊翻了两本爬虫的书,是的我以前不会写!其实也没有写过python!经过半天的学习我已经完全掌握了爬虫编写技巧(呵呵),于是就开工了。

一开始是用书上最简单的requests定位元素获取text来抓,但是只能抓首页第一页,smzdm是动态加载的也就是传说中的ajax技术,但是这样也很满足啦,毕竟是自己养大的,然后做了个比较,值-不值大于100就收,然而测试了一晚上也没有抓取到口罩的相关数据,why!大家都不喜欢口罩么!算了细节不必在意。

第二天告诉朋友你看这里有买口罩,朋友说抢不到,我emmm,那再做一个秒杀的爬虫,这次用书上最简单的selenium做,就是类似按键精灵的获取页面元素然后模拟点击,但是稍微高级一点的是它可以用无头浏览器,速度快一点。搞了半天搞完了突然想起一个问题,第一其实时间不太好控制,第二这跟我手点有啥区别?于是开始怀疑人生。

第三天打算重新爬smzdm,然后把秒杀也改成requests的,看了下源代码原来很好心的提供了json,这样直接读就行了连元素获取都不用,然后就遇到了一个新手很痛苦的问题,提供的json是个dict形式,我读出来就成了list?折腾了恨不能有两个小时才发现,它提供的确实是dict,然后dict里套了list,list里又是dict,只要做个循环读出来就行,我。。。。菜的一批。因为数据多了就多加了个收藏选项,值-不值>50和收藏>50的都读出来,然后发现了为什么之前没有爬到口罩的内容,因为大家都点了不值然后加了收藏。。。你们真行

然后是requests直接秒杀的部分,先打算搞考拉的,因为第一个搜到的秒杀是考拉,搞了半天发现考拉还挺难弄?浏览器抓不到它访问的地址,难道我还要抓包?可是懒得。于是去搞京东,但是京东直接提交cookies登录失败了,好难啊为什么这样对新手,想了想干脆用selenium做个通用秒杀,只要提供立即购买和结算这两个按钮的访问地址就行,又觉得做出来没有意义= -= 毕竟慢,要等页面加载。

啊,真是令人头秃。

按键精灵读取excel数据录入网站

好像也没啥可写的,挺简单的,就是想夸一下按键精灵。

最近有个活儿,说多不多,几张表导入到自家网站后台的数据库里,每张表三百多条数据,一共有6个,说多不多,自己录的话跟傻子一样,于是打算直接导SQL,结果网站后台换了个正规的(以前是我自己写的),打开一看有点懵逼,涉及了四张表,而且ID还不是自动更新,是统一存在一张大ID表里,我该说什么呢,硬导也能导成,可是就这么一千多条数据,光把无关代码填进去就要折腾半天,还是一次性的以后又不一定啥时候才用得到,而且出错率有点高。

问了下后台开发那边的朋友,他们建议我不要直接导(搞坏了他们还要修),那就用脚本从前台提交。结果这后台不知道是太高级了还是怎么样,用脚本直接提交不了,读了下数据,保存之后一共提交了六个表单?why!用了个浏览器上模拟输入的宏叫imacros,可以读excel然后提交网页,但是标题输入之后换下一行标题就空了?why!

在最后时刻!我想到了按键精灵!下了个最新版看了下居然可以读excel,本来还想着模拟复制粘贴来着,太高级了,于是写了个简单的鼠标移动的试试,居然很好使!虽然效率不高,但是!不用冒着搞崩后台的风险也不用沙雕手工录,已经很满足了。

这里提一下,按键精灵有个自带的网页精灵,但是这个浏览器不知道为什么效率奇低,而且很容易卡死,最后还是用了360急速然后鼠标定位,后期改了模拟按键,计数50就关闭浏览器重来,爽的飞起,而且看按键精灵干活非常治愈……简直有点想开个直播。

代码等下贴。

傲娇的ifttt gtalk机器人。。。

在ifttt里加了两条规则,给gtalk的机器人发条消息,它就帮我存在gmail和evernote里。只是加了机器人之后就没见它上过线……哦对加它的过程也是苦逼无比。

有一天好容易看到它上线了,欣喜的发了条测试消息,它挣扎半天告诉我收到了,gmail弹了提示收到新邮件,然后就又不在了。

刚刚折腾gmail,折腾完刚好看到它在线,赶紧再发一条消息试试,一发完它就默默的消失了。。怎么搞的给我转发个消息就有这么困难么!你丫到底行不行啊!差评!!!

===========================

刚骂完它,它就好了,原来机器人也怕差评啊。

QQ图片20140103121056

基三拜拜

从4月到十月,玩了整半年的基三,今天突然不想玩了,虽然两个号点卡都充到12月6号。

对不起啊我的小唐门,13阶是刷不到了,定国SM套也穿不上了。

对不起啊我的小万花,果然到了最后也还是没有满级。

对不起啊二师弟的小天策,五彩石最后还是没有炼好,新的枪也还是洞洞装。

对不起啊二师弟的小纯阳,虽然只是个马夫,最后的麟驹还是没养好=-=

世事难料,美好的基三,祝大家一切都好。

2013-09-22_22-05-09-000

 

唯一的破军炮截图,不过这么看起来真是炫酷啊!