• 移动互联商业模式解读——B端赋能、C端裂变!

  • 产品价值=用户量×用户价值。
    做到 CLV>CPA,实现了无限增长。
    用户生命周期价值(LTV)远大于用户获取成本(CAC)与用户经营成本(COC)之和,就意味着产品的成功。

  • 没有深度思考,所有勤奋都是扯淡

  • 不会定战略的CEO不投;不懂产品的CEO不投;不会带团队的CEO 不投;不会算好账的CEO不投。
    意味着要定战略、懂产品、带团队、算好账。

  • “有逻辑地表达自己”

    “逻辑解决问题”

  • 思考框架最大的意义:能够帮你找到正确的思考方向

    思考框架只能用来帮助和指导你更好的工作和实践才有意义

  • 年龄是我们身后的猛虎,所有人都被年龄追着落荒而逃。

    赢得了时间,我们才有可能赢下世界。

  • 价值观是从业者对付寒冬的最强大的武器。

    在寒冬中,能够存活下来,拼的就是“价值观”,依靠的也只能是“价值观”。

    只有有价值观和责任感的人,才心甘情愿忍受常人所不能,在寒冬中活下来。

    如果你没有价值观,没有责任感,你可能不应该留下来,你可以把机会留给那些真正有所坚持的人。

    不管是否是寒冬,正确的价值观导向和责任心永远是一个企业所需的,也是从业者需要终身必备的~

Scrapy Cookie模拟登陆

技术 天勤 12个月前 (12-19) 811次浏览 0个评论

以登陆wordpress为例,

如何获取Cookies,登陆之后开发者模式,找到请求的页面寻找Cookies,这里要注意需要把Cookie转换成python 字典(dict)形式。
传送门网址:Cookie信息转化为字典格式

        cookies  = {
"wordpress_sec_62da0086f543a3a2b2b9ca0c70aae035":"cchheenn%7C1576931392%7CbOcb6q9CXccQ1ipajxhhVu54AbmUmR2vnbXqoZ9R1Fd%7C320b527e6e0c37c0e495c53016eb01f28ff4db7b261e1d7007f02c9711e28cec",
    "wordpress_test_cookie":"WP+Cookie+check",
    "Hm_lvt_6adb2361f32aa1257d3414a5f434be80":"1576753871",
    "wordpress_logged_in_62da0086f543a3a2b2b9ca0c70aae035":"cchheenn%7C1576931392%7CbOcb6q9CXccQ1ipajxhhVu54AbmUmR2vnbXqoZ9R1Fd%7C72676d10a686cf34a01ec0c0c40ee7e489ce3341df3eb6bf37fbad0593dd0b5e",
    "wp-settings-time-1":"1576758617",
    "wp-settings-1":"mfold%3Do%26editor%3Dtinymce%26libraryContent%3Dbrowse%26hidetb%3D1%26post_dfw%3Doff%26urlbutton%3Dnone%26advImgDetails%3Dshow%26imgsize%3Dfull%26editor_expand%3Doff%26ed_size%3D868%26widgets_access%3Doff"
        }  # 构造表单数据
        yield scrapy.FormRequest("https://cchheenn.com/wp-login.php", cookies=cookies, callback=self.after_login)#回调

    def after_login(self,response):
        yield scrapy.Request("https://cchheenn.com/wp-admin/index.php",callback=self.index_home)#请求已登陆的首页,并回调

    def index_home(self,response):
        print(response.text)#打印页面内容,如果和成功登陆以后的一样,则登陆成功。

总结一下,使用Cookie登录的好处:

不需要知道登录url和表单字段以及其他参数,不需要了解登录的过程和细节。由于不是采用登录url, 用户名+密码的方式。配合工具使用,快速方便。

所谓用Cookie实现登录,就把过登录过的信息(包括用户名、密码以及其他的验证信息)打包一起发给服务器,告诉服务器我是登录验证过的。

不足之处,Cookie有过期时间,过一段时间再运行这个爬虫,需要重新获取一下Cookie的值。


天勤 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:Scrapy Cookie模拟登陆
喜欢 (0)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址