• 移动互联商业模式解读——B端赋能、C端裂变!

  • 产品价值=用户量×用户价值。
    做到 CLV>CPA,实现了无限增长。
    用户生命周期价值(LTV)远大于用户获取成本(CAC)与用户经营成本(COC)之和,就意味着产品的成功。

  • 没有深度思考,所有勤奋都是扯淡

  • 不会定战略的CEO不投;不懂产品的CEO不投;不会带团队的CEO 不投;不会算好账的CEO不投。
    意味着要定战略、懂产品、带团队、算好账。

  • “有逻辑地表达自己”

    “逻辑解决问题”

  • 思考框架最大的意义:能够帮你找到正确的思考方向

    思考框架只能用来帮助和指导你更好的工作和实践才有意义

  • 年龄是我们身后的猛虎,所有人都被年龄追着落荒而逃。

    赢得了时间,我们才有可能赢下世界。

  • 价值观是从业者对付寒冬的最强大的武器。

    在寒冬中,能够存活下来,拼的就是“价值观”,依靠的也只能是“价值观”。

    只有有价值观和责任感的人,才心甘情愿忍受常人所不能,在寒冬中活下来。

    如果你没有价值观,没有责任感,你可能不应该留下来,你可以把机会留给那些真正有所坚持的人。

    不管是否是寒冬,正确的价值观导向和责任心永远是一个企业所需的,也是从业者需要终身必备的~

Scrapy爬虫数据存入到MySql数据库

技术 天勤 6个月前 (12-08) 286次浏览 0个评论

主要是两个文件~
pipelines

from twisted.enterprise import adbapi
import pymysql

class Www0577HomePipeline(object):
    def __init__(self,mysql_config):
        self.dbpool = adbapi.ConnectionPool(
            mysql_config['DRIVER'],
            host=mysql_config['HOST'],
            port=mysql_config['PORT'],
            user=mysql_config['USER'],
            password=mysql_config['PASSWORD'],
            db=mysql_config['DATABASE'],
            charset='utf8'
        )

    @classmethod
    def from_crawler(cls,crawler):
        # 只要重写了from_crawler方法,那么以后创建对象的时候,就会调用这个方法来获取pipline对象
        mysql_config = crawler.settings['MYSQL_CONFIG']
        return cls(mysql_config)

    def process_item(self, item, spider):
        result = self.dbpool.runInteraction(self.insert_item,item)
        result.addErrback(self.insert_error)
        return item
     #SQL语句~
    def insert_item(self,cursor,item):
        sql = "insert into data(id,name,address,sell_address,price,type,developer,telephone,years,time_dev,time_ok,link) values(null,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
        args = (item['name'],item['address'],item['sell_address'],item['price'],item['type'],item['developer'],item['telephone'],item['years'],item['time_dev'],item['time_ok'],item['link'])
        cursor.execute(sql,args)

    def insert_error(self,failure):
        print("="*30)
        print(failure)
        print("="*30)

    def close_spider(self,spider):
        self.dbpool.close()

Settings.py文件需要添加数据库信息

MYSQL_CONFIG = {
    'DRIVER': "pymysql",
    'HOST': "127.0.0.1",
    'PORT': 3306, # port必须为整形
    'USER': 'root',
    'PASSWORD': 'root',
    'DATABASE': "XXXX"
}

天勤 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:Scrapy爬虫数据存入到MySql数据库
喜欢 (0)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址