标签：Python
Python 字符串(str)、列表(list)、字典(dict)互相转换
字符串(str)和列表(list)互相转换字符串(str)转列表(list)1.整体转换str1 = 'hello world'list1 = str1.split('这里传任何字符串中没有的分割单位都可以，但是不能为空')print(list1)print(type(list1))#输出结果……
Python中使用.format()自定义变量
在爬取中，如果链接是有规则的增加+1。使用.format()非常方便for i in range(1,10): num = i url = "https://cchheenn.com/index.php?chaps={}".format(num); # 需要请求的网址 print(url)输出结……
Python爬虫伪造随机的请求头User-Agent
写好爬虫的原则只有一条:就是让你的抓取行为和用户访问网站的真实行为尽量一致一切都是为了爬虫能够顺利抓取内容。首先安装fake-useragent库，如果安装失败多安装几次。pip install fake-useragent熟悉fake-useragent，获取各浏览器的fake-useragentfrom fake_useragen……
python中获取文本/text和//text的区别
/text()和//text()用法一样,都是在获得标签后面写上即可,不过/text()获取的是标签的文本内容, //text()获取标签以及子标签下的文本内容。……
Scrapy Cookie模拟登陆
以登陆wordpress为例，如何获取Cookies，登陆之后开发者模式，找到请求的页面寻找Cookies，这里要注意需要把Cookie转换成python 字典(dict)形式。传送门网址：Cookie信息转化为字典格式 cookies = {"wordpress_sec_62da0086f543a3a2b2b9ca0……
Scrapy帐号密码模拟登陆
以登陆wordpress为例 def start_requests(self): formdata = { "log": "帐号", "pwd": "密码" ……
BeautifulSoup、lxml、正则表达式三大解析工具对比
三大解析工具对比解析工具解析速度使用难度BeautifulSoup最慢最简单lxml快简单正则表达式最快最难BeautifulSoup4库和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何 解析和提取 HTML/XML 数据。 lxml 只会局部遍历，……
SyntaxError: Non-UTF-8 code starting with ‘\xbd’ in file解决方法
Python报错SyntaxError: Non-UTF-8 code starting with '\xbb' in file C:/Users/chen/PycharmProjects/scrapy/test.py on line 2, but no encoding declared; see http://python.or……
Python如何生成词云
今天记录了下利用Python如何生成词云。需要安装：wordcloud、matplotlib、jiebawordcloud是什么？词云，在一段文本中提取关键词进行扁平化的展示，更能吸引目标客户的眼球。市面上有很多在线生成词云的工具，本文以Python中的第三方库wordcloud为例讲解如何自动生成词云图Matplotlib 是 Python 的绘……
Scrapy爬虫数据存入到MySql数据库
主要是两个文件~pipelinesfrom twisted.enterprise import adbapiimport pymysqlclass Www0577HomePipeline(object): def __init__(self,mysql_config): self.dbpool = adbapi……
Scrapy数据生成json文件或者txt文档
在pipelines.py中引入Jsonimport json def __init__(self): self.file = open('jj.json','w') def process_item(self, item, spider): item = ……
Python的Requests库和Urllib包对比
前言学习Python中先学习了urllib包，后学习了Requests库。记录一下，Requests库和Urllib包的差别。正文Python中有多种库可以用来处理Http请求，比如python的原生库：urllib包、requests类库。urllib和urllib2是相互独立的模块，python3.0以上把urllib和urllib2合并成一个库了……
Scrapy框架get() 、getall() 、extract() 、extract_first()的区别
官方解释说明extract() and extract_first()If you’re a long-time Scrapy user, you’re probably familiar with .extract() and .extract_first() selector methods. Many blog posts and tutor……
‘gb2312’ codec can’t decode byte 0x89 in position
解决方式一：‘gb2312′,’ignore’解决方式二：可尝试编码： gb18030……
Python爬虫request库总结
Requests介绍官方文档：http://cn.python-requests.org/zh_CN/latest/安装Requestspip install requests使用方法import requests //输入requests库url="网址" //网址替换成需要爬虫的网页地址r=reques……