快速理解Django框架
Django是我学习Python以来第一个学习的web框架，所以在这里整理一下，便于不理解的人能够快速了解Django是一个什么东西。Django是一个开放源代码的Web应用框架，由Python写成。它最初是被开发来用于管理劳伦斯出版集团旗下的一些以新闻内容为主的网站的，即是CMS（内容管理系统）软件。并于2005年7月在BSD许可证下发布。这套框架是以比……
Python 字符串(str)、列表(list)、字典(dict)互相转换
字符串(str)和列表(list)互相转换字符串(str)转列表(list)1.整体转换str1 = 'hello world'list1 = str1.split('这里传任何字符串中没有的分割单位都可以，但是不能为空')print(list1)print(type(list1))#输出结果……
Python中使用.format()自定义变量
在爬取中，如果链接是有规则的增加+1。使用.format()非常方便for i in range(1,10): num = i url = "https://cchheenn.com/index.php?chaps={}".format(num); # 需要请求的网址 print(url)输出结……
Python爬虫伪造随机的请求头User-Agent
写好爬虫的原则只有一条:就是让你的抓取行为和用户访问网站的真实行为尽量一致一切都是为了爬虫能够顺利抓取内容。首先安装fake-useragent库，如果安装失败多安装几次。pip install fake-useragent熟悉fake-useragent，获取各浏览器的fake-useragentfrom fake_useragen……
python中获取文本/text和//text的区别
/text()和//text()用法一样,都是在获得标签后面写上即可,不过/text()获取的是标签的文本内容, //text()获取标签以及子标签下的文本内容。……
Mac上anaconda找不到prompt
在Mac上安装完anaconda，想通过prompt进入新建的环境进行安装包但发现找不到。Mac上终端即为prompt，因此输入指令时为source activate 环境名称即可切换环境。当退出当前环境时，输入source deactivate 环境名称其他操作与Windows下prompt相同……
Anaconda 导入第三方工具包的方法
Anaconda 导入第三方工具包有pip在线导入和下载工具包离线导入，然而因下载工具包导入，很容易因版本问题导入失败，提示错误：is not a supported wheel on this platform。因此我选用在线导入方式。首先打开Jupyter Notebook其次在Jupyter Notebook中运营Terminal输入pip li……
解决pip安装时速度慢的问题
国内源新版ubuntu要求使用https源，要注意。清华：https://pypi.tuna.tsinghua.edu.cn/simple阿里云：http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/华中理工大学：http://pyp……
MVC和MVT的区别
有一种程序设计模式叫MVC，其核心思想是分工、解耦，让不同的代码块之间降低耦合，增强代码的可扩展性和可移植性，实现向后兼容。MVC模式说明M全拼为Model，主要封装对数据库层的访问，对数据库中的数据进行增、删、改、查操作。V全拼为View，用于封装结果，生成页面展示的html内容。C全拼为Controller，用于接收请求，处理业务逻辑，与Mo……
Cookie信息转化为字典格式
记录一下代码~import restrs = 'Cookie信息'strList = re.split(r';\S*', strs)cookie = {}for items in strList: item = items.split('=') key, v……
Scrapy Cookie模拟登陆
以登陆wordpress为例，如何获取Cookies，登陆之后开发者模式，找到请求的页面寻找Cookies，这里要注意需要把Cookie转换成python 字典(dict)形式。传送门网址：Cookie信息转化为字典格式 cookies = {"wordpress_sec_62da0086f543a3a2b2b9ca0……
Scrapy帐号密码模拟登陆
以登陆wordpress为例 def start_requests(self): formdata = { "log": "帐号", "pwd": "密码" ……
BeautifulSoup、lxml、正则表达式三大解析工具对比
三大解析工具对比解析工具解析速度使用难度BeautifulSoup最慢最简单lxml快简单正则表达式最快最难BeautifulSoup4库和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何 解析和提取 HTML/XML 数据。 lxml 只会局部遍历，……
SyntaxError: Non-UTF-8 code starting with ‘\xbd’ in file解决方法
Python报错SyntaxError: Non-UTF-8 code starting with '\xbb' in file C:/Users/chen/PycharmProjects/scrapy/test.py on line 2, but no encoding declared; see http://python.or……
Python如何生成词云
今天记录了下利用Python如何生成词云。需要安装：wordcloud、matplotlib、jiebawordcloud是什么？词云，在一段文本中提取关键词进行扁平化的展示，更能吸引目标客户的眼球。市面上有很多在线生成词云的工具，本文以Python中的第三方库wordcloud为例讲解如何自动生成词云图Matplotlib 是 Python 的绘……
清空数据库后,让id从1开始
TRUNCATE TABLE 清空表所有数据，而且使标识列从标识种子(一般标识种子从1开始)重新开始删除表中的所有行，而不记录单个行删除操作语法TRUNCATE TABLE (表名)……
Scrapy爬虫数据存入到MySql数据库
主要是两个文件~pipelinesfrom twisted.enterprise import adbapiimport pymysqlclass Www0577HomePipeline(object): def __init__(self,mysql_config): self.dbpool = adbapi……
Scrapy数据生成json文件或者txt文档
在pipelines.py中引入Jsonimport json def __init__(self): self.file = open('jj.json','w') def process_item(self, item, spider): item = ……
Python的Requests库和Urllib包对比
前言学习Python中先学习了urllib包，后学习了Requests库。记录一下，Requests库和Urllib包的差别。正文Python中有多种库可以用来处理Http请求，比如python的原生库：urllib包、requests类库。urllib和urllib2是相互独立的模块，python3.0以上把urllib和urllib2合并成一个库了……
Scrapy框架get() 、getall() 、extract() 、extract_first()的区别
官方解释说明extract() and extract_first()If you’re a long-time Scrapy user, you’re probably familiar with .extract() and .extract_first() selector methods. Many blog posts and tutor……
‘gb2312’ codec can’t decode byte 0x89 in position
解决方式一：‘gb2312′,’ignore’解决方式二：可尝试编码： gb18030……
Python爬虫request库总结
Requests介绍官方文档：http://cn.python-requests.org/zh_CN/latest/安装Requestspip install requests使用方法import requests //输入requests库url="网址" //网址替换成需要爬虫的网页地址r=reques……
MySQL 数据类型
前言MySQL中定义数据字段的类型对你数据库的优化是非常重要的。MySQL支持多种类型，大致可以分为三类：数值、日期/时间和字符串(字符)类型。数值类型MySQL支持所有标准SQL数值数据类型。这些类型包括严格数值数据类型(INTEGER、SMALLINT、DECIMAL和NUMERIC)，以及近似数值数据类型(FLOAT、REAL和DOUBLE ……
Git分支的创建、删除、切换、合并
Git分支的创建git checkout -b 分支名Git分支的删除删除远程分支：git push origin --delete 分支名删除本地分支：git branch -D 分支名Git分支的切换git checkout 分支名Git分支的合并git merge 分支名……
git 合并分支到master
现在在dev分支上，刚开发完项目，执行了下列命令git add .git commit -m ‘dev'git push -u origin dev如何把dev分支合并到master分支上？首先切换到master分支上git checkout master然后我们把dev分支的代码合并到master上git ……
github上传、git不存在git init选项、本地更新到远程的解决办法
gitHub上传本地文件想上传代码到github上面，参考了好多网址都要点击git init这个选项但是git后面的版本安装之后就没有这个选项，需要点击git bash here 打开shell窗口，然后进行编辑，下面的这个连接给出了具体的方法，很详细，适合刚入门的新手看.主要命令git init //把这个目录变成Git可以管理的仓库gi……
利用.ibd和.frm文件恢复mysql数据
起因正常重启服务器，导致mysql数据丢失。没有备份，没有备份。所以看完数据库文件之后，都是 table_name.ibd和table_name.frm文件，就因此看看能否恢复。数据小常识<span style="font-size: 14pt;">.frm存放数据库的表结构.ibd存放数据内容</span……
idea或phpstorm中SQL语句提示SQL Dialect is Not Configured
SQL dialect is not configured.意思是未配置数据库类型。在设置中，寻找数据库类型，设置为对应的数据库类型，完事。……
- 1
- 2