python获取用户请求的真实IP
proxy_set_header Host $http_host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded……
Restful接口设计方法
RESTful设计方法：1.域名应该尽量将API部署在专用域名之下。如果确定API很简单，不会有进一步扩展，可以考虑放在主域名下。2.版本（Versioning）应该将API的版本号放入URL。http://www.example.com/app/1.0/foohttp://www.example.com/app/1.1/foohttp://……
数据库到底需不需要设置外键？
在大型系统中（性能要求不高，安全要求高），最好使用外键（外键可以增强数据库数据的完整性和一致性）在大型系统中（性能要求高，安全自己控制），不用外键（有外键约束的话，插入字段会进行检查，影响效率）小系统，最好用外键1、假设使用外键优点：（1）实现表与关联表之间的数据一致性；（2）可以迅速的建立一个可靠性非常高的数据库结构，而不用让应用程序层去做过多……
Python for输出转为list
直接上代码啦~res=[]for name in name: res = name res.append(name_str)res = resprint(type(res))……
Python dict字典转txt
直接上代码啦~filename = open('C:/Users/ch2277/Desktop/7.txt','w')#dict转txtdict = dict(zip(res_list,content_list))for dict_key, dict_value in dict.items(): ……
使用opencv检测Python中程序效率
涉及到的函数主要有两个：1.cv2.getTickCount()函数返回从参考点到这个函数被执行的时钟数。所以当你在一个函数前后都调用它的话，你就会得到这个函数的执行时间（时钟数）。2.cv2.getTickFrequency()返回时钟频率，或者说每秒钟的时钟数。# -*- coding: utf-8 -*-import cv2impo……
Could not resolve URL for hyperlinked relationship using view name “store-detail”. You may have fail
djangorestfremework报错：Could not resolve URL for hyperlinked relationship using view name “store-detail”. You may have failed to include the related model in your API, or incorrectl……
Python Ping域名返回IP值
单个域名检测IPimport socketdef getIP(domain): myaddr = socket.getaddrinfo(domain, 'http') print(myaddr[0][4][0])getIP("www1.baidu.com")多个域名检测I……
Django框架模型之models常用字段、属性及异常处理
官方文档https://docs.djangoproject.com/en/3.0/ref/models/fields/#django.db.models.FieldDjango框架模型models 常用字段AutoField自增列 = int(11)如果没有的话，默认会生成一个名称为 id 的列如果要显式的自定义一个自增列，必须设置primar……
快速理解Django框架
Django是我学习Python以来第一个学习的web框架，所以在这里整理一下，便于不理解的人能够快速了解Django是一个什么东西。Django是一个开放源代码的Web应用框架，由Python写成。它最初是被开发来用于管理劳伦斯出版集团旗下的一些以新闻内容为主的网站的，即是CMS（内容管理系统）软件。并于2005年7月在BSD许可证下发布。这套框架是以比……
Python 字符串(str)、列表(list)、字典(dict)互相转换
字符串(str)和列表(list)互相转换字符串(str)转列表(list)1.整体转换str1 = 'hello world'list1 = str1.split('这里传任何字符串中没有的分割单位都可以，但是不能为空')print(list1)print(type(list1))#输出结果……
Python中使用.format()自定义变量
在爬取中，如果链接是有规则的增加+1。使用.format()非常方便for i in range(1,10): num = i url = "https://cchheenn.com/index.php?chaps={}".format(num); # 需要请求的网址 print(url)输出结……
Python爬虫伪造随机的请求头User-Agent
写好爬虫的原则只有一条:就是让你的抓取行为和用户访问网站的真实行为尽量一致一切都是为了爬虫能够顺利抓取内容。首先安装fake-useragent库，如果安装失败多安装几次。pip install fake-useragent熟悉fake-useragent，获取各浏览器的fake-useragentfrom fake_useragen……
python中获取文本/text和//text的区别
/text()和//text()用法一样,都是在获得标签后面写上即可,不过/text()获取的是标签的文本内容, //text()获取标签以及子标签下的文本内容。……
Mac上anaconda找不到prompt
在Mac上安装完anaconda，想通过prompt进入新建的环境进行安装包但发现找不到。Mac上终端即为prompt，因此输入指令时为source activate 环境名称即可切换环境。当退出当前环境时，输入source deactivate 环境名称其他操作与Windows下prompt相同……
Anaconda 导入第三方工具包的方法
Anaconda 导入第三方工具包有pip在线导入和下载工具包离线导入，然而因下载工具包导入，很容易因版本问题导入失败，提示错误：is not a supported wheel on this platform。因此我选用在线导入方式。首先打开Jupyter Notebook其次在Jupyter Notebook中运营Terminal输入pip li……
解决pip安装时速度慢的问题
国内源新版ubuntu要求使用https源，要注意。清华：https://pypi.tuna.tsinghua.edu.cn/simple阿里云：http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/华中理工大学：http://pyp……
MVC和MVT的区别
有一种程序设计模式叫MVC，其核心思想是分工、解耦，让不同的代码块之间降低耦合，增强代码的可扩展性和可移植性，实现向后兼容。MVC模式说明M全拼为Model，主要封装对数据库层的访问，对数据库中的数据进行增、删、改、查操作。V全拼为View，用于封装结果，生成页面展示的html内容。C全拼为Controller，用于接收请求，处理业务逻辑，与Mo……
Cookie信息转化为字典格式
记录一下代码~import restrs = 'Cookie信息'strList = re.split(r';\S*', strs)cookie = {}for items in strList: item = items.split('=') key, v……
Scrapy Cookie模拟登陆
以登陆wordpress为例，如何获取Cookies，登陆之后开发者模式，找到请求的页面寻找Cookies，这里要注意需要把Cookie转换成python 字典(dict)形式。传送门网址：Cookie信息转化为字典格式 cookies = {"wordpress_sec_62da0086f543a3a2b2b9ca0……
Scrapy帐号密码模拟登陆
以登陆wordpress为例 def start_requests(self): formdata = { "log": "帐号", "pwd": "密码" ……
BeautifulSoup、lxml、正则表达式三大解析工具对比
三大解析工具对比解析工具解析速度使用难度BeautifulSoup最慢最简单lxml快简单正则表达式最快最难BeautifulSoup4库和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何 解析和提取 HTML/XML 数据。 lxml 只会局部遍历，……
SyntaxError: Non-UTF-8 code starting with ‘\xbd’ in file解决方法
Python报错SyntaxError: Non-UTF-8 code starting with '\xbb' in file C:/Users/chen/PycharmProjects/scrapy/test.py on line 2, but no encoding declared; see http://python.or……
Python如何生成词云
今天记录了下利用Python如何生成词云。需要安装：wordcloud、matplotlib、jiebawordcloud是什么？词云，在一段文本中提取关键词进行扁平化的展示，更能吸引目标客户的眼球。市面上有很多在线生成词云的工具，本文以Python中的第三方库wordcloud为例讲解如何自动生成词云图Matplotlib 是 Python 的绘……
清空数据库后,让id从1开始
TRUNCATE TABLE 清空表所有数据，而且使标识列从标识种子(一般标识种子从1开始)重新开始删除表中的所有行，而不记录单个行删除操作语法TRUNCATE TABLE (表名)……
Scrapy爬虫数据存入到MySql数据库
主要是两个文件~pipelinesfrom twisted.enterprise import adbapiimport pymysqlclass Www0577HomePipeline(object): def __init__(self,mysql_config): self.dbpool = adbapi……
Scrapy数据生成json文件或者txt文档
在pipelines.py中引入Jsonimport json def __init__(self): self.file = open('jj.json','w') def process_item(self, item, spider): item = ……
Python的Requests库和Urllib包对比
前言学习Python中先学习了urllib包，后学习了Requests库。记录一下，Requests库和Urllib包的差别。正文Python中有多种库可以用来处理Http请求，比如python的原生库：urllib包、requests类库。urllib和urllib2是相互独立的模块，python3.0以上把urllib和urllib2合并成一个库了……
Scrapy框架get() 、getall() 、extract() 、extract_first()的区别
官方解释说明extract() and extract_first()If you’re a long-time Scrapy user, you’re probably familiar with .extract() and .extract_first() selector methods. Many blog posts and tutor……