Python全栈必备的实战项目，把这些学会就差不多了（入门到就业）

“全栈”是工程师的定义

全栈工程师，英文叫Full Stack Developer，是指掌握多种技能，并能利用多种技能独立完成产品的人 – 来自某百科。

一般理解：【全栈工程师】就是啥都会，啥都能搞，上能入天、下能入地。各种技能各种语言眼花缭乱，各种5杀 6杀 偷塔组合技能，pio pio pio，一人挑起全世界，各个技术栈技术点，前后通吃 疑难杂症统统不在话下，在世达芬奇，全能奇才多么牛x。

然而，真正的全栈是：我也不知道，我从来都做不了全栈而且也不想做啊，只知道，我在web前端行业挖得够深，够猛 够快乐就好了，T 字形人才，下面一竖要足够高足够粗了，才能撑起来上边的 一横。

我只知道，我从网上扒出来的计算机全栈大牛都是：基础知识无比扎实，蹲马步十个小时不带喘气的，从 二进制到 基础电路电位，到计算机运行原理，内存控制原理、数学计算基础、外语适应能力、逻辑思维能力、解决实际问题能力、出疑难杂症解决方案能力等等等等都是一把好手。各种编程语言 和 工具应用 只是他们解决某个特定问题的工具而已，仅仅是工具。

话不多说，鬼鬼的重点来了！！！

Python入门级项目

• 项目案例：

• 统计目录文件磁盘占用
• 通过Python绘制图案
• 图片转换成简笔画

运用技术点：

1. Python开发环境和Python介绍

2. Python语言与其他语言对比

3. 基础语法、输入、输出，变量、注释，缩进、PEP8规范

4. 布尔、数字、字符串、列表、元组、字典、集合

5. 流程控制分支结构

6. 流程控制循环结构

7. 函数定义、调用、返回值、作用域

8. 关键字参数、默认值参数、可变参数、匿名函数、递归函数

9. 文件里打开和关闭、文件的读写、文件目录相关操作、序列化

练习目标：掌握Python基础语法

Python进阶项目

• 项目二：在线微课商城系统前后台

项目案例：

• 路由映射用户主页
• 使用Django代理维护数据库
• 使用Django的模型类管理微课用户
• 数据库可视化系统
• 注册与自动登录功能
• 钓鱼网csrf攻击案例

运用技术点：

1.路由与模型类实现模板

• 环境搭建
• 基本路由映射与命名空间
• 正则路由映射参数的传递与接收
• 反向解析处理器
• Request对象与Response对象
• 上下文与模板调用
• 模板层基础语法
• 模板过滤器详解
• 模板复用于block提取

2.模型类实现

• 表与字段的定义
• 常用的字段约束
• 数据迁移与维护
• 模型类的增删改
• 模型类的查询方法
• QuerySet运用

3.Django框架

• Cookie安全性与生命周期
• Sessi on的原理与使用
• Django连接Redis服务
• 表单数据的提交与接收
• csrf跨域攻击原理
• csrf跨域攻击实例与防范
• 一对多操作
• 多对多操作
• Django自关联
• 中间件Django Middle-war运用

练习目标：了解数据提取策略/熟悉爬虫原理和实现流程/基于单任务的数据爬取/精选Scrapy-Redis分布式异步框架的数据抓取项目/针对行业中反爬策略精选解决方案/基于分布式的异步框架抓取

项目效果展示：

就业方向：【Python全栈开发】

• 项目三 某门户热门文章抓取
• 项目四 咨询公司招标信息采集平台
• 项目五 分布式架构爬取招标信息采集平台

案例：

• 电商平台商品分类信息提取
• urllib参数编码与加密
• 请求头的伪装
• 模拟登录

相关技术点：

1.数据提取与清洗策略

• 正则表达式
• re模块使用案例
• xpath语法
• Python中的lxml模块
• 百度针对xpath爬虫的反爬策略与解决方式
• JsonPath使用

2.urllib与反爬策略

• Http请求协议
• urllib模块使用
• Get请求与URL编码
• Http post请求
• urllib中的Request对象
• Request header伪装策略
• 反爬策略之代理IP
• 反爬策略之模拟登录

3.scrapy框架原理

• Scrapy异步框架核心原理
• Scrapy项目创建与配置
• Scrapy异步抓取
• Pipeline管道文件
• Middleware中间件

4.Scrapy-Redis分布式爬虫

• Redis使用
• Scrapy-Redis组件原理
• Scrapy-Redis配置

练习目标：业务逻辑分析/Model层开发/商品首页后端数据渲染/用户个人页面管理/购物车功能完善/视频传输权限与协议/超级管理员的创建/后台管理首页显示设置/模型数据可视化操作/分类过滤与模糊查询/数据可视化页面的优化

爬取数据展示：

就业方向：【Python爬虫工程师】

• 项目六 服务器日志数据清洗分析
• 项目七 气象数据分析

运用技术点

1.数据科学原理与数据处理

• 数据科学原理
• 数据处理流程
• 数据分析好助手Jupyter notebook
• 数据科学模块Numpy
• 统计分析模块Pandas
• 数据质量分析
• 数据特征分析

2.特征工程

• 通过真实数据观察大局
• 选择性能指标、检查假设 获取数据（创建工作区，快速查看数据结构，创建测试集）
• 从数据可视化中探索数据的奥秘（将数据可视化、寻找相关性、试验不同的属性组合）
• 机器学习训练前的准备（数据清理、自定义转换器、特征缩放、转换流水线）
• 选择和训练模型（评估训练集、交叉验证、分析最佳模型及其错误、测试集评估）
• 模型的调优
• 分析最佳模型和测试结果评估
• 系统维护和监控

练习目标：数据分析和数据挖掘、机器学习/Jupyter notebook的安装、使用、魔法命令/Numpy矩阵和随机数生成、ndarray基本操作、ndarray的合并与分割、矩阵运算、聚合操作、arg运算、比较运算/Pandas的数据结构、数据中的选取与操作、加载各种数据、排序与合并、数据汇总、数据分组与透视表、时间序列/数据的可视化/数据获取和加载、数据清洗/数据内容处理与分析/特征工程原理

就业方向：【Python数据分析师】

• 项目九 一线电商线上拍卖数据分析
• 项目十 互联网用户背景与身份关联挖掘实战

案例：

• 垃圾短信分类器实现
• MNIST数字图像识别
• 一线电商线上拍卖数据分析
• 互联网用户背景与身份关联挖掘

相关技术点：

1.机器学习

• 机器学习原理（损失函数图优化）
• 机器学习关键问题（训练数据不足、质量差、无关特征、过拟合、欠拟合）
• 分类训练与多类别分类器
• 性能考核（测量精度、精度和召回率、ROC曲线）
• 线性回归（标准方程、计算复杂度）
• 正则线性模型（岭回归、逻辑回归、概率估算、决策边界）第九节：支持向量机（线性SVM、非线性SVM）
• 降维（投影、流形学习、PCA）
• 聚类算法Kmeans

2.海量数据的处理与挖掘

• Hadoop海量数据实现原理
• Map Reduce思想变换数据key-value
• Hive在数据统计分析中持久化应用
• PySpark与SparkSQL
• 关联数据挖掘
• 关联规则Apriori算法
• 海量数据的关联分析方案

练习目标：Hadoop原理/Map Reduce转化实现/关联挖掘算法模型/pyspark的使用机器学习/常见算法模型/机器学习常见概念/数据降维/基于海量数据的关联

就业方向：【Python机器学习与大数据】

部分视频资料领取展示：