AI：人工智能​​​​​​​的应用场景—具体应用案例介绍之以领域划分(CV领域/DS领域/NLP领域/金融领域/爬虫领域)、以项目划分(AI推荐/AI推断/AI法律咨询/AI挖掘)目录来理解技术交互流

AI：人工智能的应用场景—具体应用案例介绍之以领域划分(CV领域/DS领域/NLP领域/金融领域/爬虫领域)、以项目划分(AI推荐/AI推断/AI法律咨询/AI挖掘)目录来理解技术交互流程

目录

机器学习/深度学习场景实际应用

一、人工智能应用场景案例领域划分(CV领域/DS领域/NLP领域/金融领域/爬虫领域)

1、CV领域

案例1：手工数字识别

案例2：公安系统人脸识别、图像识别

案例3：公安系统图像检

2、机器学习之DS数据科学领域

案例1：手工实现梯度下降回归算法

案例2：基于TensorFlow实现回归算法

案例3：癌症筛选检测

案例4：葡萄酒质量检测系统

案例5：今日头条CTR广告点击量预估

案例6：垃圾邮件过滤系统

案例7：序列分析系统

案例8：职位画像

3、NLP领域

案例1：京东聊天机器人/智能客服

案例2：机器人写诗歌

案例3：机器翻译系统

4、广告推荐算法领域—协同过滤、基于内存的推荐、基于知识的推荐等

案例1：淘宝网购物篮分析推荐算法

案例2：百度云音乐推荐—百度音乐系统文件分类

案例3：隐因子模型推荐系统开发

5、金融领域

案例1：千万级P2P金融系统反欺诈模型训练

6、爬虫领域

案例1：豆瓣TOP250抓取

二、基于人工智能算法的实战项目(AI推荐/AI推断/AI法律咨询//AI挖掘)

1、实战项目之AI推荐 —大数据互联网电影智能推荐

(1)、教务管理系统业务介绍

(2)、大数据需求分析

(3)、构建分布式大数据框架

(4)、基于教务管理系统大数据分析

(5)、大数据可视化

2、实战项目之AI推断—电商大数据情感分析

(1)、实践项目研发

(2)、数据分析需求设立

(3)、大数据平台搭建

(4)、大数据分析脚本编写

(5)、结果可视化

3、实战项目之AI法律咨询—大数据分析与服务智能推荐

(1)、系统业务介绍

(2)、系统架构设计

(3)、详尽实现

(4)、数据可视化

(5)、项目优化

4、实战项目之AI挖掘—大数据基站定位智能推荐商圈分析

(1)、分析系统业务逻辑讲解

(2)、大数据导入与存储

(3)、Hbase理论及实战

(4)、基站数据分析与统计推断

(5)、数据分析与统计推断结果的展示（大数据可视化）

---

机器学习/深度学习场景实际应用

一、人工智能应用场景案例领域划分(CV领域/DS领域/NLP领域/金融领域/爬虫领域)

1、CV领域

案例1：手工数字识别

人认知世界的开始就是从认识数字开始的，深度学习也一样，数字识别是深度学习的一个很好的切入口，是一个非常经典的原型问题，通过对手写数字识别功能的实现，可以帮助我们后续对神经网络的理解和应用。选取手写数字识别的主要原因是手写数字具有一定的挑战性，要求对编程能力及神经网络思维能力有一定的要求，但同时手写数字问题的复杂度不高，不需要大量的运算，而且手写数字也可以作为其它技术的一个基础，所以以手写数字识别为基础，贯穿始终，从而理解深度学习相关的应用知识。

案例2：公安系统人脸识别、图像识别

使用深度学习框架从零开始完成人脸检测的核心技术图像类别识别的操作，从数据预处理开始一步步构建网络模型并展开分析与评估，方便大家快速动手进行项目实践！识别上千种人靓，返回层次化结构的每个人的标签。

案例3：公安系统图像检

本项目基于卷积神经网在训练过程中学习出对应的『二值检索向量』，对全部图先做了一个分桶操作，每次检索的时候只取本桶和临近桶的图片作比对，而不是在全域做比对，使用这样的方式提高检索速度，使用Tensorflow框架建立基于ImageNet的卷积神经网络，并完成模型训练以及验证。

2、机器学习之DS数据科学领域

数据挖掘相关算法(关联规则、Aprior算法)

案例1：手工实现梯度下降回归算法

梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。

案例2：基于TensorFlow实现回归算法

回归算法是业界比较常用的一种机器学习算法，通过应用于各种不同的业务场景，是一种成熟而稳定的算法种类；TensorFlow是一种常用于深度学习相关领域的算法工具；随着深度学习热度的高涨，TensorFlow的使用也会越来越多，从而使用TensorFlow来实现一个不存在的算法，会加深对TensorFlow的理解和使用；基于TensorFlow的回归算法的实现有助于后续的TensorFlow框架的理解和应用，并可以促进深度学习相关知识的掌握。

案例3：癌症筛选检测

技术可以改变癌症患者的命运吗，对于患有乳腺癌患者来说，复发还是痊愈影响这患者的生命，那么怎么来预测患者的患病结果呢，机器学习算法可以帮助我们解决这一难题，本项目应用机器学习logistic回归模型，来预测乳腺癌患者复发还是正常，有效的预测出医学难题。

案例4：葡萄酒质量检测系统

随着信息科技的快速发展,计算机中的经典算法在葡萄酒产业中得到了广泛的研究与应用。其中机器学习算法的特点是运用了人工智能技术,在大量的样本集训练和学习后可以自动地找出运算所需要的参数和模型。

案例5：今日头条CTR广告点击量预估

点击率预估是广告技术的核心算法之一，它是很多广告算法工程师喜爱的战场。广告的价值就在于宣传效果,点击率是其中最直接的考核方式之一,点击率越大,证明广告的潜在客户越多,价值就越大,因此才会出现了刷点击率的工具和技术。通过对于点击量的评估，完成对于潜在用户的价值挖掘。

案例6：垃圾邮件过滤系统

邮件主要可以分为有效邮件和垃圾邮件两大类，有效邮件指的邮件接收者有意义的邮件，而垃圾邮件转指那些没有任何意义的邮件，其内容主要包含赚钱信息、成人广告、商业或者个人网站广告、电子杂志等，其中垃圾邮件又可以发为良性垃圾邮件和恶性垃圾邮件，良性垃圾邮件指的就是对收件人影响不大的信息邮件，而恶性垃圾邮件指具有破坏性的电子邮件，比如包含病毒、木马等恶意程序的邮件。垃圾邮件过滤主要使用使用机器学习、深度学习等相关算法，比如贝叶斯算法、CNN等，识别出所接收到的邮件中那些是垃圾邮件。

案例7：序列分析系统

时间序列分析(Time Series Analysis)是一种动态数据处理的统计方法，主要基于随机过程理论和数理统计方法，研究随机数据序列所遵从的统计规律以便用于解决实际问题。主要包括自相关分析等一般的统计分析方法，构建模型从而进行业务推断。经典的统计分析是假定数据序列具有独立性，而时间序列分析则侧重于研究数据样本序列之间的依赖关系。时间序列预测一般反应了三种实际变化规律：趋势变化、周期性变化和随机性变化。时间序列预测常应用于国民经济宏观控制、企业经营管理、市场潜力量预测、天气预报、水文预报等方面，是应用于金融行业的一种核心算法之一。

案例8：职位画像

 使用python爬虫scrapy框架，对于智联招聘职位进行抓取，处理下一页机制，抓取职位名称、公司名称、公司地点等职位数据，并将数据通过Pipeline管道对数据进行数据去重，数据清洗，数据转换，数据存储。数据存储在Mysql数据库中，并将数据数值化，形成多表关联，后期使用Echarts可视化前端图表，完成数据炫酷展示。

3、NLP领域

案例1：京东聊天机器人/智能客服

聊天机器人/智能客服是一个用来模拟人类对话或者聊天的一个系统，利用深度学习和机器学习等NLP相关算法构建出问题和答案之间的匹配模型，然后可以将其应用到客服等需要在线服务的行业领域中，聊天机器人可以降低公司客服成本，还能够提高客户的体验友好性。

在一个完整的聊天机器人实现过程中，主要包含了一些核心技术，包括但不限于：爬虫技术、机器学习算法、深度学习算法、NLP领域相关算法。通过实现一个聊天机器人可以帮助我们队AI整体知识的一个掌握。

案例2：机器人写诗歌

机器人写诗歌/小说是一种基于NLP自然语言相关技术的一种应用，在实现过程中可以基于机器学习相关算法或者深度学习相关算法来进行小说/诗歌构建过程。人工智能的一个终极目标就是让机器人能够像人类一样理解文字，并运用文字进行创作，而这个目标大致上主要分为两个部分，也就是自然语言理解和自然语言生成，其中现阶段的主要自然语言生成的运用，自然语言生成主要有两种不同的方式，分别为基于规则和基于统计，基于规则是指首先了解词性及语法等规则，再依据这样的规则写出文章；而基于统计的本质是根据先前的字句和统计的结果，进而判断下一个子的生成，例如马尔科夫模型就是一种常用的基于统计的方法。

案例3：机器翻译系统

机器翻译又称自动翻译，是指利用计算机将一种自然语言转换为另外一种自然语言的过程，机器翻译是人工智能的终极目标之一，具有很高的研究价值，同时机器翻译也具有比较重要的实用价值，机器翻译技术在促进政治、经济、文化交流等方面起到了越来越重要的作用；机器翻译主要分为以下三个过程：原文分析、原文译文转换和译文生成；机器翻译的方式有很多种，但是随着深度学习研究取得比较大的进展，基于人工网络的机器翻译也逐渐兴起，特别是基于长短时记忆(LSTM)的循环神经网络(RDD)的应用，为机器翻译添了一把火。

4、广告推荐算法领域—协同过滤、基于内存的推荐、基于知识的推荐等

       随着现代电商的深入人心，基于用户行为(浏览、收藏、购物)分析尤为重要。而数据挖掘就是识别出巨量数据中有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程。本阶段主要从基于内容的推荐、协同过滤、SVD、基于知识的推荐以及混合推荐算法等讲解，并结合音乐推荐、隐因子模型推荐等项目让大家有更深入的学习了解。

案例1：淘宝网购物篮分析推荐算法

购物篮分析(Market Basket Analysis)即非常有名的啤酒尿布故事的一个反应，是通过对购物篮中的商品信息进行分析研究，得出顾客的购买行为，主要目的是找出什么样的物品会经常出现在一起，也就是那些商品之间是有很大的关联性的。通过购物篮分析挖掘出来的信息可以用于指导交叉销售、追加销售、商品促销、顾客忠诚度管理、库存管理和折扣计划等业务；购物篮分析的最常用应用场景是电商行业，但除此之外，该算法还被应用于信用卡商城、电信与金融服务业、保险业以及医疗行业等。

案例2：百度云音乐推荐—百度音乐系统文件分类

音乐推荐系统就是利用音乐网站上的音乐信息，向用户提供音乐信息或者建议，帮助用户决定应该听什么歌曲。而个人化推荐则是基于音乐信息及用户的兴趣特征、听歌历史行为，向用户推荐用户可能会感兴趣的音乐或者歌手。推荐算法主要分为以下几种：基于内容的推荐、协同过滤推荐、基于关联规则推荐、基于效用推荐、基于知识推荐等；推荐系统常用于各个互联网行业中，比如音乐、电商、旅游、金融等。

案例3：隐因子模型推荐系统开发

5、金融领域

案例1：千万级P2P金融系统反欺诈模型训练

目前比较火的互联网金融领域，实质是小额信贷，小额信贷风险管理，本质上是事前对风险的主动把控，尽可能预测和防范可能出现的风险。本项目应用GBDT、Randomforest等机器学习算法做信贷反欺诈模型，通过数据挖掘技术，机器学习模型对用户进行模型化综合度量，确定一个合理的风险范围，使风险和盈利达到一个平衡的状态

​

6、爬虫领域

案例1：豆瓣TOP250抓取

抓取豆瓣电影TOP250，得到电影名、电影介绍、评分、评论人数、经典的话等信息，后期为了防止爬虫被豆瓣Ban掉，增加了一些随机延迟、伪装浏览器请求头，浏览器代理等，最终数据存储在Mongodb。

二、基于人工智能算法的实战项目(AI推荐/AI推断/AI法律咨询//AI挖掘)

1、实战项目之AI推荐 —大数据互联网电影智能推荐

(1)、教务管理系统业务介绍

 1.教务管理系统框架讲解

 2.系统业务逻辑介绍

(2)、大数据需求分析

 1.明确数据需求

 2.大数据分析过程

 3.分析难点和解决方案

 4.大数据相关技术选型

(3)、构建分布式大数据框架

 1.Hadoop分布式集群配置

 2.ZooKeeper高可用

 3.SQOOP数据转移

 4.ETL数据清洗

 5.HIVE数据分析

 6.HBase数据存储

(4)、基于教务管理系统大数据分析

 1.业务数据分析指标设定

 2.操作MapReduce分而治之

 3.使用Hive进行数据整合抽离

 4.使用HBase存储非结构话数据

(5)、大数据可视化

 1.可视化技术选型

 2.Echarts代码展示炫酷视图

 3.使用Tableau进行数据可视化展示

2、实战项目之AI推断—电商大数据情感分析

(1)、实践项目研发

 1) 开发环境的安装配置

 2) 表与数据

 3) LARAVEL的快速开发实践

 4) 批量创建模型

 5) 万能控制器与表配置

 6) 统一视图的创建

(2)、数据分析需求设立

 1) 定义数据需求

 2) 分析计算过程

 3) 分析难点和解决方案

 4) 大数据技术选型

(3)、大数据平台搭建

 1) 分布式环境的模拟建立

 2) 网络环境的调通

 3) 身份验证与集群控制

 4) Hadoop环境搭建和要点说明

 5) MapReduce与Yarn的搭建和说明

(4)、大数据分析脚本编写

 1) MapReduce脚本编写

 2) 拆解数据需求

 3) Map逻辑详写

 4) Reduce逻辑详写

 5) 结果整理与输出

(5)、结果可视化

 1) 可视化需求和技术选型

 2) 展示页面的快速铺设

 3) 可视化JS上手

 4) 使用可视化JS展示结果

3、实战项目之AI法律咨询—大数据分析与服务智能推荐

(1)、系统业务介绍

 1.底层业务实现框架讲解

 2.功能模块讲解

(2)、系统架构设计

 1.总体架构分析

 2.数据流向

 3.各技术选型承载作用

 4.部署方案

(3)、详尽实现

 1. 原始数据处理

 2. ETL数据导入

 3. MR数据计算

 4. Hive数据分析

(4)、数据可视化

 1.采用Highcharts插件展示客户偏好曲线图

 2.使用Tableau进行数据分析可视化展示

(5)、项目优化

 1. ZooKeeper实现HA

 2. 集群监控的整体联调

4、实战项目之AI挖掘—大数据基站定位智能推荐商圈分析

(1)、分析系统业务逻辑讲解

（1）大数据基站定位智能推荐商圈分析系统介绍

（2）数据前期清晰和数据分析目标指标的设定等

(2)、大数据导入与存储

（1）关系型数据库基础知识

（2）hive的基本语法

（3）hive的架构及设计原理

（4）hive安装部署与案例等

（5）Sqoop安装及使用

（6）Sqoop与关系型数据库进行交互等

（7）动手实践

(3)、Hbase理论及实战

（1）Hbase简介、安装及配置

（2）Hbase的数据存储与数据模型

（3）Hbase Shell

（4）Hbase访问接口

（5）Hbase数据备份与恢复方法等

（6）动手实践（数据转储与备份）

(4)、基站数据分析与统计推断

（1）背景与分析推断目标

（2）分析方法与过程推断

1)数据抽取

2)数据探索分析

3)数据预处理

（3）动手实践（分析既定指标数据）

(5)、数据分析与统计推断结果的展示（大数据可视化）

（1）使用Tableau展示数据分析结果

（2）使用HighCharts、ECharts展示数据分析结果