今天给大家介绍机器学习的一种分类模型朴素贝叶斯模型，这是我整理了好久的文章，希望大家能学到一点知识我也是欣慰的^_^o~ 努力！

点击阅读原文可获得工具包连接与密码:sm2s

回复贝叶斯Matlab可获取全部文章 Word版

贝叶斯 Thomas Bayes，英国数学家。他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献。

贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分。贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。其基本思想是：　　

• 　　1、已知类条件概率密度参数表达式和先验概率。
• 　　2、利用贝叶斯公式转换成后验概率。
• 　　3、根据后验概率大小进行决策分类。

　　未知事件中A[i]出现时B[j]出现的后验概率在主观上等于已有事件中B[j]出现时A[i]出现的先验概率值乘以B[j]出现的先验概率值然后除以A[i]出现的先验概率值最终得到的结果。这就是贝叶斯的核心思想：用先验概率估计后验概率。

　　具体到分类模型中，上述公式可以理解为：将B[j]看作分类的一种，将A[i]看作样本的特征属性之一，此时等号左边为待分类样本中出现特征A[i]时该样本属于类别B[j]的概率P(B[j]|A[i])，而等号右边是根据训练样本统计得到的特征A[i]出现子类别B[j]中的概率P(A[i]|B[j])乘以类别B[j]在训练样本中出现的概率P(B[j])最后除以特征A[i]在训练样本中出现的概率P(A[i])。

　　以下为基本的概念介绍，有概率论知识基础的可以跳过，这部分主要是为一些不理解上面公式的初始学习者进行指导。

1.学习树扩展贝叶斯网络结构的TANC算法.

2.数据完整条件下学习一般贝叶斯网络结构学习算法

数据完整条件下贝叶斯结构算法

3.缺失数据条件下学习一般贝叶斯网络结构学习算法

缺失数据条件下贝叶斯结构算法

1.BNT中也提供了丰富的参数学习函数，都有：

3.数据缺失时，如果已知网络拓扑结构，用EM算法来计算参数， learn_params_em ()。

BNT中提供了多种推理引擎，都有：

一个Noisy-or节点就像通常的“或”门一样，但有时父节点的效果将被抑制。受抑制的父节点i的概率用 来表示。一个节点C，有两个父节点A和B，有如下CPD，使用F和T来表达关和开，（在BNT中是1和2）。

神经网络节点 使用一个多层感知器实现了从连续父节点向离散子节点的映射。

高斯节点 将连续值的节点处理成一个离散的情况

我们将 N/(q*r) 放入每个格；N 是等效的样本大小，r=|A|,q = |B|. 这可以按如上面方式创建：

这里 1 是等效样本大小，也是先验概率的强度。你可以使用上面面方式更改它，

% 贝叶斯选择模型示例.
% 建立模型A->B，生成样本数据
% 正确的模型在12次后收敛
% 结构先验，假设为均匀分布
% 保存结果并初始化训练结构
% Plot，模型后验概率
 

 

 图为贝叶斯模型选择后验概率对比
 
 

 BNT中的结构学习程序可以按类似参数学习的情况分成四类：
 
 

 

 如果两个 DAGs 编码同样的条件独立，它们被叫做 Markov 等效。所有 DAGs 的集合可以被分割成 Markov 等效类。同一类内的线图可以有方向，它们弧的颠倒不会改变任何 CI 关系。每一类都可以用一个 PDAG（partially directed acyclic
 graph，局部有向非循环图）这种图被称为本质图或方向图。这个详细说明哪个边必须在某一个方位上被定向，哪个可能被颠倒。
 
 

 
 

 结构学习的强有力手段是列举DAGs的所有可能性，并对它们一一打分。这为其它算法的比较提供了一个“黄金标准”。我们按如下做：
 
 

 
 

 
 

 默认的情况下，我们使用贝叶斯打分规则，并假定 CPDs 是用带有 BDeu 的先验表表示的。如果想是用一致的先验值，我们可以通过如下方法覆盖这些默认值。
 
 

 
 

 
 

 
 

 
 

 
 

 实际上不能列举N>5的所有可能的DAGs。
 
 

 

 
 

 
 

 
 

 
 

 爬山算法从状态空间中的一个指定点开始，考虑所有最接近的邻节点，然后移向得分最高的相邻节点。当相邻节点得分没有高于当前节点时（例如到达了局部最大值。），算法停止。然后从空间的其它部分重新开始。“相邻”通常定义为所有的图可以通过从当前的图添加、删除或翻转一个单独的弧得出，并服从无环的约束。其它相邻的可能详。
 
 

 
 

 
 

 使用Metropolis-Hastings(MH)的马尔可夫链蒙特卡尔算法来搜索所有的图空间。标准的分配提案是考虑移动所有最近的按上面定义的邻节点。这个函数可以按如下方法调用：
 
 

 
 

 
 

 计算贝叶斯打分时，有部分是计算具有挑战性的观测，因为参数学习的后验概率变成了多峰的状态（这是由于隐含节点导致了一个混合的分布）。因此需要使用逼近算法，如 BIC。不幸的是搜索算法仍然是代价高昂的，因为我们需要在每一步运行 EM 算法来计算 MLE
 
 

 值，它需要对每一个模型进行计算打分。一个变换的方法是在每步进行局域搜索来替代第M步的 EM，当数据是“添满”状态时这种方法非常有效。——以上被称为结构上的 EM 算法（Friedman 1997）它可以通过 BIC 打分收敛的局部最大值来证明。
 
 

 

 创立好一个贝叶斯网络，我们现在可以用它来进行推断。贝叶斯网络中有许多不同的算法来作为推断的的工具，在速度、复杂性、普遍性和精确性上有不同的表现。BNT因此提供了多种多样的不同的推断引擎。
 
 

 enter_evidence，引擎可以处理一些经过特殊处理的证据。最后，当调用，marginal_nodes引擎可以执行一些特殊处理的查询。
 
 

 

 最简单的推理方法是直接构建所有结点的联合分布，然后得到边缘概率。这已在global_joint_inf_engine中实现，但它仅适用于教学和调试。
 
 

Python贝叶斯文档分类模型

 

 
 

 （1）收集数据：可以使用任何方法。本文使用RSS源
 
 

 （2）准备数据：需要数值型或者布尔型数据
 
 

 （3）分析数据：有大量特征时，绘制特征作用不大，此时使用直方图效果更好
 
 

 （4）训练算法：计算不同的独立特征的条件概率
 
 

 （5）测试算法：计算错误率
 
 

 （6）使用算法：一个常见的朴素贝叶斯应用是文档分类。可以在任意的分类场景中使用朴素贝叶斯分类器，不一定非要是文本。
 
 

 准备数据：从文本中构建词向量
 
 

 
 

 
 

 
 

 
 

 
 

 
 

 以上是六句话，标记是0句子的表示正常句，标记是1句子的表示为粗口。我们通过分析每个句子中的每个词，在粗口句或是正常句出现的概率，可以找出那些词是粗口。
 
 

 在bayes.py文件中添加如下代码：
 
 

 
 

 
 

 

 训练算法：从词向量计算概率
 
 

 
 

1. # 朴素贝叶斯分类器训练函数 
 

 


 

 

 测试算法：根据现实情况修改分类器
 
 

 上一节中的trainNB0函数中修改几处：
 
 

 
 

1. # 朴素贝叶斯分类器训练函数 
22. # 朴素贝叶斯分类函数 
 

 


 

 

 准备数据：文档词袋模型
 
 

 词集模型（set-of-words model）：每个词是否出现，每个词只能出现一次
 
 

 
 

 
 

1. # 朴素贝叶斯词袋模型 
 

 示例：使用朴素贝叶斯过滤垃圾邮件
 


 

 （1）收集数据：提供文本文件
 


 

 （2）准备数据：将文本文件解析成词条向量
 


 

 （3）分析数据：检查词条确保解析的正确性
 


 

 （4）训练算法：使用我们之前建立的trainNB0()函数
 


 

 （5）测试算法：使用classifyNB()，并且构建一个新的测试函数来计算文档集的错误率
 


 

 （6）使用算法：构建一个完整的程序对一组文档进行分类，将错分的文档输出到屏幕上
 


 

 使用正则表达式切分句子
 


 

 

 测试算法：使用朴素贝叶斯进行交叉验证
 
 

 
 

1. # 该函数接受一个大写字符的字串，将其解析为字符串列表 
2. # 该函数去掉少于两个字符的字符串，并将所有字符串转换为小写 
8. # 完整的垃圾邮件测试函数 
13. # 导入并解析文本文件 
28. # 随机构建训练集 
 

 


 

 

 因为这些电子邮件是随机选择的，所以每次输出的结果可能会不一样。
 
 

今天的推文就到这吧，我感冒发烧了，有点难受。各位晚安。

 

 
 

 知识、能力、深度、专业
 
 

 勤奋、天赋、耐得住寂寞
 

本系列介绍ffmpeg命令行中有关-devices输入输出设备的支持和使用。

输入设备（input devices）用于采集/抓取来自连接到系统的多媒体设备的数据，比如采集麦克风/话筒的音频采样数据，桌面屏幕图像数据，摄像头/相机图像数据等。

输出设备（output devices）用于将多媒体数据写出到系统的输出设备中，比如音频播放设备，窗口，图形渲染设备（openGL上下文、SDL）等。

本文参考自ffmpeg官方文档：

linux平台下载：linux发行版较多，有些发行版支持ffmpeg，不一一提供，提供ffmpeg官方提供的两个下载链接

使用ffmpeg命令列出所有ffmpeg支持的设备

基于Win32 GDI的屏幕捕获设备。可以捕获Windows桌面屏幕显示区域的画面图像，包含windows窗口显示画面。

捕获桌面屏幕指定区域的画面图像(不加-offset_x 和 -offset_y就是捕获全屏)

捕获计算器窗口画面图像

将与指定的CRTC或平面关联的KMS扫描输出帧缓冲区捕获为DRM对象，并将其传递给其他硬件功能。

该输入设备从libavfilter过滤器图的打开的输出垫读取数据。
对于每个filtergraph打开的输出，输入设备将创建一个对应的流，该流映射到生成的输出。当前仅支持视频数据。过滤器图是通过选项图指定的。

基于libcdio的音频CD输入设备。
要在配置期间启用此输入设备，您需要在系统上安装libcdio。它需要配置选项–enable-libcdio。
此设备允许从音频CD播放和抓取。

OpenAL输入设备通过有效的OpenAL 1.1实施在所有系统上提供音频捕获。OpenAL标头和库应作为OpenAL实施的一部分提供，或作为其他下载（SDK）提供。

打开声音系统输入设备。
提供给输入设备的文件名是代表OSS输入设备的设备节点，通常设置为/ dev / dsp。

提供给输入设备的文件名是源设备或字符串“ default”。

提供给输入设备的文件名是代表sndio输入设备的设备节点，通常设置为/ dev/audio0。

要抓取的设备的名称是文件设备节点，通常，Linux系统会在将设备（例如USB网络摄像头）插入系统时自动创建此类节点，并且名称为/ dev / videoN，其中N是与设备关联的数字。
时间戳记的时基为1微秒。根据内核版本和配置的不同，时间戳可能来自实时时钟（Unix纪元起源）或单调时钟（通常在引导时起源，不受NTP或手动更改时钟的影响）。 -timestamps abs或-ts abs选项可用于强制转换为实时时钟。

VfW（Windows视频）捕获输入设备。作为输入传递的文件名是捕获驱动程序号，范围从0到9，一般用于捕获摄像头图像。
可以使用“ list”作为文件名来查看支持的设备列表。其他任何文件名将被解释为设备号0。

查看本机支持的设备列表

捕获摄像头图像并保存成mp4文件

X11视频输入设备。可以捕获X11显示器的区域。

ALSA（高级Linux声音体系结构）输出设备。

此输出设备允许在CACA窗口中显示视频流。每个应用程序只允许一个CACA窗口，因此在一个应用程序中只能有一个此输出设备的实例。

Linux帧缓冲输出设备。
Linux帧缓冲区是独立于图形硬件的图形抽象层，用于在计算机监视器（通常在控制台）上显示图形。通过文件设备节点（通常是/ dev / fb0）访问它。

此输出设备允许渲染到OpenGL上下文。上下文可以由应用程序提供，也可以创建默认的SDL窗口。

OSS（开放声音系统）输出设备。

此输出设备允许在SDL窗口中显示视频流。每个应用程序只允许一个SDL窗口，因此在一个应用程序中只能有此输出设备的一个实例。
更多sdl信息请查看：

sndio音频输出设备。

京东上的所有商品信息、客户评价、商品咨询、网友讨论等内容，是京东重要的经营资源，未经许可，禁止非法转载使用。

注：本站商品信息均来自于合作方，其真实性、准确性和合法性由信息拥有者（合作方）负责。本站不提供任何保证，并不承担任何法律责任。

印刷版次不同，印刷时间和版次以实物为准。

京东价：京东价为商品的销售价，是您最终决定是否购买商品的依据。

划线价：商品展示的划横线价格为参考价，并非原价，该价格可能是品牌专柜标价、商品吊牌价或由品牌供应商提供的正品零售价（如厂商指导价、建议零售价等）或其他真实有依据的价格；由于地区、时间的差异性和市场行情波动，品牌专柜标价、商品吊牌价等可能会与您购物时展示的不一致，该价格仅供您参考。

折扣：如无特殊说明，折扣指销售商在原价、或划线价（如品牌专柜标价、商品吊牌价、厂商指导价、厂商建议零售价）等某一价格基础上计算出的优惠比例或优惠金额；如有疑问，您可在购买前联系销售商进行咨询。

异常问题：商品促销信息以商品详情页“促销”栏中的信息为准；商品的具体售价以订单结算页价格为准；如您发现活动商品售价或促销信息有异常，建议购买前先联系销售商咨询。