计算机视觉
图像处理

概率密度估计,马尔科夫随机场简介

概率密度估计:

1、概率密度函数

在分类器设计过程中(尤其是贝叶斯分类器),需要在类的先验概率和类条件概率密度均已知的情况下,按照一定的决策规则确定判别函数和决策面。但是, 在实际应用中,类条件概率密度通常是未知的。那么,当先验概率和类条件概率密度都未知或者其中之一未知的情况下,该如何来进行类别判断呢?其实,只要我们 能收集到一定数量的样本,根据统计学的知识,可以从样本集来推断总体概率分布。这种估计方法,通常称之为概率密度估计。它是机器学习的基本问题之一,其目的是根据训练样本来确定x(随机变量总体)的概率分布。密度估计分为参数估计和非参数估计两种。

 

2、参数估计

参数估计:根据对问题的一般性认识,假设随机变量服从某种分布(例如,正态分布),分布函数的参数可以通过训练数据来估计。参数估计可以分为监督参数估计和非监督参数估计两种。参数估计当中最常用的两种方法是最大似然估计法和贝叶斯估计法。

 

监督参数估计:样本所属类别及条件总体概率密度的形式已知,表征概率密度的某些参数是未知的。

非监督参数估计:已知样本所属的类别,但未知总体概率密度函数的形式,要求推断出概率密度本身。

 

3、非参数估计

非参数估计:已知样本所属的类别,但未知总体概率密度函数的形式,要求我们直接推断概率密度函数本身。即,不用模型,只利用训练数据本身来对概率密度做估计。

非参数估计常用的有直方图法和核方法两种;其中,核方法又分为Pazen窗法和KN近领法两种。

 

马尔科夫随机场简介

1、随机过程:

描述某个空间上粒子的随机运动过程的一种方法。它是一连串随机事件动态关系的定量描述。随机过程与其它数学分支,如微分方程、复变函数等有密切联系,是自然科学、工程科学及社会科学等领域研究随机现象的重要工具。

 

2、马尔科夫随机过程:

是随机过程的一种,其原始模型为马尔科夫链,由俄国数学家马尔科夫于1907年提出。其主要特征是:在已知目前状态(现在)的条件下,它未来的变化(将来)不依赖于以往的变化,而仅仅跟目前所处的状态有关。在现实世界中,很多随机过程都是马尔科夫随机过程,例如:液体中粒子的布朗运动、传染病受感染的人数、车站的候车人数等。拿天气来打个比方。如果我们假定天气是马尔可夫的,其意思就是我们假设今天的天气仅仅与昨天的天气存在概率上的关联,而与前天及前天以前的天气没有关系。其它如传染病和谣言的传播规律,就是马尔可夫的。

 

3、随机场:

随机场实际上是一种特殊的随机过程,跟普通的随机过程不同的是,其参数取值不再是实数值而有是多维的矢量值甚至是流行空间的点集。一些已有的随机场如:马尔科夫随机场MRF,吉布斯随机场GRF,条件随机场CRF,高斯随机场。

通俗点说,当给每一个位置中按照某种分布随机赋予相空间的一个值之后,其全体就叫做随机场。这里不妨拿棋盘格里面填充字母的游戏来打个比方,其中有两个概念:位置(site),相空间(phase space)。“位置”好比是棋盘格中的某个小格子;“相空间”好比是小格子里面填充的字母。我们可以给不同位置的小格子填充不同的字母,这就好比给随机场的每个“位置”,赋予相空间里不同的值。

 

 

4、马尔科夫随机场:

显然,马尔科夫随机场是具有马尔科夫特性的随机场。依然以上面棋盘格填充字母的游戏来说明,即:每个小格子里面填充的字母仅仅跟它邻近的小格子的字母有关,跟其它不邻近的小格子里面的字母没有任何关系。那么,整个棋盘格里面填充的字母几何,就是一个马尔科夫随机场。

转载注明来源:CV视觉网 » 概率密度估计,马尔科夫随机场简介

分享到:更多 ()
扫描二维码,给作者 打赏
pay_weixinpay_weixin

请选择你看完该文章的感受:

0不错 1超赞 0无聊 0扯淡 0不解 0路过

评论 4

评论前必须登录!