网站域名注册证书查询台州网站建设哪家公司好

网站域名注册证书查询,台州网站建设哪家公司好,湖北网站推广策略,温州网站建设科技有限公司1. 参数估计与极大似然 1.1 从类条件概率到参数估计 任务背景#xff1a;在分类问题中#xff0c;我们需要估计类条件概率分布 P(x∣c)P(x\mid c)P(x∣c)。参数化假设#xff1a;先假定 P(x∣c)P(x\mid c)P(x∣c) 具有某种确定的概率分布形式#xff0c;其形状由一个参数向…1. 参数估计与极大似然1.1 从类条件概率到参数估计任务背景在分类问题中我们需要估计类条件概率分布P(x∣c)P(x\mid c)P(x∣c)。参数化假设先假定P(x∣c)P(x\mid c)P(x∣c)具有某种确定的概率分布形式其形状由一个参数向量θc\theta_cθc​决定记作P(x∣θc)P(x\mid\theta_c)P(x∣θc​)。训练目标利用训练集DDD来估计未知的参数θc\theta_cθc​这个过程称为参数估计。1.2 频率派与贝叶斯派的视角频率主义认为参数虽然未知但客观存在可以通过优化某个准则来确定它的取值极大似然估计属于这一派的经典方法。贝叶斯派把参数看成随机变量对其假设一个先验分布然后基于观测数据计算参数的后验分布。2. 极大似然估计方法2.1 基本思想令DcD_cDc​表示训练集DDD中属于第ccc类的样本集合假设这些样本是独立同分布的。似然函数给定参数θc\theta_cθc​观测到数据集DcD_cDc​的概率等于所有样本概率的乘积。极大似然估计的思想在所有可能的θc\theta_cθc​中选择那个能使已经观测到的这批数据DcD_cDc​出现的概率最大的参数。2.2 对数似然直接对大量小概率相乘容易造成数值下溢因此通常对似然取对数得到对数似然。由于对数函数是单调递增的最大化对数似然与最大化似然等价。参数的极大似然估计为θ^carg⁡max⁡θcLL(θc)\hat{\theta}_c \arg\max_{\theta_c} LL(\theta_c)θ^c​argθc​max​LL(θc​)求解步骤在给定的概率分布假设下写出对数似然函数对参数求偏导并令导数为 0解出候选解检查该解是否对应对数似然的最大值点。3. 正态分布下的极大似然估计3.1 模型假设在连续属性情形下若假设类条件概率密度服从正态分布N(μc,σc2)\mathcal{N}(\mu_c,\sigma_c^2)N(μc​,σc2​)则需要估计的参数为均值μc\mu_cμc​和方差σc2\sigma_c^2σc2​。3.2 MLE 结果对属于第ccc类的样本集合DcD_cDc​极大似然估计得到均值参数就是该类样本的样本均值所有样本的平均值方差参数就是样本关于均值的平方偏差的平均值样本方差在离散属性情形下采用类似思路每个取值的概率的极大似然估计就是该取值出现的频数 / 样本总数。4. 方法特点与注意事项优点给定分布形式后通过优化明确的目标函数即可得到参数计算相对简单。局限估计结果高度依赖于事先假定的概率分布形式如果假设与真实数据分布相差较大估计结果可能偏离真实值。实践启示需要在建模之前充分利用对任务本身的经验知识来选择分布形式而不是完全凭猜测。5. 小结本质频率主义框架下的参数估计方法通过最大化观测数据的似然或对数似然来选取参数。操作写出似然 → 取对数 → 对参数求导并令导数为 0 → 得到极大似然解。直观结果在正态分布等常见模型中极大似然给出样本均值、样本方差等统计量。关键前提分布形式假设是否合理往往比后续求解过程本身更重要。