设计网站有哪些西安网站开发有哪些公司

设计网站有哪些,西安网站开发有哪些公司,上海工信部网站,网页设计图片加载不出来原文#xff1a;towardsdatascience.com/introduction-to-support-vector-machines-motivation-and-basics-920e4c1e22e0 简介 在这篇文章中#xff0c;您将了解支持向量机#xff08;SVM#xff09;的基础知识#xff0c;这是一种备受推崇的监督机器学习算法。 这项技术…原文towardsdatascience.com/introduction-to-support-vector-machines-motivation-and-basics-920e4c1e22e0简介在这篇文章中您将了解支持向量机SVM的基础知识这是一种备受推崇的监督机器学习算法。这项技术应该成为每个人的工具包中的一部分尤其是那些渴望有朝一日成为数据科学家的人。由于有很多东西要学习我将分两篇文章向您介绍 SVM这样您可以在中间休息一下喝杯咖啡 动机首先让我们尝试理解在二元分类问题背景下支持向量机SVM背后的动机。在二元分类问题中我们的数据属于两个类别我们试图找到一个决策边界将数据分成这两个类别同时犯下尽可能少的错误。考虑下面的图表它代表我们在二维平面上的假设数据。正如我们所见数据被分为两个类别加号和星号。注意为了简化我们现在只考虑线性可分的数据稍后我们将了解非线性可分的情况。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/3b4fef02af648aa74bd2078d02dec6d8.png图 1表示来自两个不同类别的数据点的数据表示支持向量机SVM的目标就像任何分类算法一样是找到一个决策边界将数据分成两个类别。然而为了达到这个目的可能存在许多可能的决策边界如下所示。我们应该考虑哪一个https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/635d87c4c7aec1442b91660538d0fc9f.png图 2理想的决策边界是什么黄色和黑色的决策边界似乎不是一个好的选择。为什么你可能会问这仅仅是因为它们可能不会很好地推广到新的数据点因为它们中的每一个都离其中一个类别非常近。从这个意义上说蓝色的线似乎是一个好的候选者因为它离两个类别都很远。因此通过扩展这个思路我们可以这样说一个理想的决策边界将是一条与任何数据点距离最大的线。因此如果我们把决策边界想象成一条路我们希望这条路尽可能宽。这正是 SVM 试图做到的。工作原理数学上现在我们已经了解了 SVM 的目标我们的下一步是了解它是如何找到这个决策边界的。所以让我们从以下图表开始从头开始。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/4296bdd86e79185b4469b3bfbdb283ea.png图 3识别理想决策边界的数学公式首先我们将推导出决策边界的方程以数据点为依据。为此让我们假设我们已经有了一个决策边界上图中的蓝色线和两个需要分类的未知点。我们在二维空间中将这些点表示为向量u和v。我们还引入了一个向量w我们假设它是垂直于决策边界的。现在我们将u和v投影到w的方向上并根据某个阈值c检查投影向量是在决策边界的左侧还是右侧。从数学上讲我们说数据点x在决策边界的右侧即星类如果w.x ≥ c否则它在加类。这意味着根据任意数据点x分隔两类的超平面在二维情况下是线的方程如下https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/4f9a2f308be484c01a69281e9bb05a19.png现在我们已经得到了我们的决策边界方程但它还不清楚如何帮助我们最大化其与两类数据点的距离。为此我们将采用一个如下所述的技巧。通常在二元分类问题中数据样本的标签是 1 或 -1。因此如果我们的决策规则即w.x b对所有属于星类数据点的输出量大于或等于 1对所有属于加类数据点的输出量小于或等于 -1对我们来说将更加方便。从数学上讲如果w.x b ≥ 1则x应属于星类如果w.x b ≤ -1则x应属于加类或者我们可以写成https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/261db2843597638e335659167094150f.png对于每个点x_i其中我们考虑加类中的y_i等于 -1星类中的y_i等于 1。这两个规则对应于以下图中虚线决策边界与两者平行且距离相等。如图所示最接近决策边界在任一侧的点可以决定其位置。现在由于决策边界必须与数据点保持最大距离我们必须最大化虚线之间的距离d。顺便说一下这些虚线被称为支持向量。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/1b0e843c03cb19228fd1c10aac67b81b.png图 4决策边界的间隔现在让我们用x_-表示离决策边界最近的加类点用x_表示最近的星类点。那么d是向量x_−x_-在w方向即垂直于决策边界上的投影长度。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/473bfd446ca22a6bf9fba64b3133f7ab.png图 5识别间隔宽度从数学上讲d可以写成https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/a0c45012e2c52a053a6b1a564b287fcd.png由于x_和x_-最接近决策边界并且如前所述接触到了虚线它们满足以下方程https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/b855d7d545ef1eaa9912144add865e64.png将x_ . w和x_- . w代入d的方程中我们得到https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/4484b22818e18abc824c8e20b884e3f9.png因此如果我们必须最大化d我们可以等价地最小化|w|或最小化1/2.|w|²这种转换是为了数学上的方便。然而这种优化必须受到正确分类所有数据点的约束。因此我们将使用拉格朗日乘数来强制执行方程(A)的约束。现在是时候做一些数学工作了。正式来说我们的目标是使以下目标函数最小化https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/3a16d79092e13faf59aded57308ce8c9.png对L关于w求导我们会得到最优的w如下https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/bdd21bf3b7772503792185a3ad990645.png这里值得注意的是决策向量w是输入向量或数据点x_i的线性组合。下一步是对L关于b求导这将给我们以下等式https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/e9daab79471afd6e623e568274e9cb89.png现在我们将(E)代入(D)并使用(F)将目标函数重新排列成以下形式https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/5a01672328909d461acc0660a9415e58.png如果你仔细观察你会注意到现在的优化函数现在依赖于输入向量即数据点的点积。这是我们稍后将要讨论的一个很好的特性。此外这个优化函数是凸的所以我们不会陷入局部最大值。现在我们已经拥有了所有东西我们可以应用梯度下降等优化算法来找到λ的值。我鼓励你实现它并观察获得的λ的值。观察后你会注意到λ的值对所有点都是零除了那些位于决策边界两侧最近的点。这意味着远离决策边界的点在决定决策边界的位置上没有发言权。所有的重要性通过非零的λ都分配给了最接近边界的点这正是我们一直以来的理解。它适用于更一般的情形吗所以现在你已经了解了 SVM 的目标以及它是如何实现的。但是对于以下情况数据点不是线性可分的怎么办https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/a9e425ca3aaa130225103f7cd4fe5360.png图 6线性不可分情形的激励示例在这种情况下支持向量机SVM可能会陷入寻找决策边界最优位置的问题我们最终在优化过程中可能会得到一个较差的结果。这意味着我们不能再应用这项技术了吗幸运的是答案是否定的。对于这类场景我们有两种选择1 – 我们可以允许我们的算法犯一定数量的错误这样其他点仍然可以被正确分类。在这种情况下我们将修改我们的目标函数来实现这一点。这被称为支持向量机的软间隔公式。2 – 我们可以将我们的数据空间转换到更高的维度例如从 2 维到 3 维但更高的维度也是可能的希望在该空间中点可以线性分离。在这种情况下我们将使用“核技巧”由于目标函数依赖于输入向量的点积这将使得计算成本较低。总结我们将在下一篇文章中学习这两种方法文章链接如下。如果您有任何问题或建议请在评论区告诉我。感谢阅读。干杯支持向量机 – 软间隔公式和核技巧反馈是一份礼物如果您觉得内容有用并想了解更多关于机器学习和人工智能的知识请关注我的个人资料以便接收我未来文章的更新。如果您有任何问题或主题请求也请在评论区告诉我。文章中的所有图片都是我创作的。欢迎访问我的网站以取得联系rishabhmisra.github.io/– 我经常就现实世界的 AI 应用提供咨询。