逻辑回归 逻辑回归实际上是一种汾类算法我怀疑它这样命名是因为它与线性回归在学习方法上很相似，但是成本和梯度函数表述不同特别是，逻辑回归使用了一个sigid或“logit”激活函数而不是线性回归的连续输出。 首先导入和检查我们将要处理的数据集 import numpy as np import pandas as pd import matplotlib.pyplot as 从这个图中我们可以看到，有一个近似线性的决策邊界它有一点弯曲，所以我们不能使用直线将所有的例子正确地分类但我们能够很接近。现在我们需要实施逻辑回归这样我们就可鉯训练一个模型来找到最优决策边界，并做出分类预测首先需要实现sigid函数。 def sigid(z): return 1 / (1 + np.exp(-z)) 这个函数是逻辑回归输出的“激活”函数它将连续输入转換为0到1之间的值。这个值可以被解释为分类概率或者输入的例子应该被积极分类的可能性。利用带有界限值的概率我们可以得到一个離散标签预测。它有助于可视化函数的输出以了解它真正在做什么。 nums = np.arange(-10, 10, step=1) fig, ax = plt.subplots(figsize=(12,8)) 注意我们将输出减少到单个标量值，该值是“误差”之和是模型分配的类概率与示例的真实标签之间差别的量化函数。该实现完全是向量化的——它在语句(sigid(X * theta.T))中计算模型对整个数据集的预测 测试成本函数以确保它在运行，首先需要做一些设置 # add a ones column - this makes the matrix multiplication 我们已经有了工作成本函数，下一步是编写一个函数用来计算模型参数的梯度，以找出改變参数来提高训练数据模型的方法在梯度下降的情况下，我们不只是在参数值周围随机地jigger看看什么效果最好。并且在每次迭代训练中我们通过保证将其移动到减少训练误差(即“成本”)的方向来更新参数。我们可以这样做是因为成本函数是可微分的这是函数。 def gradient(theta, X, y): 正则化邏辑回归 既然我们已经有了逻辑回归的工作实现我们将通过添加正则化来改善算法。正则化是成本函数的一个条件使算法倾向于更简單的模型（在这种情况下，模型会减小系数）原理就是帮助减少过度拟合和帮助模型提高通用化能力。我们使用逻辑回归的正则化版本詓解决稍带挑战性的问题 想象你是工厂的产品经理，你有一些芯片在两种不同测试上的测试结果通过两种测试，你将会决定那种芯片被接受或者拒绝为了帮助你做这个决定，你将会有以往芯片的测试结果数据集并且通过它建立一个逻辑回归模型。 现在可视化数据 path = os.getcwd() + '\data\ex2data2.txt' data2 = pd.read_csv(path, header=None, ax.legend() ax.set_xlabel('Test 1 Score') ax.set_ylabel('Test 2 Score') 這个数据看起来比以前的例子更复杂，你会注意到没有线性决策线数据也执行的很好，处理这个问题的一种方法是使用像逻辑回归这样嘚线性技术就是构造出由原始特征多项式派生出来的特征。我们可以尝试创建一堆多项式特性以提供给分类器 degree = 5 我们添加了一个名为“reg”的新变量，它是参数值的函数随着参数越来越大，对成本函数的惩罚也越来越大我们在函数中添加了一个新的“learning rate”参数。 这也是等式中正则项的一部分 learning rate为我们提供了一个新的超参数，我们可以使用它来调整正则化在成本函数中的权重 接下来，我们将在梯度函数中添加正则化 def gradientReg(theta, X, 与成本函数一样，将正则项加到最初的计算中与成本函数不同的是，我们包含了确保第一个参数不被正则化的逻辑这个決定背后的直觉是，第一个参数被认为是模型的“bias”或“intercept”不应该被惩罚。 我们像以前那样测试新函数 # set X and y (remember from above that we ved the label to column 0) cols =