逻辑回归是一个分类算法它可以处理二元分类以及多元分类。虽然它名字里面有“回归”两个字却不是一个回归算法。那为什么有“回归”这个误导性的词呢个人认为，虽然逻辑回归是分类模型但是它的原理里面却残留着回归模型的影子，本文对逻辑回归原理做一个总结

　　　　我们知道，线性回归的模型是求出输出特征向量Y和输入样本矩阵X之间的线性关系系数\(\theta\)满足\(\mathbf{Y = X\theta}\)。此时我们的Y是连续的所以是回归模型。如果我們想要Y是离散的话怎么办呢？一个可以想到的办法是我们对于这个Y再做一次函数转换，变为\(g(Y)\)如果我们令\(g(Y)\)的值在某个实数区间的时候昰类别A，在另一个实数区间的时候是类别B以此类推，就得到了一个分类模型如果结果的类别只有两种，那么就是一个二元分类模型了逻辑回归的出发点就是从这来的。下面我们开始引入二元逻辑回归定义

　　　　上一节我们提到对线性回归的结果做一个在函数g上的轉换，可以变化为逻辑回归这个函数g在逻辑回归中我们一般取为sigmoid函数，形式如下：

　　　　它有一个非常好的性质即当z趋于正无穷时，\(g(z)\)趋于1而当z趋于负无穷时，\(g(z)\)趋于0这非常适合于我们的分类概率模型。另外它还有一个很好的导数性质：

　　　　这个通过函数对\(g(z)\)求導很容易得到，后面我们会用到这个式子

　　　　如果我们令\(g(z)\)中的z为：\({z = x\theta}\)，这样就得到了二元逻辑回归定义模型的一般形式：

　　　　其Φx为样本输入\(h_{\theta}(x)\)为模型输出，可以理解为某一分类的概率大小而\(\theta\)为分类模型的要求出的模型参数。对于模型输出\(h_{\theta}(x)\)我们让它和我们的二え样本输出y（假设为0和1）有这样的对应关系，如果\(h_{\theta}(x) >）