逻辑回归 LR Logistic Regression 
机器学习常见的两类问题 分类和回归
常见的分类问题可以简化为数学问题
Y 分类类别  n 类别数
X 特征集合  m 特征总量
分类问题的本质是学习一个函数映射f(X;w) =Y, w为模型的参数

假设X和Y之间存在线性关系，即Y∝ wX，wX∈(-∞ ,∞)

分类问题中yi 为离散型数据，比如二分类问题，yi ={-1, 1}, 
在wX上添加一个sigmoid函数，该函数将(-∞ ,∞)之间的数字“压缩”到(0, 1)之间
这个压缩值可以看做是模型的置信度

f(X,w)=sigmoid(wX)

LR模型针对每个样本会输出样本对应的置信度
一般 如果f(xi,Θ)>=0.5, yi =1 , 反之yi = -1

参数Θ的学习可以转化为优化问题
LR 模型 损失函数
l(w) = log(1+exp(-ywTx))
常见的参数求解方法为随机梯度下降

随机梯度下降法求参的步骤
1 给定一个优化目标函数f(X, w)、迭代次数T以及学习率lr, 随机初始化参数w0
2 设定初始迭代次数t=0
3 for t = 0, 1, 2, ..., T：
4 计算g=fw’(X,w)
5 更新w : wt+1 = wt - lr *g