Jun 18, 2019 + 4602 字 【Python】手写随机梯度法求解 MNIST 上的多项逻辑回归问题 用 Python 求解经典手写数字 MNIST 数据集上的多项逻辑回归问题,以 Softmax 作为损失函数,分别使用梯度下降法和随机梯度法训练模型,并探讨 Mini Batch 对计算结果的影响。未用到任何机器学习框架,完全手动实现。
Jun 14, 2019 + 3490 字 【Python】用邻近点梯度法、交替方向乘子法、次梯度法求解 LASSO 回归模型 考虑线性测量 b=Ax+e,利用一范数规范化最小二乘模型,分别使用邻近点梯度下降法、交替方向乘子法、次梯度法从 b 与 A 中恢复 x。此外,讨论 L1 正则化参数对计算结果的影响。