用 Python 实现 n-gram 语言模型进行新闻文本内容预测
概述语言模型与新闻的内容预测,分为 4 个阶段:从主流新闻网站科技频道抓取新闻内容;数据预处理;实现 n-gram 语言模型;在测试集上检验模型。
概述语言模型与新闻的内容预测,分为 4 个阶段:从主流新闻网站科技频道抓取新闻内容;数据预处理;实现 n-gram 语言模型;在测试集上检验模型。
用 Python 求解经典手写数字 MNIST 数据集上的多项逻辑回归问题,以 Softmax 作为损失函数,分别使用梯度下降法和随机梯度法训练模型,并探讨 Mini Batch 对计算结果的影响。未用到任何机器学习框架,完全手动实现。
考虑线性测量 b=Ax+e,利用一范数规范化最小二乘模型,分别使用邻近点梯度下降法、交替方向乘子法、次梯度法从 b 与 A 中恢复 x。此外,讨论 L1 正则化参数对计算结果的影响。