发表于 | 分类于 | 热度: ℃
字数统计: 2.7k 字 | 阅读时长 ≈ 11 分钟
逻辑回归与线性回归的联系与区别联系逻辑回归与线性回归都属于广义线性回归模型 区别线性回归主要用来解决连续值预测的问题，逻辑回归用来解决分类的问题，输出的属于某个类别的概率。线性回归中使用的是最小化平方误差损失函数，对偏离真实值越远的数据惩罚越严重。逻辑回归使用对数似然函数进行参数估计，使用交叉熵作为 ...
阅读全文 »

发表于 | 分类于 | 热度: ℃
字数统计: 1.3k 字 | 阅读时长 ≈ 4 分钟
机器学习的一些概念监督学习、非监督学习、半监督学习的区别监督学习、非监督学习和半监督学习区别就是训练数据是否拥有标签信息 监督学习：给出了数据及数据的标准答案来训练模型。Regression回归问题、classification分类问题都是典型的监督学习 非监督学习：给了一组数据，但没有给出数据的标 ...
阅读全文 »

发表于 | 分类于 | 热度: ℃
字数统计: 508 字 | 阅读时长 ≈ 2 分钟
01背包问题有 $N$ 件物品和一个容量为 $C$ 的背包。第 $i$ 件物品的大小是 $w[i]$，价值是 $v[i]$。求解将哪些物品装入背包可使价值总和最大。 $f[i][j]$ 表示前 $i$ 件物品恰放入一个容量为 $j$ 的背包可以获得的最大价值 状态转移方程： f[i][j]=max ...
阅读全文 »

发表于 | 分类于 | 热度: ℃
字数统计: 3.3k 字 | 阅读时长 ≈ 12 分钟
Transformer的原理《Attention Is All You Need》 是一篇Google提出的将Attention思想发挥到极致的论文。这篇论文中提出一个全新的模型，叫 Transformer，抛弃了以往深度学习任务里面使用到的 CNN 和 RNN ，目前大热的BERT就是基于Tran ...
阅读全文 »

发表于 | 分类于 | 热度: ℃
字数统计: 2.4k 字 | 阅读时长 ≈ 9 分钟
基本的Attention原理深度学习里的 Attention model 其实模拟的是人脑的注意力模型。举例来说，当我们观赏一幅画时，虽然我们可以看到整幅画的全貌，但是在我们深入仔细地观察时，其实眼睛聚焦的就只有很小的一块，这个时候人的大脑主要关注在这一小块图案上，也就是说这个时候人脑对整幅图的关注 ...
阅读全文 »

发表于 | 分类于 | 热度: ℃
字数统计: 4.5k 字 | 阅读时长 ≈ 16 分钟
RNN的结构RNN结构DNN以及CNN在对样本提取特征的时候，样本与样本之间是独立的，而有些情况是无法把每个输入的样本都看作是独立的，比如基于时间的序列，因此单纯的DNN和CNN解决这类问题就比较棘手。此时RNN就是一种解决这类问题很好的模型。 一个简单的循环神经网络如图所示，它由输入层、一个隐藏层 ...
阅读全文 »

发表于 | 分类于 | 热度: ℃
字数统计: 4.1k 字 | 阅读时长 ≈ 14 分钟
卷积运算卷积运算的定义我们称 $(f*g)(n)$ 为 $f,g$ 的卷积。 其连续定义为： (f*g)(n) = \int_{-\infty}^\infty f(\tau)g(n-\tau)d\tau其离散定义为： (f*g)(n) =\sum_{\tau =-\infty}^\infty f ...
阅读全文 »

发表于 | 分类于 | 热度: ℃
字数统计: 2.5k 字 | 阅读时长 ≈ 9 分钟
文本表示：从one-hot到word2vec词袋模型：one-hot编码one-hot编码，又称独热编码、一位有效编码。其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。 考虑一下的三个特征：[“male”, “female”][“fr ...
阅读全文 »

发表于 | 分类于 | 热度: ℃
字数统计: 5.9k 字 | 阅读时长 ≈ 21 分钟
基本概念神经元神经网络中最基本的单元是神经元模型（neuron） 由两部分组成，前一部分计算总输入值（即输入信号的加权和），后一部分先计算总输入值与该神经元阈值的差值，然后通过激活函数（activation function）的处理，产生输出从轴突传送给其它神经元。M-P神经元模型如下图所示： 激 ...
阅读全文 »

发表于 | 分类于 | 热度: ℃
字数统计: 1.8k 字 | 阅读时长 ≈ 6 分钟
决策树优点 决策树易于理解和解释。 对于决策树，数据的准备往往是简单或者是不必要的。其他的技术往往要求先把数据一般化，比如去掉多余的或者空白的属性。 能够同时处理数据型和常规型属性。其他的技术往往要求数据属性的单一。 决策树是一个白盒模型。如果给定一个观察的模型，那么根据所产生的决策树很容易推出相应 ...
阅读全文 »