依存句法分析
什么是依存句法分析 依存句法分析是一种分析一个句子中单词与单词之间的语法关系，并将其表示为树形结构的任务。 核心是分析句子中词语之间的依存关系 依存树的结构 形式上是一个有向无环图（DAG），通常是单一根结构的树 每个单词除了根节点，最多只有一个head 通常附带依存标签说明关系类型 依存句法认为“谓语”中的动词是一个句子的中心，其他成分与动词直接或间接地产生联系。 依存句法分析的方法基于转移的依存分析核心思想：将句子分析过程视为一系列状态转移使用数据结构：栈（stack）+ 缓冲区（buffer）+...
神经网络基础
人工神经网络的基本结构神经元 功能：接收多个输入，加权求和后，加上偏置 b，再通过激活函数输出结果。 公式：$y = f(w_1 x_1 + w_2 x_2 + \cdots + w_n x_n + b) = f(\mathbf{w}^\top \mathbf{x} + b)$ 感知机 最早的神经元模型，只输出 0 或 1。 类似逻辑门（AND、OR、NOT）。 使用阶跃函数作为激活函数（只输出两个状态）。 多层感知机（MLP） 由多个感知机构成的深层结构，至少包含一层隐藏层。 每一层都能提取不同级别的特征。 通常结构为：输入层 → 隐藏层（可多个）→...
词向量
词向量的功能要将自然语言交给机器学习中的算法来处理，通常需要首先将语言数学化，词向量就是用来将语言中的词进行数学化的一种方式。通过将文字转化成向量的形式才有助于计算机对文字的处理。 传统方法的局限WordNetWordNet 是一个基于词汇语义关系的词典，它按照意义（而不是字母顺序）组织单词，并建立了同义词、反义词、上位词、下位词等关系。 局限性 不能表示细微的语义差异 不能处理多义词的上下文（一词多义） 词汇覆盖不全，难以扩展 不能表示词的向量关系（无法体现出词与词之间的相似度）One-hot 向量这个向量的特点是：只有一个位置是1，其他全是0，这就是 One-hot...