《Python自然语言处理实战：核心技术与算法》

马尔可夫性质（英语：Markov property）是概率论中的一个概念。
当一个随机过程在给定现在状态及所有过去状态情况下，其未来状态的条件概率分布仅依赖于当前状态；
换句话说，在给定现在状态时，它与过去状态（即该过程的历史路径）是条件独立的，那么此随机过程即具有马尔可夫性质。具有马尔可夫性质的过程通常称之为马尔可夫过程。
簡言之：隨機過程中某事件的發生只取決與它的上一事件、是「無記憶」過程。

 
可分为：
成对马尔科夫性
局部马尔科夫性
全局 马尔科夫性

这里是指条件概率乘法的链式法则，求多个关联事件并存时的概率，不要和微积分的链式法则混为一谈。公式：

读作：既A1又A2并且…并且An的概率。
 
举个词性标注的简单例子：假如一句话只有3个词，有可能这3个词刚好分别是A1(动词)、A2(形容词)和A3(名词)，例如“喝(动) 热(形) 咖啡(名)”。我们想知道这种可能性有多大，按照公式：P(A1,A2,A3) = P(动词,形容词,名词) = P(动词) * P(形容词|动词) * P(名词|动词,形容词)。

从公式中可以看出，越到后面，An关联的元素就越多，如果可能性多了，处理起来非常麻烦，于是就有了它的简化版——马尔可夫链。

语言模型就是用来计算一个句子的概率的模型，也就是判断一句话是否是人话的概率？

公式：
应用场景：语音识别、机器翻译、拼写纠错、OCR、密码破解...（信号到文本）

倒排索引（英语：Inverted index），也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。

词向量技术是将词转化成为稠密向量，并且对于相似的词，其对应的词向量也相近。