TF-IDF即为词频-逆文档频率，用于评估词与语料库的相关程度及重要性，常被用于信息检索(IR)和机器学习领域的度量，可以量化表示单词、短语等字符串在文档集合的重要性和相关性。
词频-逆文档频率工作原理
想要知道TF-IDF的原理就必须要明确这两个指标TF和IDF。
TF全称为term frequency，意为词频，代表单个词在文件中出现的频率。
单有词频还不够，还需要对应的权重指数过滤掉常用词，因此就需要IDF。
IDF全称inverse document frequency，意为逆向文件频率，表示目标词语的权重指数。
即单个词如果在一篇文档中出现频率很高，且在整个语料库中出现的频率很低，就能得到高权重的TF-IDF，这个词就基本能代表这篇文档了。
词频-逆文档频率有很多用途，最重要的是在自动文本分析中，并且对于在自然语言处理的机器学习算法中对单个词进行评分非常有用。
为什么在机器学习中使用词频-逆文档频率
机器学习与自然语言处理面临一个主要障碍，就是算法通常处理数字，而自然语言就是文本，所以需要将文本转换为数字，也称为文本矢量化。这是用于分析数据的机器学习过程中的一个基本步骤，不同的矢量化算法将极大地影响最终结果，一旦以机器的方式将单词转换为数字，TF-IDF分数被反馈到朴素贝叶斯和支持向量机等算法中，可以大大提高结果的精准度。
词频-逆文档频率有哪些应用
1.信息检索
TF-IDF是为文档搜索而发明的，可用于提供与搜索的内容最相关的结果。可以参考搜索引擎，输入一个关键词，结果将按相关性顺序显示。最相关的页面内容排名更高。
2.关键词提取
TF-IDF对于从文本中提取关键词也很有用。文档中TF-IDF最高的词与该文档最相关，因此可以将它们视为该文档的关键字。
