SnowNLP是一个python写的类库，可以方便的处理中文文本内容，是受到了TextBlob的启发而写的，由于现在大部分的自然语言处理库基本都是针对英文的，于是写了一个方便处理中文的类库，并且和TextBlob不同的是，这里没有用NLTK，所有的算法都是自己实现的，并且自带了一些训练好的字典。注意本程序都是处理的unicode编码，所以使用时请自行decode成unicode。
- 中文分词（Character-based Generative Model）
- 词性标注（TnT 3-gram 隐马）
- 情感分析（现在训练数据主要是买卖东西时的评价，所以对其他的一些可能效果不是很好，待解决）
- 文本分类（Naive Bayes）
- 转换成拼音（Trie树实现的最大匹配）
- 繁体转简体（Trie树实现的最大匹配）
- 提取文本关键词（TextRank算法）
- 提取文本摘要（TextRank算法）
- tf，idf
- Tokenization（分割成句子）
- 文本相似（BM25）
- 支持python3（erning）
现在提供训练的包括分词，词性标注，情感分析，而且都提供了我用来训练的原始文件
以分词为例
分词在目录下
这样训练好的文件就存储为了，之后修改里的指向刚训练好的文件即可
算法具体原理我会放在下一篇文章，本文重点在应用，这里不详细介绍了
关键词提取
将原文本拆分为句子，在每个句子中过滤掉停用词（可选），并只保留指定词性的单词（可选）。由此可以得到句子的集合和单词的集合。
每个单词作为pagerank中的一个节点。设定窗口大小为k，假设一个句子依次由下面的单词组成：
、、等都是一个窗口。在一个窗口中的任两个单词对应的节点之间存在一个无向无权的边。
基于上面构成图，可以计算出每个单词节点的重要性。最重要的若干单词可以作为关键词。
关键短语提取
参照关键词提取提取出若干关键词。若原文本中存在若干个关键词相邻的情况，那么这些关键词可以构成一个关键词组。
例如，在一篇介绍的文章中，可以找到关键词、、，通过关键词组提取，可以得到。
摘要生成
将每个句子看成图中的一个节点，若两个句子之间有相似性，认为对应的两个节点之间有一个无向有权边，权值是相似度。
通过pagerank算法计算得到的重要性最高的若干句子可以当作摘要。
运行结果如下：
安装
方式一
方式二
方式三
方式四
Python 3下需要将上面的python改成python3，pip改成pip3。
卸载
依赖
jieba >= 0.35
numpy >= 1.7.1
networkx >= 1.9.1
报错1
使用 networkx 3.0 及以上版本，可能会报这个错误；暂时可将版本降低到 1.9.1。
报错2
报错2
解决方法：修改文件
将
替换为
报错3
如果你的代码中有这样的导入：
你应该将其更改为：
这样应该就能解决你遇到的 importError 问题。
智谱AI是一家诞生于清华大学计算机系,以技术转化成果为基础的公司,专注于研发和提供新一代的认知智能通用模型。
ChatGLM，清华技术成果转化的公司智谱AI研发的支持中英双语的对话机器人。
开发文档
获取api-key
安装
如下以 Python SDK 为例进行说明，其它编程语言工具包将持续推出
首先请通过如下方式进行安装 SDK 包：
我们升级了最新的模型 GLM-4、GLM-3-Turbo，支持了System prompt、Function Call、Retrieval、Web_Search等新功能。使用以上新功能需升级最新版本的 Python SDK。如您已安装老版本SDK，请您更新到最新版SDK。
以上就是本篇文章【NLP｜文本生成#全网最全方法 一篇搞定文本摘要＼关键字提取，包含SnowNLP｜TextRank4ZH｜大模型｜TF-IDF】的全部内容了，欢迎阅览 ！ 文章地址：http://lanlanwork.gawce.com/news/9075.html 资讯 企业新闻 行情 企业黄页 同类资讯 首页 网站地图 返回首页 阁恬下移动站 http://lanlanwork.gawce.com/mobile/ , 查看更多