mirror of
https://github.com/NanmiCoder/MediaCrawler.git
synced 2026-06-24 09:44:56 +08:00
0282e626c9
JSONL（JSON Lines）每行一个 JSON 对象，采用 append 模式写入， 无需读取已有数据，大数据量下性能远优于 JSON 格式。 - 新增 AsyncFileWriter.write_to_jsonl() 核心方法 - 7 个平台新增 JsonlStoreImplement 类并注册到工厂 - 配置默认值从 json 改为 jsonl，CLI/API 枚举同步更新 - db_session.py 守卫条件加入 jsonl，避免误触 ValueError - 词云生成支持读取 JSONL 文件，优先 jsonl 回退 json - 原有 json 选项完全保留，向后兼容 - 更新相关文档和测试
57 lines
1.8 KiB
Markdown
57 lines
1.8 KiB
Markdown
# 关于词云图相关操作
|
||
|
||
## 1.如何正确调用词云图
|
||
> ps:保存格式为json或jsonl文件时，才会生成词云图。其他存储方式添加词云图将在近期添加。
|
||
|
||
需要修改的配置项（./config/base_config.py）：
|
||
|
||
```python
|
||
# 数据保存类型选项配置,支持多种类型：csv、db、json、jsonl等
|
||
#此处需要为json或jsonl格式保存，原因如上
|
||
SAVE_DATA_OPTION = "jsonl" # csv or db or json or jsonl
|
||
```
|
||
|
||
```python
|
||
# 是否开启爬评论模式, 默认不开启爬评论
|
||
#此处为True，需要爬取评论才可以生成评论的词云图。
|
||
ENABLE_GET_COMMENTS = True
|
||
```
|
||
|
||
```python
|
||
#词云相关
|
||
#是否开启生成评论词云图
|
||
#打开词云图功能
|
||
ENABLE_GET_WORDCLOUD = True
|
||
```
|
||
|
||
```python
|
||
# 添加自定义词语及其分组
|
||
#添加规则：xx:yy 其中xx为自定义添加的词组，yy为将xx该词组分到的组名。
|
||
CUSTOM_WORDS = {
|
||
'零几': '年份', # 将“零几”识别为一个整体
|
||
'高频词': '专业术语' # 示例自定义词
|
||
}
|
||
```
|
||
|
||
```python
|
||
#停用(禁用)词文件路径
|
||
STOP_WORDS_FILE = "./docs/hit_stopwords.txt"
|
||
```
|
||
|
||
```python
|
||
#中文字体文件路径
|
||
FONT_PATH= "./docs/STZHONGS.TTF"
|
||
```
|
||
|
||
**相关解释**
|
||
|
||
- 自定义词组的添加，`xx:yy` 中`xx`为自定义词语，`yy`为`xx`分配词语的组别。`yy`可以随便给任意值。
|
||
|
||
- 如果需要添加禁用词，请在./docs/hit_stopwords.txt添加禁用词(保证格式正确，一个词语一行)
|
||
- `FONT_PATH`为生成词云图中中文字体的格式，默认为宋体。可以自行添加字体文件，修改路径。
|
||
|
||
## 2.生成词云图的位置
|
||
|
||
|
||
|
||
如图，在data文件下的`words文件夹`下，其中json为词频统计文件，png为词云图。原本的评论内容在`jsonl文件夹`（或`json文件夹`）下。 |