python人工智能 TF-IDF NLP 特征提取 : 用 TF-IDF 实现一个 NLP 特征提取任务，代码方案分享1(图文详解)

文章目录[隐藏]

程序背景与用途：
代码结构：
以下是一个示例代码，用于实现TF-IDF特征提取任务：
代码解释：

TF-IDF NLP 特征提取

python人工智能 TF-IDF NLP 特征提取 : 用 TF-IDF 实现一个 NLP 特征提取任务，代码方案分享

程序背景与用途：

这个程序旨在使用TF-IDF（Term Frequency-Inverse Document Frequency）算法实现自然语言处理（NLP）中的特征提取任务。TF-IDF是一种常用的文本特征提取方法，它可以通过计算文档中每个词的重要性来量化文本的特征。在本程序中，我们将使用TF-IDF算法提取文本数据中的关键词，并计算它们的权重。

代码结构：

数据预处理：我们将首先对原始文本数据进行预处理，包括文本清洗、分词和去除停用词等操作。
构建词典：接下来，我们将构建一个词典，将文本数据中的所有词语收集起来，并为每个词语分配一个唯一的索引。
计算TF：然后，我们将计算每个文档中每个词语的词频（TF）值。
计算IDF：接着，我们将计算每个词语的逆文档频率（IDF）值。
计算TF-IDF：最后，我们将使用TF和IDF的值计算每个文档中每个词语的TF-IDF权重。

以下是一个示例代码，用于实现TF-IDF特征提取任务：

import numpy as np
from sklearn.feature_extraction.text import TfidfVectorizer

# 原始文本数据
documents = [
    "I love coding",
    "Machine learning is fascinating",
    "Python is my favorite programming language",
    "I enjoy building intelligent systems"
]

# 数据预处理
# 这里简化处理，直接使用空格进行分词，并不进行停用词去除等操作
preprocessed_documents = [doc.lower() for doc in documents]

# 构建词典
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(preprocessed_documents)

# 获取词语列表
words = vectorizer.get_feature_names()

# 打印词典
print("Vocabulary:")
for idx, word in enumerate(words):
    print(f"{idx}: {word}")

# 计算TF-IDF
tfidf_matrix = X.toarray()

# 打印TF-IDF权重
print("TF-IDF Matrix:")
for doc_idx, doc in enumerate(tfidf_matrix):
    print(f"Document {doc_idx}:")
    for word_idx, weight in enumerate(doc):
        print(f"\t{words[word_idx]}: {weight}")