python人工智能 词袋模型 NLP 特征提取 : 用 词袋模型 实现一个 NLP 特征提取 任务，代码方案分享1(图文详解)

# 导入所需的库和模块
import numpy as np
from sklearn.feature_extraction.text import CountVectorizer

# 定义数据预处理函数
def preprocess_data(data):
    # 在这里可以实现对数据的清洗、分词等预处理步骤
    preprocessed_data = data  # 这里仅作示例，直接返回原始数据
    return preprocessed_data

# 定义特征提取函数
def extract_features(data):
    # 创建词袋模型对象
    vectorizer = CountVectorizer()

    # 将文本数据转换为词袋模型的向量表示
    features = vectorizer.fit_transform(data)

    # 获取词袋模型的特征词列表
    feature_words = vectorizer.get_feature_names()

    # 将特征词列表和特征向量返回
    return feature_words, features

# 主程序
if __name__ == '__main__':
    # 假设有一些文本数据
    data = [
        'This is the first document.',
        'This document is the second document.',
        'And this is the third one.',
        'Is this the first document?'
    ]

    # 数据预处理
    preprocessed_data = preprocess_data(data)

    # 特征提取
    feature_words, features = extract_features(preprocessed_data)

    # 打印特征词列表
    print('Feature words:')
    for word in feature_words:
        print(word)

    # 打印特征向量
    print('Feature vectors:')
    print(features.toarray())