不同的单词嵌入方法能够在同一数据集中产生相同的词汇吗?
创始人
2025-01-08 13:00:10
0

是的,不同的单词嵌入方法可以在同一数据集中产生相同的词汇,因为它们使用相同的词汇表。以下是使用Python中的GloVe、word2vec和fasttext方法生成嵌入向量并在相同数据集上训练的示例代码:

from gensim.models import Word2Vec, KeyedVectors
from gensim.scripts.glove2word2vec import glove2word2vec
import numpy as np
import pandas as pd
import io
import zipfile
from urllib.request import urlopen

# load dataset
url = 'https://archive.ics.uci.edu/ml/machine-learning-databases/00228/smsspamcollection.zip'
zipresp = urlopen(url)
zipfile = zipfile.ZipFile(io.BytesIO(zipresp.read()))
file = zipfile.open('SMSSpamCollection')
sms = pd.read_csv(file, sep='\t', header=None, names=['label', 'message'])

# GloVe embedding
glove_file = 'http://nlp.stanford.edu/data/glove.6B.zip'
zipresp = urlopen(glove_file)
zipfile = zipfile.ZipFile(io.BytesIO(zipresp.read()))
model_file = 'glove.6B.100d.txt'
zipfile.extract(model_file, './')
glove2word2vec('glove.6B.100d.txt', 'glove.6B.100d.word2vec.txt')
glove_model = KeyedVectors.load_word2vec_format('glove.6B.100d.word2vec.txt', binary=False)
glove_vectors = []
for word in sms['message'].str.split():
    try:
        vector = glove_model[word].mean(axis=0)
    except KeyError:
        vector = np.zeros((100,))
    glove_vectors.append(list(vector))
    
# word2vec embedding
w2v_model = Word2Vec(sentences=sms['message'].str.split(), size=100, min_count=1)
w2v_vectors = []
for word in sms['message'].str.split():
    try:
        vector

相关内容

热门资讯

透视系统!wpk辅助购买,we... 透视系统!wpk辅助购买,wepoker辅助器怎么用,三分钟了解(有挂方法)1、快速入门:当你通过点...
透视有挂!wpk脚本是什么,德... 透视有挂!wpk脚本是什么,德州透视脚本,必胜教程(先前真的是有挂)需要回顾用户提供的搜索结果,比如...
透视有挂!红龙poker透视工... 透视有挂!红龙poker透视工具,wpk透视辅助靠谱吗,热点讨论(有挂教程),您好,wpk透视辅助靠...
透视新版!wepoker辅助透... 透视新版!wepoker辅助透视软件,拱趴大菠萝有挂吗,软件教程(原先存在有挂);wepoker辅助...
透视教学!wepoker辅助器... 透视教学!wepoker辅助器怎么用,aapoker透视脚本下载,玩家实测(有挂规律)1、每个玩家都...
透视ai代打!wepoker底... WePoke高级策略深度解析‌;透视ai代打!wepoker底牌透视脚本下载,wepoker好友房开...
透视透视!aapoker透视脚... 透视透视!aapoker透视脚本,aapoker辅助插件工具,重要通知(有挂教学)是一款可以让一直输...
透视好友房!wepoker辅助... 《wepoker辅助透视软件软件透明挂》是一款多人竞技的wepoker辅助透视软件辅助透视游戏,你将...
透视app!wepoker透视... 透视app!wepoker透视脚本下载,hhpoker辅助下载,一分钟了解(有挂规律)1.wepok...
透视有挂!aapoker辅助工... 透视有挂!aapoker辅助工具存在吗,wepoker透视最简单三个步骤,普及教程(原生存在有挂);...