不同的单词嵌入方法能够在同一数据集中产生相同的词汇吗?
创始人
2025-01-08 13:00:10
0

是的,不同的单词嵌入方法可以在同一数据集中产生相同的词汇,因为它们使用相同的词汇表。以下是使用Python中的GloVe、word2vec和fasttext方法生成嵌入向量并在相同数据集上训练的示例代码:

from gensim.models import Word2Vec, KeyedVectors
from gensim.scripts.glove2word2vec import glove2word2vec
import numpy as np
import pandas as pd
import io
import zipfile
from urllib.request import urlopen

# load dataset
url = 'https://archive.ics.uci.edu/ml/machine-learning-databases/00228/smsspamcollection.zip'
zipresp = urlopen(url)
zipfile = zipfile.ZipFile(io.BytesIO(zipresp.read()))
file = zipfile.open('SMSSpamCollection')
sms = pd.read_csv(file, sep='\t', header=None, names=['label', 'message'])

# GloVe embedding
glove_file = 'http://nlp.stanford.edu/data/glove.6B.zip'
zipresp = urlopen(glove_file)
zipfile = zipfile.ZipFile(io.BytesIO(zipresp.read()))
model_file = 'glove.6B.100d.txt'
zipfile.extract(model_file, './')
glove2word2vec('glove.6B.100d.txt', 'glove.6B.100d.word2vec.txt')
glove_model = KeyedVectors.load_word2vec_format('glove.6B.100d.word2vec.txt', binary=False)
glove_vectors = []
for word in sms['message'].str.split():
    try:
        vector = glove_model[word].mean(axis=0)
    except KeyError:
        vector = np.zeros((100,))
    glove_vectors.append(list(vector))
    
# word2vec embedding
w2v_model = Word2Vec(sentences=sms['message'].str.split(), size=100, min_count=1)
w2v_vectors = []
for word in sms['message'].str.split():
    try:
        vector

相关内容

热门资讯

关于!微信微乐自建房辅助工具,... 关于!微信微乐自建房辅助工具,微乐家乡麻将自建房辅助app(开挂自建房)方法1)微乐家乡麻将自建房辅...
大家学习交流!微信卡五星辅助器... 大家学习交流!微信卡五星辅助器,微乐小程序免费黑科技(开挂自建房)方法1、很好的工具软件,可以解锁游...
三分钟了解!微乐微信自建房辅助... 三分钟了解!微乐微信自建房辅助工具插件,微乐家乡麻将自建房辅助app(开挂自建房)工具1、三分钟了解...
一分钟教会你!微乐家乡麻将自建... 一分钟教会你!微乐家乡麻将自建房辅助app,微乐自建房脚本免费入口(开挂自建房)方法1、用户打开应用...
分享实测!微信微乐自建房辅助工... 分享实测!微信微乐自建房辅助工具,微乐自建房脚本免费入口(开挂自建房)器1、起透看视 微信微乐自建房...
重大通报!微乐自建房辅助工具脚... 重大通报!微乐自建房辅助工具脚本,微乐小程序免费黑科技(开挂自建房)app微乐自建房辅助工具脚本破解...
如何分辨真伪!微乐微信自建房辅... 如何分辨真伪!微乐微信自建房辅助工具插件,微乐小程序免费黑科技(开挂自建房)技巧1、微乐微信自建房辅...
我来教教你!微乐自建房辅助工具... 我来教教你!微乐自建房辅助工具挂,微乐家乡麻将自建房辅助app(开挂自建房)工具1、玩家可以在微乐家...
重大来袭!微乐自建房辅助工具神... 重大来袭!微乐自建房辅助工具神器,微乐小程序免费黑科技(开挂自建房)器1、游戏颠覆性的策略玩法,独创...
带你了解!微信卡五星辅助器,微... 带你了解!微信卡五星辅助器,微乐自建房脚本免费入口(开挂自建房)方法1、带你了解!微信卡五星辅助器,...