发布日期:2022-12-05 21:39:34 点击次数:
gensim模块中的动态主题模型并不在官方所提供的代码里。想要使用动态主题模型,必须先下载保存在github上的二进制文件,这个文件有适合linux、win和darwin使用的版本,可直接下载,很方便。
根据我的理解,简单来说,动态主题模型就是一种动态调参的LDA主题模型,通常将时间线分为几个等长的时间片。因此按照gensim里的这个模型要求,你必须先把整个事件片里的文本整合到一起,简而言之,就是你最后放到模型里跑的那个文本列表的长度,必须等于你把时间线分成的段数。
我在使用的时候,一共八个月,被我分为了八段,所以你最后的corpus的这个list的len也要是8
mode({fit ,time} ,可选) - 控制模式的模式:fit用于训练,time用于根据DTM分析文档,基本上是一组。
id2word(Dictionary,可选) -令牌ID和从胼字之间的映射,如果不是指定的-将被从推断语料库。
alpha(int ,optional) - 超参数,它影响每个时间片中LDA模型的文档主题的稀疏性。
整个函数中,IM电竞APP最玄幻的参数就是这个time_slicesIM电竞APP。源代码中要求,sum(time_slices)要等于你时间片的个数,即len(corpus),但是这个实际上可以有无数种组合,可是官方文档里并没有写具体这个参数会对模型有什么样的影响,我也没搞懂,就只能使用官方文档例子的写法time_slices = [1] * len(corpus)
根据官方文档中说的,模型有两种模式,一种是fit,一种是time。fit完全正常运行,但是time这个模式是根据时间戳进行分析的模式,可见这是我们想要的模式。但是在实际调用时却出现问题:
会告诉你某一个函数返回了非0值,报错。根据错误提示,我们一直找到gensim中的utils.py中的1916行,把这里改成:
接下来还会报错,会告诉你各种模型所需要的文件均不存在。我用了好久才明白是怎么回事,原来这个模式自己并不会生成这些初始化的文件,而是需要先运行一次fit模式IM电竞APP,再使用fit模式初始化的文件来运行time模型,但是源代码里并没有写这个部分,导致运行失败,因此修改源代码dtmmodel.py中的164行: