Skip to content

feifeiobama/SeqMatch

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

2 Commits
 
 
 
 
 
 
 
 

Repository files navigation

Sequence Match with CompareAggregate Model

  • 预处理:

    • 只保留汉字,用 jieba 分词,用 gensim 包对训练集训练 word2vec 模型
    • 部分 ans 过长,发现长度大于 57 的句子不到 1%,因此预处理时进行截断
  • 模型

    graph TB;
    	in_q--dropout-->drop_q
    	in_a--dropout-->drop_a
    	drop_q--fc_sigmoid-->q1
    	drop_q--fc_tanh-->q2
    	q1-->v_q(mul_q)
    	q2-->v_q
    	drop_a--fc_sigmoid-->a1
    	drop_a--fc_tanh-->a2
    	a1-->v_a(mul_a)
    	a2-->v_a
    	subgraph Compare
    	v_q-->e_qa
    	v_a-->e_qa
    	e_qa--softmax_a_axis-->w_q
    	e_qa--softmax_q_axis-->w_a
    	w_q-->h_q
    	v_a-->h_q
    	w_a-->h_a
    	v_q-->h_a
    	v_a-->t_a
    	h_a-->t_a
    	v_q-->t_q
    	h_q-->t_q
    	end
    	subgraph Aggregate
    	t_q-->t0( )
    	t_q-->t1( )
    	t_q--convs-->t2( )
    	t_q-->t3( )
    	t_q-->t4( )
    	t0-->conv_q
    	t1-->conv_q
    	t2--maxpool-->conv_q
    	t3-->conv_q
    	t4-->conv_q
    	t_a-->t10( )
    	t_a-->t11( )
    	t_a--convs-->t12( )
    	t_a-->t13( )
    	t_a-->t14( )
    	t10-->conv_a
    	t11-->conv_a
    	t12--maxpool-->conv_a
    	t13-->conv_a
    	t14-->conv_a
    	conv_q-->cat_qa(cat_qa)
    	conv_a-->cat_qa
    	end
    	cat_qa--fc-->out
    
    Loading

    (github 上的 repo 大多只使用了一条 Compare 的分支,并且在 attention 时把 softmax 的 dim 写反了)

  • 使用预训练好的word2vec模型,效果更好。

About

Sequence matching via CompareAggregate

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published