人工智能及大数据学习bert使用详解

1、 其中 Uncased CasedBERT源码可以在Tensorflow上获取BERT-Base,Uncased:12-layer,768-hidden,12-heads,110MBERT-Large,Uncased:24-layer,1024-hidden,16-heads,340MBERT-Base,Cased:12-layer,768-hidden,12-heads,110MBERT-Large,Cased:24-layer,1024-hidden,16-heads,340MBERT-Base, Multilingual Cased (New,mended):104languages,

2、12-layer, 768-hidden, 12-heads, 110M parametersBERT-Base,cased(Orig,mended,useMultilingualCasedinstead):102languages,12-layer, 768-hidden, 12-heads, 110M parametersBERT-Base,: SimplifiedandTraditional,12-768-hidden,12-heads,110MBERT 使用详解(实战lyy关0.72019.02.2022:21* 字数643阅读4495评论 1喜欢 BERTword2Vec。对于现有的

3、任务，只需把 BERT word2vec，在其之上建立自己的模型即可了。import tensorflow as tf from bert import mimport os#这里import tensorflow as tf from bert import mimport os#这里bert_config# bertinput_ids=tf.placeholder (shinput_mask=tf.placeholder (shbert= m本文的demo 地址，需要BERT-Base,Chi2，加的源码中已经有如何使用BERT的demodemo中使用了TPUEstimator 封装，感觉

4、不好debug。其实BERT 的加载很简单。 CPUGPUFalse)= CPUGPUFalse)= use_tpu=tvars=BERT m), (*TrainableVariablesimport tensorflow as tf from bert import mimport ospathname.ckptimport tensorflow as tf from bert import mimport ospathname.ckptbert_confign)# 配置文件地址。=.gpu_options.allow_growth=True sess=tf.S

5、esfor varinit_string=ininitialized_variable_names: init_string = , *INIT_FROM_CKPT*( name = %s, sh= %s%s, , var.shwith()as这里就很清晰了，就是常用的TensorFlow3，使用这里就很清晰了，就是常用的TensorFlow3，使用模获取bert 模型的输出非常简单，使用m.get_pooled_output()两个方法。input_mask = tf.placeholder(sh=64, 128, dtype

6、=tf.segment_ids = tf.placeholder(sh=64, 128, dtype=tf.with= msaver=bert的参数重新初始化。这里和demo1是有区别的saver.restore(sess,pathname) 那么bert的输入又是什么样子的呢？ 看下面代那么bert的输入又是什么样子的呢？ 看下面代defle(tokens_a = tokenizer.tokenize(text_a)tokens_b=None if text_b:tokens_btokenizer.tokenize(text_bifmax_seq_length3 # 因为要为句子补上CLS,

7、 SEP, SEP_truncate_seq_pair(tokens_a,tokens_b,max_seq_length-3) 后加上CLS,SEP所以句子长度要小max_seq_length-if len(tokens_a) max_seq_length - 2: tokens_a=tokens_a0:(max_seq_length-2)bert的输入，注意下面的type_idsoutput_layerbatch_sizeseq_lengthembedding_sizeseq2seqneroutput_layer.get_pooled_output(这个获取句子的(a两个句子#CLSisth

8、isjack#son#ville?SEPnoitisnot.#type_ids:0 0 (a两个句子#CLSisthisjack#son#ville?SEPnoitisnot.#type_ids:0 0 1 1 1 1 (b单个句子#CLSthedogishairy.#type_ids:000 0#type_ids#tokens=segment_ids=foriffor tokenizer：是bert源码中提供的模块，其实主要作用就是将句子拆分成字，并成idtext_a： 句子text_b： 句子4 值得注意的地input_idstokenizer.convert_tokens_to_ids(tokensids # maskinput_mask1*len(input_ids) # 0whilelen(input_ids)assert len(input_ids) = max_seq_length assert len(input_mask) = max_seq_length assertlen(segment_ids)=max_seq_lengthretu