Elasticsearch遇上BERT：使用Elasticsearch和BERT构建搜索引擎

1、ElasticsearchBERTElasticsearchBERT构建搜索引擎作者：Hironsan编译：ronghuaiyang导读强强联合，看看是否能有1+12的效果。在这篇章中，我们使个预先训练好的BERT模型和Elasticsearch来构建个搜索引擎。Elasticsearch最近发布了带有量字段的本相似性搜索。另，你可以使BERT将本转换为固定长度的向量。旦我们通过BERT将档转换成向量并存储到Elasticsearch中，我们就可以使Elasticsearch和BERT搜索类似的档。本使Elasticsearch和BERT按照以下架构实现了个搜索引擎。这，我们使Docker将整

2、个系统划分为三个部分：application,BERT和Elasticsearch。这样做的的是为了更容易地扩展每个服务。系统架构1. 下载预训练 BERT模型先，下载个预先训练好的BERT模型。以下命令是下载英版本的例：$ wget /bert_models/2018_10_18/cased_L-12_H-768_A-12.zip$ unzip cased_L-12_H-768_A-12.zip2. 设置环境变量你需要设置个预先训练好的BERT模型和Elasticsearch的索引名作为环境变量。这些变量在Docker容器中使。下的例将jobsearch指定为索引名，以及./cased_L-

3、12_H-768_A-12为模型路径：$ export PATH_MODEL=./cased_L-12_H-768_A-12$ export INDEX_NAME=jobsearch3. 启动Docker容器现在，我们使Docker compose来启动Docker容器。这要启动三个容器：application容器、BERT容器和Elasticsearch容器。$ docker-compose up注意，我建议你分配更多的内存(超过8GB)给Docker。因为BERT容器需要内存。4. 创建Elasticsearch索引您可以使create index API向Elasticsearch集群添

4、加新的索引。创建索引时，你可以指定以下内容：设置索引索引中字段的映射索引别名例如，如果你想创建带有“title”、“text”和“text_vector”字段的“jobsearch”索引，可以通过以下命令创建索引：# index.jsonmappings: dynamic: true,_source: enabled: true,properties: title: type: text,text: type: text,text_vector: type: dense_vector,dims: 768注意：text_vectordims值必须与预先训练的BERT模型的dims匹配。5. 创建

5、档旦创建了索引，就可以为某个档建索引了。这的要点是使BERT将档转换为向量。得到的向量存储在text_vector字段中。让我们把你的数据转换成个JSON档：Title,DescriptionSoftware Developer,lorem ipsumChief Financial Officer,lorem ipsumGeneral Manager,lorem ipsumNetwork Administrator,lorem ipsum脚本执完成后，可以得到如下的JSON档：_op_type: index, _index: jobsearch, text: lorem ipsum, titl

6、e: Saleswoman, text_vector: ._op_type: index, _index: jobsearch, text: lorem ipsum, title: Software Developer, text_vector: ._op_type: index, _index: jobsearch, text: lorem ipsum, title: Chief Financial Officer, text_vector: .6. 索引档将数据转换成JSON后，可以向指定的索引添加个JSON档，并使其可搜索。$ python example/index_documents.py7. 打开浏览器总结在这篇章中，我们使E