搭建属于自己的机器翻译系统

1、搭建属于自己的机器翻译系统一一MTI专业“技术小白”走进小牛翻译开源社区的心得搭建属于自己的机器翻译系统MTI专业“技术小白”走进小牛翻译开源社区的心得首先，自我介绍一下。我是一个MTI（翻译硕士）专业、没有计算机编程背景、 没有机器 翻译理论基础的菜鸟， 任职于一家网络科技公司的市场部门，之前的工作中需要做些翻译工作，有时候求助百度翻译、 有道翻译等免费的机器翻译系统来解决问题，但是对于一些涉及我们商业的数据，由于担心泄密，只能借助于有道词典查查词，然后再自己形成翻译结果。 很早之前我就想，要是能有自己的机器翻译系统就好了。我心目中的翻译技术大牛、对外经贸大学的启亮老师曾在微博中给MTI的学

2、生提建议，“学好翻译技术，有前途。对于仍在迷茫MTI的同学，我建议学机器翻译设计与开发，走出迷茫。”非常非常幸运的是，我一个东大毕业的同学告诉我，东北大学自然语言处理实验室（国搞机器翻译最好的团队之一）联合雅译网络技术推出了 “小牛翻译开源社区”，社区中有一项容，就是教不懂机器翻译的人学习“快速搭建自己的机器翻译系统”。于是，我走进社区，按照社区里的相关说明，亲身体验了搭建过程。下面，我想谈谈这个被誉为“目前国 首个以机器翻译为核心的交流平台”的菜鸟级用户体验。小牛翻译开源社区里提供了统计机器翻译开源系统的全部代码。我了解了一下，NiuTrans开源系统在国际上比较有名，据说是目前国际上能够支

3、持统计机器翻译模型最全 的两套统计机器翻译系统之一（另一套是爱丁堡大学的 Moses）。这些容对MT机器番S译）的专 业学者应该很有用吧，但是对于我这个非科班出身的人来说，其实会完全忽略这部分容。我还是讲讲我在社区里的真正收获一一快速搭建实用的机器翻译系统。一、搭建过程详细说明需要说明的是，我是在在网页指导与人工指导下才在自己的电脑（Windows7 64位系统，硬盘500G存8G）上成功搭建机器翻译系统的。解释一下为什么我不仅看了网页上操作指 导，还需要人工指导。身为“技术小白”的我，虽然网页上的操作指导写的很规，但是第一 次接触这么“高大上”的东西，还是有点小紧的。于是，我加入了小牛翻译开

4、源社区的QQ群（群号451967838）,联系了群主，群主很热心的帮我讲解，在服务方面我的用户体验很 好。下面我就与大家分享我如何一步步完成在自己电脑上搭建机器翻译系统的。第一步，进入“小牛翻译开源社区” (.niutrans./ ),接着进入“搭建 MT系统”界面。如图:wwwc niutrans- com首 页Niu Tens开源搭毯5系统小牛论坛搭建自己的机器翻译系统帮助用户实现本地搭建专属于自己的机器翻迳系统，是小牛翻诣开源社区的最大心 身需求任意修改系统，同时绝对保障用户翻译数据安全口在本地服务器上构建机器翻金 译过程中产生的曰志信息等，都将保存在自己的服务器上口您可以随心所欲地使用

5、这平下面我们将详细的为桀介绍，如何使用NuTrans Sen/er工具快速的搭建一套实用E 统搭建完成后提供基于web页面的在线翻译、基于h即协议的翻运API,在使用中，如果您觉得机器翻译的效果不够好，可能是由于您选择的模型较小或者 需求。这时您可以选撩更大的模型亦或者使用自有数据重新训练模型，详情请见"如 页面中我们还提供一些基于翻译API开发的实用的翻译工具。NiuTznH Sen巳工耳包,提供YVind5v&和Linux两个版本,下面请根据您的计算机ILin123Pwindows版推荐配置,1 x Windows? 64位操作系统2、可用内存空间4G3.可用硬盘空间1D

6、GPS ；内存与硬盘的空间需求与训练数据量同比增长Windows版搭建教程第二步，根据自己电脑的操作系统（Windows系统还是Linux系统），选择合适的“NiuTrans Server 工具包”（之所以叫 NiuTrans Server ,据说是因为这个 工具包是针对单服务器的，或者说，这个工具包还不能用于搭建机器翻译云平 台）。小牛翻译开源社区的群主告诉我，目前正式运行的机器翻译系统，都是在 Linux操作系统下安装的，但Linux系统下没有图形界面，需要用户稍微懂一些 代码。为了方便像我这样的用户，他们很贴心地研发出Windows系统下如何搭建 机器翻译系统的方法（此处值得为他们点赞哦

7、）。第三步，点击“ Windows版搭建教程，下载“ NiuTrans Server工具包”。 根据语言方向和电脑存的大小，社区里提供了四个工具包。由于我的电脑存总共 只有8G,所以选择的是“中译英 Windows4GT'。点击下载即可。C如何搭建可实用的 干 , »-«* * ，.*_：<- - _，4,*1叶中1 4 - - T=" * 空-*>- f ¥，准备工作：I.NiuTrans Server请根据语言方向需要，不 栽地址如下：名称第四步，安装perl o我是在人工指导下完成的，一共需要四步操作才能完成。首先，点击上面网页

8、中“运行环境准备”项中的“ Perl下载地址”。如下图:2运行环境准备搭建本系统之前，请您确保您的电胞上已经要装了PerL本系统所觥脑幄宗幅的tM而也Perl下载地址：https:AL<ww,pgrltorg/qet.htiTjv/ibc. c cinj/NIuTrariSr'/rStep 1、进入 “ Perl-download ” 页面，点击 “ Windows” 图标。Perl - DownloadHOME LEARMDOCUMENTATIONCP AbCOMMUNITYGET INVOLVEDDownload Perl DistributionsGetting start

9、ed quickly:力北。弓XUnMLinux/ Included ma ； not be late Gt j/ IncludedCma> not be latGGtjPeH runs on over 100 platfornislWe recommend that you alwaysun the latest stable versionz cvrrentiy7bd机if4Mi对 Iversion older than 5,8.3, you may find that the latest version 口f为可什晓应*即昨可下：向门二二三Step 2、点击页面中“ DOWNLO

10、AD ACTIVEPERUP页面上 Windows下右面第一个图标。大家可以看一下左侧的英文说明，除了 64位操作系统，32位操作系统也可以支持的Windows'.Mundoes does not have Perl installed by default.Binaries 口tiv白总 P白I 囱 h口白 binary distributions of Perl for Win32 :jnd Perl for Wi门84). Str君wb打rry 电rt曲:A 100% Open Source Perl for ?Jindows that is exactly the same a

11、s Perl everywhere eke; this includes using modules from CPA'-J, vcithout the need for binary packagiSr Help is /ailable fom &ther Win do .vs Peri developers on the *tvin32 ire channel on (see website Lr- foaccess th口ugh a browser'；. 口力洞 pe/3 Lajndem图:1007a Open Source Perl f

12、or V/indows bsed on Strawberry Perl. It aims to inciude as mny useful CPAN modules 35 possible. It even cotiiqs with P-de. the Perl I DE囱.Sourcer Consider looking at A口口二二口身也已t 囱 to help compile 刁nd manage Peri from source Find out more about the source code； development versions as well as current

13、re teases of thw Perl 1 0ULe团, Lmt色st uridnr d7口后lopm&nt古口u匚白匚口不名声DOWNLOAD ACTTVEPERLDOWNLOAD STHAWBERRY PERLDOWNLOAD DWIM PERLDOWNLOADLATEST STABLESOURCE(5.22.1)了/ mi b s匚口/ hll两工(64-bit,x64)（我的电脑是64位系统）。Step 3、在新的页面中，点击 “Download ActivePerl 5.22.1 forWindowsActivestateDev 目 opeT oolsLa n-g uag

14、esSupportFcrumsResourcesPrate ssional ServicesCommercial SupportFAQsCode RecipesDownload Perl Binaries： ActivePeH CommunityActivePerl is the leading commercial-grade distribution oft! source Perl scripting language Down load Active Per I Corrn Edition free binaries for your development projects and

15、intt deployments.NOTE: If you are using ActivePrl tor production, fedistribc (i.e. on MS Terminal Servites. Citrix XenApp or File Server Community Edition is not trie right license for you. Please cStep 4、在新的页面中，会自动弹出一个下载框。经过以上操作就可以成功下载Perl。SupportO&vaper Tools LanquagesForumsStop!esaurcesIf you

16、Tre using AciivePerTProfessional ServicesCommercial Support> for use in production> for redistributionFAQSCode Recipes3 on» for>ActlwePanYourtheEme尹淳下装1.三亘爱丁开GetSign第五步，做了以上准备工作后，接下来进入搭建步骤。搭建共分两步,Step 1、解压工具包。找到刚刚下载的工具压缩包，windows 7 系统可直接右键解压到“当前文件夹”，解压后的文件夹名称为“NiuTransServer_v1.1.0_zh2

17、en_x64_window ” 。打开文件夹如下图：NiuTransServer_VI.l,O_zh2en_)c64_window 卜直着 -Mtn帮助w到屋不 共享新建立群先©）i?居«1蛎竟名称binconfig data.d口匚liblog与resourcescriptsservicetoolstraining work,LICENSE3 Photoshop 7.0修改日期类型大小2DL5/11/5 13：4B 文件英2DL5/11/9 134&文故2015/11/5皑的刘铁2015/12/2 16:45如自2015/11/913:48文件夹2GL&/

18、1/313:52文件夹2DL5/11/9 13：4&文件夹2015/11/g 13:4S如唉皿5/11/9 15:07文倬先2015/11/913:46文件走2015/11/0 16:00文心erver2015/12/2 16:45文唉2015/9/15 10:21文件f)| 甲稀,2015/11/ 13:02，j7JOO.COm/l JlU IfStep 2、启动机器翻译系统。点击上图文件夹中“service ”文件夹，进入文件夹,找到“start.service.bat（BAT脚本文件）”，双击该文件即实现启动机器翻译系统。如图:iuT ran & S e rver_V I

19、rl. 0_zh 2 e n_x54_wi n d q w > service 孵中 以享，新建文件天rver,bin conf Decoder.Java tib fogs Sentence Segmentation temp webapps work LICENSEI JI , NOTICEL RELEASE-hOTESRUNiNllNG.txt2015/11/9 13r48文件夹2015/12/2 14rll文件美2015/12/2 1411文"2015/1V9 13j4S文件更20 1 5/11,9 13>48旬捌2016/1/8 15:52文件夫2013/11 阳

20、 13:48文件夹2016/1/815:52文件夹2015/11/1115:40却戾2015/11/9 13:48文件史2015/9/16 10;2S文件57 KB2015/9；16 10l3S文库2 KB2015/9/16 10:29文件9 K82015/9/16TXT 二号 J.7 KB2015/9；1b 10r28WifhZs；.翩洋N囱1到4匕口上dm/lMuTrm门二二三修改日期类型大小第六步，搭建操作全部完成后，页面会出现下列提示即代表启动成功。 下图是社区指导步骤中给的样图。其实操作者只要看最后一句"Server startup in XXXmS即可，代表专属于你的机器

21、翻译系统已经搭建成功，此处特别提醒，该页面 不可以关闭，要想运行机器翻译系统，要保持着该页面一直打开状态。» .jDone E50B3 entriesj. 0.006 secCs>Loading Phrase-Table>> Fi'oui File ： DecoderZphrase . trailslatIon. tableI » .)one C5SK entries, ?NB nenory> 0,301 sects)Loading IIE-R&ordepina-Table» From File ： Deeoder/itie

22、. peordeiringr. tathle» .Done L2，K entries, 9.HGZ sec<s>ILoading M£0-Reoi*d&piftgMode 1>> From Filfe ； Deco(lei'/litsdl_i"eoinderin_tAblft» .Done 田K entr-ies 口.国国5 secJ2015-11-4 ID： 22： 24apache.catalina - stArtup.HostConfdeployDirectot*y，言息it DuployzLny ueh A

23、pplj-Catxan directoiry ROOT2015114 10： 22 =2& 。尸目壶pdchu .cQyo七匕一,hk七p上:L -H七七p：L:LPi?口七口cdI startd后月/Starting| Coyote HTTP/i-1 on http-ISi72015-11-4 19： 22 2 orsi.ftpftGh&.cQ</otG«jp.AJpPratoGol stvt信息= Startin? Coy。匕件 AJP/1.3 an p-80092M1齐一11 -4 I.何；文殳今: nv-w-ina.startup.Catalina后息:

24、 Server startup in 19833 ms，""ll，l J(Ll工VLf I匚二口VW%Z G> ®小牛二二NiuTr第七步，将该“ :1517/niutrans/”网址粘贴到浏览器中，即可弹出如下图页面：目标语言：英语小牛翻译It's fine today!否天天气不错!然后嘛，就可以开始使用机器翻译系统了!以上就完成在自己电脑中搭建机器翻译系统的全过程。在“指导搭建机器翻译系统”页面中还介绍了很多小牛翻译系统的其他功能。如翻译API功能、利用 自有数据训练翻译模型等，经过好一顿的研究，被社区群主告知这些功能都是为

25、机器翻译专业人士准备的，不懂程序的人无法直接使用。特此提醒其他使用者， 完成我上述七步操作，专属于你的机器翻译系统就搭建成功了， 其他的小牛翻译 系统各种功能就只能根据使用者自身的能力来选择使用了。二、对小牛开源社区的建议社区搭建机器翻译系统的方法实现起来真的很便捷， 但是对搭建过程中的某 些技术指导表述不够清晰，建议以下部分应该有改进。1）安装perl环节应该添加详细介绍。在上一部分我的搭建过程中，我详细了介 绍了安装perl的步骤。安装perl的网页是全英文版，由于我是翻译硕士所 以我读起来较轻松，但是对于英语水平不太高的使用者，阅读起来会比较困 难，这会导致此部分的操作有一定难度。希望社

26、区开发者会进一步详细介绍 一下如何选择各个步骤的下载选项。“Serverstartup in2) ”代表启动成功”的展示图片需修改。应提示，操作者只要看最后一句XXX ms”即可，这就代表专属于你的机器翻译系统已经搭建成功，亦在图片中明显标画出来，让操作者可以非常清晰操作思路。 如下图：» .Don& E5003 entriessecCs>lLoading Phrase-T*ble >> From File ： ttBcadeiZphrase . ti'anslat ion . table»Done E5SK entries, ?t1B m

27、emory. 0*301 sec<s>lLoading ME-Reord&i*ing-Table>> Hpou Pile ： ftecodei»/iiie -i*e or de ping .table» .Done C25K ervtfies；, 0.062 sec(s> Lo鼻山 in第 MGD-H&d 'deving-Mode 1>> Fpofi Fi.le - ftecod&pnsd _veorrtei'itia _ table» .Done entries0.H05 &

28、;ecCs>2015-11-4 19 ： 22 24. Apacic .cat alina_ st art up.HostConF ig deployDirectopy侣息户 Deploying ueb etppllcai: Ion divecttji'y ftOOT20151.14 18： 22 - 2 oi*g. apache -coyote _ hit t pit .tlti pH Proto col start信息, Staptingf Coyote HTTP/f-f on littp-15172015-11-4 i。二 22；25 orsr. apache «cayate jpProtocaL start信息: Starting Coyot。AJPl_3