机器学习中激动人心的趋势：来自谷歌研究团队的见解

ai.google/research/people/机器学习中的激动人心的趋势ai.google/research/pe问题可以匿名提交为全球影响而设立为全球影响而设立的Al、数据和计算研究所—些观察增加规模(计算、数据、模型大小)会带来更好的结果我们想要运行的计算类型以及我们运行它们的硬件正在发生巨大变化“leopard”“Bonjour,commentallez-vous?”输出输出"豹子""你好，你好吗?""Bonjour,你好吗?""一只猎豹躺在一辆车顶上谷歌Source:/sota/iAlexNet:在ImageNet竞赛中使用的第一个神经网络63.3%InceptionV2-Net20112012201320142015201620172018MetaPseudoLabels(EfficieLibriSpeech测试中的语音识别-其他深度语音2Conv+Transformer-AM-(带TransforConformer+Wav2vec2.0+SpecAugment-基于Libri-Light的嘈杂学生训练02016年7月2017年1月2017年7月2018年1月2018年7月2019年1月2019年7月2020年1月2020年7月2021年1月2021年7月5"外面有多冷?"机器学习优化硬件效率更高从一代到下一代的重大改进 X二降低精度,可以少数特定操作是In-DatacenterPerformanceAnalysisofaTensorProcessingADomain-SpecificSupe(仅推断)/芯片液冷液冷每个Pod的芯片数芯片Bf16TFLOPS芯片Int8TOPS无HBM带宽(GB/s)每个芯片的ICl带宽(Gb/s)4.1艾克万浮点运算，8960个芯片LargeLanguageModelsinThispaperreportsontheiscapableofprovidingsmoothedprobabil-StupidBackoff,thatofKneser-NeySmoothingastheamountof十五年的语言模型进展大规模N-gram模型(2007年)机器翻译中的大型语言模型ThorstenBrantsAsho中的好处。提出了一个分布式基础设施，我们用它来训练多达2万亿个标记，从而产生具有多达3000亿个n-gram的语言模型。它能够为快速、单次解码提供平滑的概率。我们引大型数据集上训练成本低廉，并且随着训练数EfficientEstimationofWordRejeff@ICLR2013workshop,https:/DistributedRepresentationsofWordsandPhrasesTomasMikolovMountainViewMountainViewMountainViewGregCorradoMountainView十五年的语言模型进展Word2Vec(2013年)TomasMikolovGoogleInc.,加利福尼亚州山景城GoogleInc.,GoogleInc.,加利福尼亚州山景城GregCorradoGoogleInc.,加利福尼亚州山景城GoogleInc.,加利福尼亚州山景城jeff@分布式表示是强大的IlyaSutskeverilyasu@kai@国王-女王≈男人-女人谷歌公司谷歌公司jeff@withNeuralNetworks十五年的语言模型进展序列到序列(2014年)谷歌序列到序列学习使用神经网络亚尔斯谷歌WWZZ使用神经编码器对输入序列进行状态生成，然后用该状态初始化神经解码器的状态。扩展LSTM,这样就可以运行。ANeuralConversationalMvinyals@qvl@十五年的语言模型进展神经聊天机器人：一个神经对话模型(2015年)一个神经对话模型(前面的句子)无是wzNxNx十五年的语言模型进展Transformer模型(2017年)注意力就是一切AidanN.Gomez*t多伦多大学不要试图将状态强加到单一的递归分布表示中。相反，保存所有过去的表示并关注它们。更高的准确性，计算量减少10倍至100倍!apoorvk,gnemade,yifen十五年的语言模型进展朝着人类化的开放领域聊天机器人DanielAdiwardanaMinh-ThangLuongNoahFiedelRomalThoppilanZiYangApoorvKulshreshthaGauravNemadeYifengLuQuocVapoorvk,gnemade,yifenglu,q扩大规模并在会话式数据上进行训练，使用新的“合理性和特异性平均值”指标评估，取得了，十五年的语言模型进展神经聊天机器人：神经对话模型(2015年)Meena(2020年)神经语言模型的发展：序列到序列(2014年)地鼠(2021年：280亿)双子座(2023年)ChatGPT(2022年)T5(2020年：110亿)PALM(2022年：540亿)巴德(2023年)Transformer(2017年)毛丝鼠(2022年：70亿)https://blog.google/technology/ai/google-gemini-aihttps://g.co/g项目于2023年2月开始许多来自GoogleDeepMind、GoogleResearch和Google其他部门的合作者目标：训练世界上最好的多模态模型，并在整个Google中使用它们AaAaFigure2|Geminisupportsbytokensofdifferen双子座-从一开始就是多模态的Aa输出交错的图像和文本响应。双子座：一系列高度能干的多模态模型，由双子座团队提供，/abs/2312.11805Gemini:AFamilyofHighlyCapableMultimodalMo双子座模型尺寸类别口超级一-用于高度复杂任务的最大和最有能力的模型，是跨广泛任务范围●专业一扩展的最佳模型，是用于设备上任务的高效模型(1.8B和3.●纳米—25B参数，量化为4位)双子座：一系列高度能干的多模态模型，由双子座团队提供，/abs/2312.11805双子座训练基础设施：路径·Gemini:AFamilyofHighlyCapableMultimodalMo●最小化故障很重要，但同时也要最小化恢复时间Gemini使用快速从模型状态的其他数将恢复时间从几分钟缩短到几秒PaLM模型训练的吞吐量为85%=>即使在更大规模下，GeminiUltra的吞吐量也达到97%双子座：一系列高度能干的多模态模型，由双子座团队提供，/abs/2312.11805Gemini:AFamilyofHighlyCapableMultimodalMoGemini训练数据网络文档，书籍和代码，以及图像，音频和视频数据。所有数据集的质量过滤：启发式+基于模型的分类器通过对较小模型进行消融确定最终数据混合/权重在训练结束时增加领域相关数据的权重双子座：一系列高度能干的多模态模型，由双子座团队提供，/abs/2312.11805进展(要求模型“展示他们的工作”可以提高准确性和可解释性)Q:ShawnhasfivetoyQ:ShawnhasfivetoySchuurmans,MaartenBosma,EdChi,Quoc他现在有多少个?答案是9。问题：约翰照顾10只狗。每只狗每天需要0.5小时遛狗和照顾它们的生意。他每周花多少小时照顾模型模型思维链引发输入：输入：各得到2个玩具，那就是多了4个玩具。5+4=9。答案是输出：约翰照顾10只狗。每只狗每天需要0.5小时遛狗和处理输出：Schuurmans,MaartenBosma,EdChi,Qu思维链模型规模(#参数，以十亿计)23.AskierslidesdownDidthestudentgetthecorrectanMakesuretouseLaTeXformathandroundoffthefinalanswertotwooftheslope.Thestudentusedthelengthofthe。学生在计算势能时使用了坡道的长度L,而不是高度H。在坡道开始时，滑雪者只有势能，即mgh。滑雪者相同在开始和结束时相同：在开始时学生是否得到了正确答案?如果解决方案错误，请解释错误之处并解决问题。r双子座评估●帮助识别模型的优势和劣势●帮助了解在线方式中的"训练进展如何"●帮助做出改进的决策从自然图像、音频和视频理解到数学推理，GeminiUltra在32个广泛使用的大型语言模型(LLM)研究和开发中的学术基准中的30个中超越了当前最先进的结果。双子座：一系列高度能干的多模态模型，由双子座团队提供，/abs/2312.11805CapabilityBCapabilityBandothers)requiringmuli-stepreaBasicarithmeticmanipulatChallengingmathproutdatasetHumanEval双子座基准(报告)(F1得分)(报告)问题)94.4%的准确率@32具有挑战性的数学问题(包分等)4-射出Python代码生成0-时击(T)《报告)188.1%GoogleDePlot,1-shoMathematicalreason86.1%Naturalimageunderstzero-shot,especiallyforOCR-relatedimageunderstandingt双子座双子座图像基准A(仅像素)(仅像素)(仅像素)(仅像素)多学科大学水平问题(Yue等人，2023年)(Singh等人，2019年)DocVQA(测试)(Mathew等人，2021年)ChartQA(测试)图表理解(Masry等人，2022)InfographicVQA(测试)(Mathew等人，2022)MathVista(测试迷你版)(Lu等人，2023)Al2D(测试)(Kembhavi等人，2016)VQAV2(测试-开发)自然图像理解(Goyal等人，2017)(仅像素)(仅像素)(Liu等人，2023)表7|图像理解GeminiUltra在零-shot情况下始终优于现有方法，特别是对于自然图像、文本、文档和图表的OCR相关图像理解任务，而不使用任何外部OCR引擎(仅像素)。许多现有方法在各自的任务上进行微调，用灰色突出显示，这使得与0-shot的比较不是苹果对苹果。双子座：一系列高度能干的多模态模型，由双子座团队提供，/abs/2312.11805DeepMindFlamingo,4--DeepMindFlamingo,4-VideoquestionanswDeepMindFlamingo,0VideoquestionanswVideoquestionansw双子座双子座基准测试(王等，2019年)-中文视频字幕(王等，2019年)(周等人，2018年)(萧等人，2021年)ActivityNet-QA(测试)(于等人，2019年)(帕特劳切安等人，2023年)表10|在选定的学术基准上跨任务和语言进行少样本视频理解。报告的度量标准是视频字幕的CIDER,Ndeo-LLAVA(林等人，2023年)评估协议。9.1%GeminiNano1SOTAon4of5Table4|PerformanceofGeminim双子座基准5项中的5项SOTA纳米-1纳米-1(OpenAl,2023;(张等人，Radfor自动语音识别多语言(Pratap等人，2020)(62种语言)9.1%(14种语言)(Wang等人，2021年)自动语音翻译(21种语言)(Wang等人，2020年)双子座双子座(平均BLEURT)GeminiNano2高资源中等资源所有语言5个中的4个上的SOTA话))Sure.Thereversedstringsof"①①print(reverse_string("TensorThiscodefirstdefinesafunc①查看其他草稿√当然。“HotChips”和“TensorProcessingUnit”的反转字符串分别为“spihCtoH”和“tinUgnissecorProsneT”。reversed_string这段代码首先定义了一个名为reverse_string()的函数。该函数接受一个字符串作为输入，并返回一个反转的字符串。该函数通过从末尾到开头循环遍历字符串，并将每个字母添加到反转的字口HerearesomeofthekeyfeaturesofTPUs:·Theyaredesigned·Theyareavailableforpurclanguageprocessingandimagconsider.Theycanhelp当然。TensorProcessingUnits(TPUs)是由谷歌开发的专门用于加速机器学习的硬件处理器。TPUs专门设计用于处理张量运算，这占据了深度学习模型中大部分计算量。对于机器学习任务，TPUs比通用处理器(CPU)或图形处理器(GPU)快得多。这是因为TPUs被设计为非常高效地执行矩阵乘法，这是深度学习中的关键操作。TPUs被用于各种谷歌产品，包括谷歌搜索，谷歌翻译和谷歌相册。它们也被第三方公司用来开发他们自己的机器学习应用程序。以下是TPUs的一些关键特点：·它们专门设计用于机器学习任务。·它们可以被第三方公司购买。用硬件处理器，用于加速机器学习。"TPUs是加速机器学习应用程序的宝贵工具。它们可以帮助改善机器学习模型的性能和效率，从而加快机器学习应用程序的开发和部以下是使用TPUS进行机器学习的一些好处：·更快的训练和推断：TPUs可以显着加快机器学习模型的训练和推断速度。这对于需要实时或准实时推断的应用程序，如自动驾驶汽车或欺诈检测，可以是一个重要优势。·降低成本：TPU比CPU或GPU更节能，这可以降低训练和推理的成本。这对于大规模机器学习应用特别重要，比如谷歌搜索或Facebook使用的应用。·更好的性能：TPU在某些机器学习任务中可以实现比CPU或GPU更好的性能，比如自然语言处理和图像识别。这是因为TPU专门为这些类型的任务设计的。如果您正在开发一个需要高性能和效率的机器学习应用程序，那么TPU是一个值得考虑的好选择。它们可以帮助您提高应用程序的性能、效率和成本。谷歌希望这有所帮助!如果您有任何其他问题，请告诉我。Total#models:56.Total#votes:244024.Lastupdated:Jan26,2024.12345678Mixtral-8x7b-9Imsys聊天竞技场评估：用户输入提示并看到来自两个不同的匿名聊天机器人的回复，并然后可以计算EloImsys聊天竞技场评估：用户输入提示并看到来自两个不同的匿名聊天机器人的回复，并然后可以计算Elo分数(类赛的头对头排名)Elo高100意味着赢~64%的时间(Elo经过校准，所以400分差距是10:1的优势)排名▲投票1专有的2巴德(GeminiPro)谷歌专有的34专有的专有的5678克劳德-1专有的专有的克劳德-2.0专有的9GeminiPro(开发API).谷歌专有的克劳德-2.1专有的专有的这真的很不错。看看这个例子：JeffJeffDean(@金)@JeffDean·Jan26显示更多2024年1月26日上午9点33分，查看次数为22.5千https://g.co/bard/share/eb4cdd6Taiwan,andSingapore.Presentyournumbersint))Singapore.tsimportanttonotethatthesearejusof"company"used.However,thistableshouldgive国家人口(百万)公司(千)美国韩国台湾