张少博-基于CodeGeeX的AI Coding实践与探索

张少博智谱AICodeGeeX高级算法工程师2017年硕士毕业于德州大学软件工程专业，毕业后一直从事于NLP相关的研究，专注于模型训练及应用落地。于2023年加入智谱AI，负责CodeGeeX代码模型、Embedding模型训练，并主导了CodeGeeX项目级智能问答、联网搜索等功能落地。目前在CodeGeeX团队负责前沿算法研发，旨在推进大模型技术在代码领域的创新与应用。演讲主题：基于CodeGeeX的AICoding实践与探索基于CodeGeeX的AICoding实践与探索2CodeGeeX功能简介3项目级问答的探索实践AICoding的前世今生硅谷技术圈招聘案例聘请两名程序员编程经验一周进度完成时间成本编程范式的演变1957FORTRAN编译器被认为是一种自动代码生成系统，生成机器码2015深度学习首次运用到代码用神经网络进行端到端的2021Codex，第一个百亿规模预训练代码生成模型，用无监督学习方式在大量代码语料上训练2023交互式生成ChatGPTChatGLM1945算引擎中，就提到了一些机械化的指令可以让计算机自己生成1972使用逻辑编程语言(如Prolog)将需求描述成逻辑表达式，让计算机自动推理得到解答2020Transformer架构首次运用到代码生成中2022AlphaCodeCodeGenStarCoderCodeGeeX2024DevinChatDevAutoDev演绎合成(deductivesynthesis)归纳合成(inductivesynthesis)编程范式的演变项目信息自然语言/代码大模型任务大模型代码根据输出结果改进代码CodeGeeX功能简介从开源模型到智能编程助手2022.9CodeGeeX12023.7CodeGeeX22024.1CodeGeeX32024.7CodeGeeX4从开源模型到智能编程助手开源代码仓库增强代码理解能力开源代码仓库增强代码理解能力构筑语言到代码的桥梁专项场景任务具备自然语言理解能力从开源模型到智能编程助手从开源模型到智能编程助手从开源模型到智能编程助手•2024年7月，发布最新一代CodeGeeX4系列模型，大幅增强代码领域各项能力。•使用单一模型，即可支持代码补全、代码生等全面能力，覆盖了编程开发的各种场景。/THUDM/CodeGeeX4https://huggingface.co/THUDM/codegeex4-all-9b从开源模型到智能编程助手支持各硬件平台每日帮助编写每日帮助编写VSVS2019趋势榜No.1提升开发效率提升开发效率支持支持300+编程语言从开源模型到智能编程助手GaussDBGaussDB/达梦/...统信统信/麒麟/...昇腾昇腾/海光/...X86/X86/ARM私有化部署私有化部署用户管理用户管理数据看板个性化配置企业知识库企业知识库个人知识库企业开发手册单测框架配置企业管理系统项目级问答的探索与实践朴素RAG保持语义完整性/THUDM/CodeGeeX4/blob/main/langchain_demo/models/codegeex.py优化项优化项-长文本问答阶段式训练(激发长文本能力)&混合训练(保持短文本能力)这个项目做了什么这个项目做了什么/All-Hands-AI/OpenHands/leptonai/leptonai/netease-youdao/QAnything/news/claude-2-1-prompting/blog/golden-metrics-characters-per-opportunity-percentage-code-written/@ChatGLM/glm-long-scaling-pre-trained-model-contexts-to-millions-caa3c48dea85DeepSeek-Coder:When