




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
Towards
Edge-Native
Foundation
Models:A
Paradigm
Shift
in
AI
Construction,
Deployment
andGovernance
at
the
Edge郭嵩教授FCAE,
FIEEE,
MAE计算机科学与工程系香港科技大学电话:+852-2358-8833电子邮箱:songguo@cse.ust.hkPervasive
Edge
Intelligence
Lab普適邊緣智能實驗室Research
InterestArtificial
IntelligenceCloud/Edge
ComputingBlockchainInternet
of
ThingsBig
DataBooks-
Edge
Learning
forDistributed
BigData
Analytics
Theory,Algorithms,
andSystem
Design-
Machine
Learning
onCommodity
Tiny
DevicesTeam40+
researchers:-
2
Research
AssistantProfessor-
8
Postdocs-
20+
PhD
students-
5+Research
AssistantHonor
&
Award2024
Edward
J.
McCluskeyTechnical
AchievementGold
Medal
in
2023Geneva
Inventions
ExpoGold
Award
in
2023AsiaWorld-ExpoImpactResearch
andDevelopmentBackgroundThe
Rise
ofEdge
AI01AgendaResearchEdge-Native
FoundationModels0203ProspectOpen
Issues04The
Rise
of
Edge
AIAI
computing
migrates
to
the
edge
side5From
Cloud
Intelligence
to
Edge
IntelligenceCloud
IntelligenceCloudVarious
Web
2.0
servicesEdge
IntelligenceCloudEdgeIndustrial
4.0AutonomousdrivingSmart
cityLong
latencyInsufficientbandwidthHigh
energyconsumptionPrivacyexposureModel
training&
InferenceModel
training&
InferenceModel
training&
Inference𝑠-level
to
𝑚𝑠/𝜇𝑠-levelReal-time
AnalyticsandDecisionCommunicationCost
Saving847
ZB
vs.
19.5
ZB
Per
YearStore
SensitivePrivate
Data
Locally6Evolution
of
Edge
Intelligence2009201220182022202020142017HuaweiAtlas
500HuaweiAtlas
200DK
A2HuaweiIESHuaweiAtlas
200HuaweiAtlas
3002024PEILabEstablishedEdge
Learning,
HKResearch
Impact
FundTextbooksBy
2025,
Gartner
expects
generative
AI
to
account
for
10%
of
all
data
produced,
up
fromless
than
1%
today.
---
Gartner,
Inc7The
Next
Decade
of
Edge
AI:
From
Analysis
to
GenerationImage
(Dall-E
2,
Stable
Diffusion)Text
(ChatGPT-3,DeepMind
Gopher)Video
(Sora,
Microsoft
X-CLIP)Others
(DreamFusion,
Tabnine,
Stability.ai,
…)GameMetaverseMusic…3D
Speech02Edge-Native
FoundationModelsUbiquitous
foundation
modelserving9边缘资源受限、边缘环境复杂、边缘风险加剧挑战1:边缘资源受限挑战2:边缘环境复杂挑战3:边缘风险加剧处理能力弱内存容量有限电池容量有限异构数据异构硬件资源原始任务新任务未知类动态环境分布偏移输入1–数据非法数据有毒数据虚假数据产生虚假和有害的信息输出生成非法内容推理输入2–提示词Can
you
give
a
photo
of
anaked
horse
man?Can
you
draw
a
picture
in
thestyle
ofVan
Gogh?Tell
me
how
to
make
a
bomb?输入3–知识库通用大模型服务边缘原生智能平台边缘容器1边缘容器2边缘容器𝑀…面向大模型服务的边缘原生操作系统…网络(RDMA,NVLINK,…)分布式边缘计算基础设施CPUGPUDPU分布式存储FPGA10系统框架技术体系用户网络层框架层硬件层服务层部署--阶段
1构建--阶段
2治理--阶段
3全生命周期优化边缘智能新范式——边缘原生大模型大模型服务生于边缘,长于边缘,用于边缘!阶段挑战方法代表成果资源有限的边缘设备边缘环境感知的模型自适应部署Inference
[UbiComp’20],
Octo
[ATC’21]
,
PASS[AAAI’23,
TPAMI’24],
OTAS
[INFOCOM’24]部署边缘硬件不可知的无缝迁移技术Optimus
[EuroSys’24]智慧内生的算网一体化框架SGQ
[NeurIPS’22],
Intelligent
[NETWORK’23]11阶段
1:边缘资源自适应的敏捷部署大模型服务函数容器硬件①②③Model
XFunction
AModel
YFunction
BInter-function
container
schedulerEdge
Node❶
Identify❷Compute❸
TransformContainer
Container
pool
❶❷❸
poolTokenizeInputInference⋯EdgeNode
1Edge
Node2Edge
Node
3<10ms<1s<1ms<100ms边缘自适应的弹性化大模型推理用户无感知的边缘大模型热迁移智慧内生的边缘算网一体化管理⋯⋯TokenPromptingTokenReductionModel
X单个大模型适配多种需求提升20%请求完成率毫秒级大模型服务迁移减少20倍迁移时间高效管理边缘碎片资源节省10%的资源消耗12阶段
2:复杂边缘环境下的模型构建阶段挑战解决方案代表性成果模块化&并行化基础模型预训练pFedLA
[CVPR’22],
CGPFL
[IJCAI’22],
FedGD
[TC’23],FedoSSL
[ICML’23],
FedDure
[AAAI’24],
SCM
[ICLR’24]构建阶段复杂边缘环境异构感知的模型微调技术DFSP
[CVPR’
23],
ProCC
[AAAI’24],DSR
[AAAI’24],
Tomtit
[INFOCOM’24]环境感知的提示微调技术SwapPrompt
[NIPS’23],
PromptFL
[TMC’23],
FedPrompt[WWW’23],
DiPrompT
[CVPR’24]模块化
&
并行化基础模型预训练
异构感知的模型微调技术环境感知的提示微调技术DataPreprocessingFMInitializationLabeled
DataFoundationModelsAdaptive
LocalTrainingOptimized
AggregationImage
EncoderText
EncoderOnlinepromptText
featuresImage
FeaturesTarget
promptCLSCLSTestimageFoundation
ModelsPre-trained
ModelInputPromptOutputDistributionshiftUnlabeled
dataPre-trained
dataParameter-efficient
Prompt
Tuning…Pre-trainedFMsExpert
1Expert
2Expert
3Comm.并行化模块化打破大模型难以在边缘环境训练的限制,充分利用边缘端计算资源Collaborative
SFT参数高效的大模型微调方案;高可扩展性不依赖标签数据;强泛化性能阶段挑战方案代表性成果去中心化的可信外部知识库Pyramid
[INFOCOM’21,
JSAC’22],
GriDB
[VLDB’23],
Prophet[INFOCOM’23],
VeriDKG
[VLDB’24]
,
Cycle
[DSN’23]治理边缘智能风险后门攻击探索Trojan
[KDD’23],Concept
Negation
[Neurips’23],Poisoning
Attack
inFKGE
[WWW’24],Codec
Hijacking
[AAAI’24]负面概念消除技术Gradient
Leakage
Attack
[INFOCOM’22],
MGIA
[AAAI’23],
OSRM
[TDSC’23]13阶段
3:风险意识驱动的可信治理基础模型服务方案3:去中心化的可信外部知识库经过消除后的合法图像方案1:负面概念消除带有负面特征的非法图像推理不需要重新训练模型;
可以离线完成;低推理开销首个基于提示词的后门攻击方法;攻击隐匿性方案
2:
后门攻击探索
可信输出以DKG的形式组织多用户知识03Research
andDevelopment
ImpactDual-Drive
of
Academic
Research
and
Industrial
Transformation15边缘智能赋能智慧医疗:红外三维脊柱及体态分析仪严峻的体态问题脊柱侧弯发病多为儿童青少年,已成为继近视,肥胖之后严重危害青少年健康的第三大“健康杀手”。当下患者超500万,年均患病增速超30万。现有诊断方案的痛点基于边缘AI的脊柱健康数字化解决方案与零动医疗合作边缘智能医疗平台荣获香港资讯及通讯科技奖、日内瓦国际发明展金奖等已帮助超30万名青少年,将覆盖500家医院、诊所、康复机构16边缘智能赋能供应链平台:智慧农场和智慧工厂与平安科技合作的边缘智能供应链平台已应用于工农业供应链等典型场景形成2项国家标准/行业标准获得企业超过2000万投资1.生态智能奶牛场打造新鲜好奶源2.智能工厂实现自动化制造运营自研在线实时云边协同智慧平台标准2:标准1:17边缘智能赋能区块链:去中心化知识图谱平台VideosPapersPodcasts愿景:以华为云为支撑,利用区块链和Web3.0技术,帮助大众打破现代知识垄断。
CCTV13
2020
2021
2021
Reported
by
Awards20边缘智能应用荣誉奖项04Open
IssuesBring
forces
together.
Small
drops
make
an
ocean22大模型驱动云边计算演化云AI连接中国所有主要数据中心,构建全国人工智能计算网络,促进数字经济发展,改善城市管理。开发新的边缘人工智能网络基础设施,对边缘侧资源进行再整合,扩展AI服务的时空范畴。在政策方面,算力网络被以最快速度纳入国家战略。工信部明确指出“用3年时间,形成总体布局持续优化,全国一体化算力网络国家枢纽节点、省内数据中心、边缘数据中心梯次布局”。国务院印发的《“十四五”数字经济发展规划》提出,“推进云网协同和算网融合发展、有序推进基础设施智慧升级”。物联网数据激增,云成为瓶颈,推动边缘
AI结合。深度学习成为可能,虚拟化等技术推动云人工智能的发展。新时代:人工智能基础设施云基人工智能新基建过去边缘AI现在边缘人工智能新基建未来加速建造联邦边缘智能基础设施算力需求方Pluggable1.一键式界面软硬一体化联邦边缘智能基础设施1.各种平台2.各种品牌3.各种芯片类型算力供应方Domestic/Imported
Chip
Enablement
SystemFoundation
Model
ZooLlamaMixtral
MoEBLIP
…Unified
AI
Training/Inference
FrameworkAIAlgorithm
Zoo…2.全栈软件套件预训练、微调、推理3.智能网卡1528x
Nvidia
DGX
H800
GPU
SuperPOD,香港最大的人工智能集群,由InnoHK资助Pay-as-you-goHuawei
Atlas
910
Cluster,中国硬件驱动的最大AI集群PromptFLRLMulti-modalCRF
2024-2027RIF
2020-2025AoE
2023-202723香港科技大学SuperPOD智算中心440x
Nvidia
DGX
H800
GPUSuperPOD,香港最大的人工智能集群24倾力打造大湾区智能算力枢纽深圳鹏城云脑大湾区香港科技大学AI超算中心香港中国算力网例如,成都,西安,武汉,合肥等
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 二零二五年度虚拟现实项目投资人协议书
- 二零二五年度临时协议书:旅游线路设计与推广合作临时协议
- 二零二五年度智能公寓租赁违约金约定与责任划分合同
- 二零二五年度房地产公司股权转让合同
- 二零二五年台球厅场地租赁及赛事门票分销合作协议
- 2025年度水电工程土地征用及补偿合同模板
- 二零二五年度城市公交搭车安全免责服务协议
- 二零二五年度股东清算与清算期间员工权益保护协议
- 二零二五年度加油站与汽车租赁企业合作投资协议
- 2025年度智能停车设备安装与私家车位租赁一体化服务合同
- 材料研究方法重点总结
- 交通运输安全管理整套教学课件
- 城轨道交通运营管理专业设置的必要性和可行性分析报告
- 招商团队架构
- 第二章基因工程的载体和工具酶
- 高职单招英语单词
- 【图文】科技艺术节 纸桥受力分析图
- 睿智cpld开发板用户手册10版本
- 李雁鸣循环理论
- 火花塞的拆装检查ppt课件
- 课题研究思路流程图
评论
0/150
提交评论