多媒体复习多媒体技术基础

第一部分多第一章多第二章第三章多第二部分多第三部分多第一部分多第一章多第二章第三章多第二部分多第三部分多的计算计算机系统处理技术数据压缩的数据的数字信息的分析与处理信息分析与处理第四部分多第六章实时多网络应用通信3研究对象信号：数字化、研究对象信号：数字化、数据：数据压缩内容：检索、基于内容的典型系统CD-Digital数字电流关键原理等效通信变换编技术趋势音频/图像、计算4音频率/音频率/带宽/响度、图CCD、◼CRT、等离子电视、LCD、LED、5音频(Audio)信号：频音频(Audio)信号：频率范围为20Hz～20kHz的信号话音(Speech)信号：人说话的信号频率常为300～30006Topreventaliasingtheaudiobandmustpassthroughafilterwi◼veryroll20kHz.SuchfiltersTopreventaliasingtheaudiobandmustpassthroughafilterwi◼veryroll20kHz.Suchfiltersroduceirregularitiesthefrequencybelow20kHzanddesignssoundesirablephaseUsingale◼whichisdoublethefinallyrequiredmovesthesidesbandsfurtherawayfromtheaudiobandandallowssimplerfilterstobe7样本精声卡的比特数显卡的像素深度扫描仪色彩深度采样频显卡的最高分辨率样本精声卡的比特数显卡的像素深度扫描仪色彩深度采样频显卡的最高分辨率DPI（◼◼）DC像素数量81、镜头透射到CCD4、经过放大和滤波后的电信号被送到1、镜头透射到CCD4、经过放大和滤波后的电信号被送到5、输出到DSP6/9FoveonX3sensor,usinganarrayoflayeredpixelsensors,FoveonX3sensor,usinganarrayoflayeredpixelsensors,separatinglightviatheinherentwavelength-dependentabsorptionpropertyofsilicon,teverysensesallthreecolorlow-costandmostSigma公司采用FoveonX3技术onon复)色差输D-)复)色差输D-)Source:/◼100Mb/s、200Mb/s、◼480Mb/s、12Mb/s、◼8Gbps(165MHz×24bit×2)，支◼◼100Mb/s、200Mb/s、◼480Mb/s、12Mb/s、◼8Gbps(165MHz×24bit×2)，支◼600×1200@85Hz的UXGA或者QXGA图像以及720p、1080i、1080p的HDTV号的无压缩实时传输(High-Definition◼5Gbps，支持晰数字信号，并支◼DolbyDigital/DTS数字音频格◼研究对象信号：数字化、研究对象信号：数字化、数据：数据压缩内容：检索、基于内容的典型系统CD-Digital数字电流关键原理等效通信变换编技术趋势音频/图像、计算一般性数据无损压缩、有损、△一般性数据无损压缩、有损、△MCM、量化噪声、子带伪彩◼MPEG1/2、H.264、编码算术编码消息用编码算术编码消息用0到1词典编码RLE◼冗余幅度非均匀/非均匀的长时功率谱密度/编译冗余幅度非均匀/非均匀的长时功率谱密度/编译CM、E、CELP、MPEG4感知编码：mpeg1Layer1/2/3、mpeg2BC&AAC、Dolbyμ律(μ-a)或A律(A-a非均匀量化△M通差值实现μ律(μ-a)或A律(A-a非均匀量化△M通差值实现压DPCM通值与实际信号的差实现压APCM通过调整量化阶实现CM是DPCM和的集◼SB-CM通过改变不同子带样本的比特分配实现压缩（听觉特性混合编码的是信道模型的参E改变激励获取不同的效果，CELP基于人的听觉MPEG1Layer1/2/3BC&AAC，基于Aui使用了参数编码和commoncodewordsshortere.g.,spatial→arithmeticcommoncodewordsshortere.g.,spatial→arithmeticFramesofBitpredictcurrentframefromprevioussizeforeachsymbol→adjustrate/qualitytrade-Run-lengthlongrunsofzeros→run-lengthMPEG, ZagScan&Run-Length运动估计（时间冗余1/47运动估计（时间冗余1/47帧内（空间冗余DCT->4×4整数变换52级步长的量化器，量化步长以12.5%熵编码景宏块个数的爆发式增长，会导致用于编码宏块的◼运动矢量、参考帧索引和量化级等宏块级参数信息所占用的码字过多，用于编码残差部分的码字明显减少。由于分辨率的大大增加，单个宏块所表示的图像内容的信息大大减少，这将导致相邻的4x4或8x8块变换后的低频系数◼景宏块个数的爆发式增长，会导致用于编码宏块的◼运动矢量、参考帧索引和量化级等宏块级参数信息所占用的码字过多，用于编码残差部分的码字明显减少。由于分辨率的大大增加，单个宏块所表示的图像内容的信息大大减少，这将导致相邻的4x4或8x8块变换后的低频系数◼◼大大增加，H.264编码使用的是使用的比特数越少。因此，随着运动矢量幅值的大幅增加H.264中用来对运动矢量进行渐降低。H.264的一些关键算法如CAVLC和CABAC、deblock滤波等都要求串行编码，并行度比较低◼目标：在H.264标准2～4倍的复杂度基础上，将压缩效率7升一倍以上研究对象信号：数字化、研究对象信号：数字化、数据：数据压缩内容：检索、基于内容的典型系统CD-Digital数字电流关键原理等效通信变换编技术趋势音频/图像、计算多（基于文本、关键字→基多（基于文本、关键字→基于内分析算法（◼多音频内容分析：语音识别、音乐分图像内容分析：图像分割、目标识内容分析：目标检测、◼描述了网页和中心网页。利用网络自身的结构描述了网页和中心网页。利用网络自身的结构要性的等级数，当从网页到网页B“网页A投了网页B一票”，增加了网页B的重要性。图像表图像表特征向量向量内积L1L2图像排两维数语义鸿沟两维数语义鸿沟用于音频内用于音频内容分析的常见特erAP)、AudioWaveFormAWF)、Mean-Square(RMS)、ShortTimeEnergyZero-CrossingRateFFTspectrum、cepstrum、AudioSpectrumCentroid(ASC)、FundamentalFrequencyFuF)、MelFrequencyCepstralCoefficients(MFCC)、SpectrumFlux(SF)图像分析一般利用数学模型并结合图像处理的技术来分析底、分类和解释的技术，又称景物分析或图像理解图像分析一般利用数学模型并结合图像处理的技术来分析底、分类和解释的技术，又称景物分析或图像理解基于内容的图像检索（CBIR-ContentBasedImage人脸识别（face表情识别（emotion光学字符识别（OCR-OpticalCharacter手写体识别（handwriting医学图像分析（biomedical对象提取object◼Blockingapartofthe signalbasedonthesignalitself,forex ecauseofprivacyconcerns.Egomotionestimationisusedtodeterminethelocationofacameraby yzingitsoutputsignal.Motiondetectionisusedtodeterminethepresenceofrelevantmotion observedscene.ObjectdetectionisusedtodetermineBlockingapartofthe signalbasedonthesignalitself,forex ecauseofprivacyconcerns.Egomotionestimationisusedtodeterminethelocationofacameraby yzingitsoutputsignal.Motiondetectionisusedtodeterminethepresenceofrelevantmotion observedscene.Objectdetectionisusedtodeterminethepresenceofatypeofobjectorentity,for rsonorcar.Otherex lesincludefireandsmokedetection.FacerecognitionandAutomaticNumb lateRecognitionareusedtorecognize,andtherefore siblyidentify sorcars.Styledetectionisusedinsettingswherethe signalhasbeenproduced,for lefor broadcast.Styledetectiondetectsthestyleoftheproduction detectionisusedtodeterminewhetherthecameraoroutputsignal eredtrackingisusedtodeterminethelocationof sorobjects siblywithregardtoanexternalreferencegrid.研究对象信号：数字化、研究对象信号：数字化、数据：数据压缩内容：检索、基于内容的典型系统CD-Digital数字电流关键原理等效通信变换编技术趋势音频/图像、计算根据20世纪70年代的技术水平，把“0”根据20世纪70年代的技术水平，把“0”制在2个，而最长限制在10，故将8bit到14bit来确保读出信号的可靠性。（在DVD中，把3位合并位改成2位，这样，一个字节就转换成16位，提高了DVD容量CD-ROMMode1把RedBook中的2352字节CD-ROMMode1把RedBook中的2352字节◼CD-ROM是用计时系统中的分、秒，以特地为CD-ROM规定的分秒(1/75秒)来表示◼分1字秒1字分秒1字 2048CD容量增盘片直120120盘片厚0mm/面1mm/面减小激光波635/650nm7804CD容量增盘片直120120盘片厚0mm/面1mm/面减小激光波635/650nm7804 加大N..00(.8减小光道间01μ(.7*.减小最小凹凸坑长0μ0减小纠错码的长C修改信号调制方8-8-14加1.06=加大盘片表面的利用86.6平方厘86平方厘米1.01=868减小每个扇区字节2048/2060/扇区2048/2352/扇区1=2352/206041CompactSuperCompactSuper EnhancedVersatileDigitalVersatile 研究对象信号：数字化、研究对象信号：数字化、数据：数据压缩内容：检索、基于内容的典型系统CD-Digital数字电流关键原理等效通信变换编技术趋势音频/图像、计算IRBlockingFilterAnti-AliasingFilter图像传感器模块影像处理模块IRBlockingFilterAnti-AliasingFilter图像传感器模块影像处理模块打印质量：300：5打印质量：300：5inch*3.55→分辨率：1500*人眼的视觉敏锐linepairsper30lp/mm→152尼康（Nikon）D3X单反机身；京东价：￥48009.00；有效像素：2450万APS:APS:AdvancedPhoto全画幅:数码相机中CCD/CMOS尺寸面角变狭窄（远摄侧），角变狭窄（远摄侧），50mm为标准镜头视野与眼视野接对比检测自动对对比检测自动对焦系统的原。1.tootoomuchtoo3500FXautofocussensor景深/与景深/与研究对象信号：数字化、研究对象信号：数字化、数据：数据压缩内容：检索、基于内容的典型系统CD-Digital数字电流关键原理等效通信变换编技术趋势音频/图像、计算由于◼以◼盟的先进电视系统（ATSC，SystemCommittee）由于◼以◼盟的先进电视系统（ATSC，SystemCommittee）在欧洲DVB◼电视地面广播标准（ISDBDigitalBroadcasting）广播DVB-Broadcasting-有线电DVB-广播DVB-Broadcasting-有线电DVB-Broadcasting-地面广DVB-Broadcasting-Terrestrial手持设DVB-Broadcasting美欧DVB-日DMB-MPEG- 部音DolbyAC-3MPEG2-DolbyAC-3外RS,参数和交织美欧DVB-日DMB-MPEG- 部音DolbyAC-3MPEG2-DolbyAC-3外RS,参数和交织方式内2/3卷积卷积码,网格Turbo调BST-TD6-均星座调多分别率星座(16QAM54QAM)有3种不同移动电视架构基于地面广播：DVB-H、韩国的T-DMB广播：韩国的S-DMB和欧洲SDMB基于移动网络的3GPP移动电视架构基于地面广播：DVB-H、韩国的T-DMB广播：韩国的S-DMB和欧洲SDMB基于移动网络的3GPPMBMS中国标准CMMB：ChinaMobileMultimediaeractiveservice截至2014年8月，我国IPTV覆达5157.5万人◼较去年同期增长2473.6万截至2014年8月，我国IPTV覆达5157.5万人◼较去年同期增长2473.6万人，年增长率达92.2%“在智慧家庭业务中，互联网电视（OTTTV）◼IPTV有机融合内容更加丰富化家庭应用也将逐渐云化，家庭终端继续向多屏化智能化、网络化演进，家庭组网需求日益凸显。”国内有27个省部的IPTV/OTT解决方案◼整体建设容量2000万线，放号用户超过1500用户总数47%，整体市场份额第一。全球市场上，据Infonetics近日发布的IPTV市场◼额以及VOD服务器市场份额的春，IPTV凭借31.32%收入和33.92%市场份第一研究对象信号：数字化、研究对象信号：数字化、数据：数据压缩内容：检索、基于内容的典型系统CD-Digital数字电流关键原理等效通信变换编技术趋势音频/图像、计算流Thisarchitectureallows流Thisarchitectureallowsfornon-HTTPCnserverandmediasouseUDPinsteadof◼HTTP传送HTML◼HTTP传送HTML，而RTSP通过RTP◼的是数据请求，即RTSP可以是双向的。◼RTP提供端对端网络传输功能，适合通过组播和点播传送实时数据，如、音频和仿真数据。RTP报文格式中包括固定的RTP报文头，可选用的作用标识（CSRC）和负载数据。VPXM序列号RTP提供端对端网络传输功能，适合通过组播和点播传送实时数据，如、音频和仿真数据。RTP报文格式中包括固定的RTP报文头，可选用的作用标识（CSRC）和负载数据。VPXM序列号(Sequence时戳)同步源标识符(SSRC其它同步源标识符(CSRC静荷RTP本身并不能为按顺序传送数据包提供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠RTCP传输控制协议提供这些服务。RTP的控制协议RTCP通过在会话用户之间周期性地递交控制报文来完◼RTP本身并不能为按顺序传送数据包提供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠RTCP传输控制协议提供这些服务。RTP的控制协议RTCP通过在会话用户之间周期性地递交控制报文来完◼◼成息等功能。根据用户间的数据传输反馈信息，可以制定流量控制的策略，而会话用户信息的交互，可以制定会话控制的策略。网关会务器网关会务器N-Unit,SIPSIPRTPMediaProxyProxySIPSIPRTPMediaProxyProxyUserAgentUserAgent研究对象信号：数字化、研究对象信号：数字化、数据：数据压缩内容：检索、基于内容的典型系统CD-Digital数字电流关键原理等效通信变换编技术趋势音频/图像、计算10WavelengthPhotopicluminous10WavelengthPhotopicluminousBayer滤镜的Bayer滤镜的概念稍后解j2ux(j2ux(F[f(x,y)]F(u,v)Mx0j2ux1M1(F1[F(u,v)] MMNu0F(u,F(x,f(x,AlfredHaar对在函数空间中寻找一个与◼类似的基非常感。他最早发现和使用了小AlfredHaar对在函数空间中寻找一个与◼类似的基非常感。他最早发现和使用了小发了STFT(shorttimeFouriertransform)Morlet提出了小波变换WT(wavelettransform)的概念。◼◼研究对象信号：数字化、研究对象信号：数字化、数据：数据压缩内容：检索、基于内容的典型系统CD-Digital数字电流关键原理等效通信变换编技术趋势音频/图像、计算声方式的变图像声方式的变图像技术方式的变人机交互接口方式的变数码相机技术半导磁光网技术趋技术声唱片→磁带→CD光盘声唱片→磁带→CD光盘→磁盘文件→电脑音编曲→音高/音色/响度采样/量化/量化精度DigitalSingleLensDigitalSingleLensReflexcameraDSLR)🡨单反SingleLensTranslucentcameraSLT)🡨单电🡨微单erchangeable-Lens微单与单反的竞价（机身价格2012-02-06:全画幅单反NikonD8002012-09-12:全画幅微单SONYA99201