音乐灯光表演方案辅助设计专家系统的研究优秀毕业论文.pdf

重庆大学 硕士学位论文 音乐灯光表演方案辅助设计专家系统的研究 姓名：全辉 申请学位级别：硕士 专业：控制理论与控制工程 指导教师：林景栋 2010-04 重庆大学硕士学位论文 中文摘要 i 摘 要 音乐灯光表演是灯光的一个新兴应用方向。 它以其震撼的视听效果让人们对灯光产 生了一个全新的认识，已成为城市夜景建设的热点。音乐灯光表演的观赏性质要求表演 方案设计要具备简单、快速、高效的特点，而目前音乐灯光表演方案设计仍采用传统舞 台灯光设计模式，存在设计效率低、周期长、费用高、对设计人员要求高等不足。针对 传统灯光设计模式无法满足音乐灯光表演方案设计需要的问题， 本文提出了基于音乐情 感驱动的音乐灯光表演方案设计解决方案， 设计并实现了音乐灯光表演方案辅助设计专 家系统。该系统通过对音乐情感特征进行识别，然后根据音乐和灯光动作的情感内涵进 行音乐灯光表演方案的自动设计。 围绕该课题，本文主要完成了以下几方面的研究工作： 分析音乐灯光表演方案设计需求，深入研究了舞台灯光设计模式在音乐灯光表 演方案设计中存在问题和不足， 提出了基于音乐情感驱动的音乐灯光表演方案设计解决 方案。 完成音乐灯光表演方案设计所需的音乐特征识别。 主要包括 midi 音乐基本特征 数据的提取、主旋律音轨的自动定位、乐句的智能划分和音乐情感的识别。 研究音乐灯光表演的灯光动作设计模式。结合音乐灯光表演的特点，总结分析 了音乐灯光表演灯光动作的描述形式及其主要属性， 并采用基于灯光场景的灯光动作设 计模式进行灯光动作设计。 音乐灯光表演方案辅助设计专家系统的设计。重点是音乐-灯光动作匹配规则和 匹配策略的设计。采用结构匹配、乐句匹配、音符匹配相结合的多层次匹配策略，实现 了音乐灯光表演方案的自动设计。 系统软件的实现。 采用“visual basic + sql server2000”作为开发平台， 完成系统 各功能模块的软件实现。 本课题所研究的音乐灯光表演方案辅助设计专家系统已经在重庆“朝天扬帆”、陕西 “水韵江南，七彩凤县”、“西乡情怀”等音乐灯光表演工程的方案设计中得到了很好的应 用。该系统能够快速高效的设计出高质量音乐灯光表演方案，而且随着知识库的不断完 善，设计质量也得到了不断的提高。 关键字关键字：音乐情感，特征识别，灯光表演，专家系统 重庆大学硕士学位论文 英文摘要 ii abstract the music&light show is a new application direction for lighting. with its visual effect there produced a new understanding on light, and also it becomes a hotspot of city night piece. the scheme designing needs to be briefness, celerity and efficiency based on the character of viewing. now it takes the traditional lighting design mode for music&light show scheme design. there are many deficiency, for instance, low efficiency, long cycle, high expense and strict with designer and so on. as the traditional lighting design mode can not meet the needs of music&light show scheme designing, this paper designed an expert system for music&light show scheme auxiliary designing which based on music emotion recognition. the system recognizes music emotion and then designs music&light show scheme automatically. around the subject, this paper carried out the following research works: it analysis the demand of muic&light show scheme designing. make a further research on the problems and deficiencies of the traditional light design mode which used in the muic&light show scheme designing. and also it gives a blue print for muic&light show scheme design which based on music emotion driven. recognition of musical characteristics which to the need of muic&light show scheme designing. it mainly includes: extracting basic musical characteristics from midi music, main melody track orientation automatically, phrase intelligent partition and music emotion recognition. make researches on the design mode of muic&light show lighting motion. according to the character of muic&light show, it analyzed the expression style and main properties for muic&light show lighting motion. and also it designs lighting motion based on the mode of lighting scene. design of expert system for music&light show scheme auxiliary designing. the design of matching rules and matching strategies for music-lighting motion is the key point. by using the multiple matching strategy including structure matching, phase matching and note matching, it designs music&light show scheme automatically. implementation of the system software. by using the developing proof of “visual basic+ sql server2000”, it realized each functional module of the system. the expert system for music&light show scheme auxiliary designing has been 重庆大学硕士学位论文 英文摘要 iii successfully used in many music&light projects, for example chaotianyang fan of chongqing, “shui yun jiang nan, qi cai feng xian” of shanxi, “xi xiang qing huai” and so on. the system can design the high-quality music&light show scheme efficiently. and also the design effect tends to become perfect along with the repository continuously consummation. keywords: music emotion, feature recognition, light-show, expert system. 重庆大学硕士学位论文 1 绪 论 1 1 绪 论 1.1 研究背景与意义 城市灯光景观是城市日景观的延续和重构，是城市的第二张面孔。城市灯光景观就 是用灯光重塑城市的夜间形象，是由城市的自然、人工景观及人文诸元素与灯光共同构 成的夜间综合景象，是有着很强冲击力的视觉艺术。通过景观符号与灯光语言的完美融 合，不仅传递着自然景观与人文景观本身的美，也包含着为灯光语言所演绎、解释和强 调的美，更蕴含着人在创造和审美过程中激发和感知的美。城市灯光景观属于多学科多 门类共同参与的边缘艺术，借助现代科技，人类可以随心所欲地给黑夜披上华丽的晚礼 服，使城市越来越美丽。 随着生活水平的提高， 人们对夜晚生活环境质量的要求也越来越高。 对夜景的要求， 也由过去的市政性、功能性照明转向了追求内涵和审美体验的景观照明1。照明由照亮 逐步向艺术化过渡，城市灯光夜景是城市品味的展示，也是城市魅力的体现。每座城市 都有着自己不同的历史文化、发展定位、社会功能和结构特点等，因此城市夜景灯光的 规划设计和建设，必须和城市的特征紧紧结合起来，才能营造出优美和谐的夜景灯光， 为城市的夜色增添光彩2-3。城市夜景照明是城市和建筑艺术升华和再创造，不仅要照 亮，更要照得美，具有本地的特色4-6。城市夜景观工程也不是静态的平面设计，而是 立体的、持续性的、扩展性的、孕育文化认同感的一种深层次活动，为夜间城市环境的 发展注入了新的需求与动力，并从单一的照明行业走向城市规划、景观设计与照明设计 综合发展的交叉学科。 灯光艺术在整个时空中占有巨大的比重。过去由于静的比动的多，而动的也只是简 单规律的变化，所以在观众的心目中所占的比重并不高，使很多人熟视无睹。社会的发 展，文明的进步，人类永不满足、不甘于重复的心理，推动着艺术的发展，同时又提出 了更高的境界。就舞台节目而言，提高节目自身的质量，是不容置疑的，传统节目在创 作上表演上的突破是很难的，而灯光艺术的出现却为其开辟了广阔的创作空间。节目内 容、意境上的表现不仅仅实现于传统音乐、舞蹈等艺术项目，灯光艺术表现能力已可注 入任何内容和韵律。由于灯光具有强烈的光感效应，巨大的空间占有，再注入生命的艺 术创作，这前所未有的感官效应。近几年来由于科技的发展，灯光艺术在舞台上得到了 充分的展现，在观众心目中产生了强烈的反响和共鸣。 音乐灯光表演是城市灯光景观的一个新兴发展方向。 音乐灯光表演就是指利用音乐 的各种特征要素（速度、节拍、旋律和情感等）来控制一系列灯具的亮灭、颜色、旋转 俯仰等动作变化。它起源于舞台背景灯光，继承了城市灯光景观的特色，现今发展到户 重庆大学硕士学位论文 1 绪 论 2 外大型音乐灯光表演。香港“幻彩咏香江”、重庆“朝天扬帆”、陕西凤县“水韵江南，七彩 凤县”等大型户外音乐灯光表演以其震撼的视听效果吸引了大量的游客，得到了广泛的 关注。户外音乐灯光表演为城市夜景增添了一道亮丽的风景线，让人耳目一新，为之所 震撼，成为城市夜景发展的热点方向。绚丽多彩的城市灯光景观不仅丰富了人们的夜生 活， 而且对经济的发展和城市自身形象的塑造以及国际地位的提升都将产生十分重要的 作用和深远的影响。 对于这些大型的音乐灯光表演，其方案设计显得尤其重要。不仅需要保证音乐灯光 表演的观赏效果，还要求表演方案设计的快速性和高质量。采用传统的灯控台设计表演 方案已经不能满足其要求，因为它同时需要音乐专家、灯光设计师、自控专家的合作， 而且这种大型户外灯光表演的规模和灯具数量庞大，操作起来极其复杂，设计调试周期 漫长。本课题所研究的音乐灯光表演方案辅助设计专家系统正是应这种需求而开发的， 具有极强的实用价值。它根据音乐的情感特征进行音乐灯光表演方案的自动设计，具有 较强的创新性和前沿性。 1.2 国内外研究现状 灯光作为舞台演出中一个重要的艺术组成部分在舞台上配合表演的进行。 它以其独 特的手段实现模拟自然、分割舞台时空、创造意境、表达情感等艺术效果7。灯光作为 舞台现场的主要构成元素之一，可以通过颜色、照射角度、变换的动作以及频率等来营 造空间感、时空感，从而表现节目的形象、情感。灯光具有最佳的可视性，能更直观地 被人感知，更加形象地解释节目，使人更容易感受、体验、理解节目，从而达到欣赏、 感知节目的目的，激起听众的共鸣。灯光已成为现代演出中不可或缺的重要元素。 现代灯光工程涉及到灯控技术、舞美艺术、计算机技术、控制工程等众多领域，是 一个多学科交叉的系统工程。随着科学技术以及舞美艺术的不断发展，灯光无论在技术 层面上还是艺术层面上都有着突飞猛进的进步。 首先是灯具得到了很大的发展。社会高速发展的今天，灯具的主要功能已不仅仅是 照明。 电脑摇头灯作为现代舞台灯具的主角， 它不再仅仅是控制其开关， 还能实现旋转、 俯仰、调速、变色、调焦、调光等功能，而且灯具的功能和控制精度还在不断提高，近 几年出现的电脑激光灯更是为舞台增添了无穷的魅力。 其次是灯光控制技术也有了质的飞跃。灯光控制经历了模拟时代、数字时代，现在 正进入网络时代8-10。 专业的灯光控制系统也相继问世， 如美国etc公司开发的etcnet2 灯光网络控制系统， 英国斯全德灯光有限公司推出的 shownet 灯光网络控制系统， 广州 河东电子有限公司推出的“天地通”光纤 dmx 网络解码器等系列以光纤为传输介质的网 重庆大学硕士学位论文 1 绪 论 3 络灯光控制设备。以上这些灯光控制系统都是采用灯控台的模式，并且主要应用于舞台 灯光控制。而重庆大学研究了一种分布式音乐灯光表演控制系统11-13，该系统适用于户 外音乐灯光表演，能够很好的满足音乐灯光表演规模大、分布广、可靠性高等要求。 灯光工程在舞美艺术中也得到了充分的展示，如悉尼奥运会开幕式、多哈亚运会开 幕式、北京奥运会开幕式等各种大型表演中都用到了大量的灯光元素，为舞台艺术效果 的烘托起到了相当关键的作用14。近些年来，城市园林灯光景观也成了灯光工程发展的 一个重要方向，他们为城市夜景画上了闪亮的一笔。将现代音乐、舞台灯光和城市景观 结合起来的户外音乐灯光表演更是灯光工程的一个创新应用， 它将人对灯光动作变化的 视觉感受与对音乐的听觉感受融为一体，烘托出了完美的环境艺术效果，音乐灯光表演 也成了城市夜景建设的新宠。 音乐灯光表演根据城市地理景观、文化底蕴和音乐特征要素（旋律、节奏、力度和 音色等）来控制灯具（亮灭、旋转、俯仰和颜色等）的变化，以此给观众创造一顿视听 大餐。音乐灯光表演的观赏性质要求表演方案设计简单方便、快速高效、更新频率高。 而目前音乐灯光表演方案设计采用舞台灯光的设计模式，即人工对音乐特征的进行识 别，即由设计人员对乐曲进行特征提取、编辑处理，然后根据对音乐和灯光的理解使用 灯控台进行灯光动作的设计， 这种低效的设计模式远远满足不了音乐灯光表演方案设计 的需求。近几年国内外也出现了一些专用灯光设计软件：radiance、lightscape visualization system、dialux 和 agi32 等15，但这些软件主要是用于舞台灯光设计， 不适合音乐灯光表演方案的设计。 本课题所涉及的户外音乐灯光表演属于灯光的一个新兴应用方向。 虽然灯光控制方 式得到了较好的解决，但其表演方案的设计还处于萌芽阶段，这方面的研究基本上还是 一个空白。 因此研究一种适合音乐灯光表演方案设计的方法成了一个迫切需要解决的问 题。 1.3 论文主要研究内容和组织结构 1.3.1 本课题主要研究内容及关键技术 音乐灯光表演方案计算机自动设计涉及舞美艺术、数据库技术、控制技术，是一个 多学科融合的系统工程。让计算机理解音乐情感内涵，结合灯光的情感特征，自动设计 出体现音乐情感内涵的灯光表演方案是本课题追求的终极目标。 基于前述国内外发展现 状的分析，针对音乐灯光表演的特殊领域，本文主要研究内容如下： 分析音乐灯光表演方案设计的需求和特点，研究现有设计方式的不足；研究一 种适合音乐灯光表演方案设计的灯光设计解决方案。 重庆大学硕士学位论文 1 绪 论 4 研究音乐特征的提取及音乐情感内涵的计算机自动识别算法，获取音乐灯光表 演方案设计所需的音乐特征要素。 研究灯光动作的情感内涵体现形式，以及适合音乐灯光表演的灯光动作设计方 法。 构建音乐灯光表演方案辅助设计专家系统。使该专家系统能够根据音乐特征与 灯光动作进行匹配，自动生成音乐灯光表演方案。 本课题属于舞美设计的一个新兴研究方向， 要实现音乐灯光表演方案计算机自动设 计，需解决的关键问题主要包括： 音乐预处理及情感内涵识别方法，包括音乐主旋律音轨定位、乐句分割和情感 识别算法。 音乐灯光表演方案设计中灯光动作的设计模式。 音乐特征与灯光动作之间的匹配规则设计，如何确保规则的有效性及完整性。 1.3.2 组织结构与章节安排 本文将重点讨论音乐灯光表演方案设计过程中的关键步骤。包括音乐特征的提取、 音乐情感的分类识别算法、音乐灯光表演灯光动作的设计模式、音乐-灯光动作的专家 匹配策略及实现等。具体章节安排如下： 第一章对课题研究背景及意义进行了阐述， 总结分析了灯光及其方案设计的国内外 研究现状。介绍了本课题的研究目标和主要研究内容，并指出了所要解决的关键问题。 第二章以重庆“朝天扬帆”音乐灯光表演工程为背景，介绍了分布式音乐灯光表演控 制系统的基本原理，总结了原灯光表演方案设计模式存在的不足，并提出了基于音乐情 感驱动的音乐灯光表演方案辅助设计专家系统总体解决方案。 第三章对 midi 音乐格式进行了解析，重点讨论了 midi 音乐特征提取技术、主旋 律音轨定位算法、乐句划分算法、音乐情感识别算法等，为第五章进行音乐灯光表演方 案设计准备音乐特征数据。 第四章讨论了音乐灯光表演中灯光的设计原则和设计流程， 针对音乐灯光表演的特 点，重点讨论了基于灯光场景的音乐灯光表演灯光动作设计模式，为第五章进行音乐灯 光表演方案设计准备灯光动作素材。 第五章对音乐灯光表演方案辅助设计专家系统设计的关键步骤如音乐灯光表演方 案规则库的设计、推理机及冲突解决机制、系统软件实现等进行了阐述，重点研究了音 乐-灯光动作的多层次匹配策略。 第六章对本文所做的工作进行了总结。概括了本文所取得的成就，并指出了系统的 不足，为以后进一步研究指明了方向。 重庆大学硕士学位论文 2 音乐灯光表演方案辅助设计专家系统总体设计 5 2 音乐灯光表演方案辅助设计专家系统总体设计 2.1 “朝天扬帆”音乐灯光表演系统简介 重庆市重点形象工程“朝天扬帆” 大型动感音乐灯光表演工程由 53 盏 7000w 空 中大炮灯，30 盏 7000w 空中利剑灯，56 盏城市之光灯，9 盏闪电灯，6 盏多彩灯，3 台高功率激光灯，1 盏空中玫瑰以及多组无线音响组成。在一期工程项目中，控制系统 采用“音乐播放器+灯控台+无线 dmx512”的方式。经过 1 个月的运行，系统的缺陷和弊 端暴露无疑。由于灯具分布在两江三岸，地理环境复杂，通信干扰严重、操作复杂等问 题，系统不能进行正常表演，几乎瘫痪。重庆大学自动化学院智能灯光控制课题组临危 受命，负责原控制系统的改造。经过 2 个月的奋斗，成功研发了一种分布式灯光控制系 统。 音频控制音频控制 无线电台 音乐播放系统 灯光控制系统 无线电台 音乐播放系统 灯光控制系统 就地音箱就地音箱 无线电台无线电台 音频无线发 射器 音频无线发 射器 音频无线接 收器 音频无线接 收器 远程音箱远程音箱 主控制器主控制器 现场控制器现场控制器 灯具灯具灯具灯具 . 无线电台无线电台现场控制器现场控制器 灯具灯具灯具灯具 . . . . 图 2.1 分布式灯光控制系统原理图 fig. 2.1 principle chart of distribute control system for light-show 如图 2.1 所示，分布式控制结构使系统可靠性和扩展能力得到了充分的保证。该系 统使用“计算机软件+数据库”的方式取代音乐播放器和灯控台，大大节约了硬件成本， 而且使操作变得极其简单，并为后续表演方案设计提供了便利。该控制系统先后在重庆 重庆大学硕士学位论文 2 音乐灯光表演方案辅助设计专家系统总体设计 6 “朝天扬帆”大型音乐灯光表演、观音桥商圈灯光秀、陕西凤县“水韵江南，七彩凤县”动 感水景音乐灯光表演、“西乡情怀”音乐灯光表演等夜景工程得到了很好的应用和推广， 该系统也越来越完善。 分布式智能灯光控制系统成功解决了音乐灯光表演的控制问题。 在这些项目的实施 过程中， 发现原音乐灯光表演方案设计模式存在设计费用高、 调试周期长、 匹配精度低、 灯光动作变化不丰富等问题和不足， 因此课题组提出了音乐灯光表演方案计算机自动设 计的构想。希望计算机能自动识别出音乐的主要特征要素，然后根据音乐的情感特征自 动进行灯光动作的匹配，设计出体现音乐情感内涵的音乐灯光表演方案。 2.2 音乐灯光表演方案设计系统需求分析 国内外音乐灯光表演正处于发展探索阶段，音乐灯光表演方案的设计更是一个难 点。 目前其设计仍采用传统的舞台灯光设计模式： 首先由导演明确整个表演方案的基调， 然后音乐人员人工对音乐进行基本特征提取和编辑处理， 接着由灯光师根据音乐特征和 表演基调设计出灯光效果图，并用灯控台调试出相应的灯光动作方案16。显然这种设计 模式难以满足现代大型表演场合的要求。概括起来，这种传统的设计模式应用与音乐灯 光表演方案设计时存在如下缺点和不足： 对设计人员和操作人员素质要求高。灯控台操作复杂，而且需要音乐、艺术和 灯光多方面的知识，不能实现人性化、可视化人机交互的傻瓜式设计。 控制规模有限，难于扩展。单个灯控台最大控灯数量有限，限制了单台控制规 模。如果灯具数量太多，则需要使用多个灯控台，引发多区域的密切配合，将进一步增 加表演方案设计的难度。 设计效果得不到保证。由于是人为根据音乐效果来确定灯光动作，设计人员水 平良莠不齐，音乐时间取点、灯光动作设计等都存在随意性，不能充分发挥灯光表演的 效果。 设计效率低。需要导演、音乐师、灯光师、控制工程师等的密切配合。从表演 方案的设计到实际效果的出炉需要许多次的修改调试，设计费用高、难度大、调试周期 长。 让计算机理解音乐， 并能根据音乐特征和情感自动设计灯光表演方案曾经是一个美 好的愿景。随着控制理论和计算机技术的发展，这个梦想也将不再遥远。专家系统将各 领域的专家知识转化为计算机能识别和处理的数据，让计算机拥有了一定的专家智能。 灯光艺术的发展也需要一种智能化设计的来推动， 因此本文将设计一个音乐灯光表演方 案辅助设计专家系统。该系统能够识别出音乐的特征和情感，并根据音乐的特征自动设 重庆大学硕士学位论文 2 音乐灯光表演方案辅助设计专家系统总体设计 7 计出与音乐情感相对应的灯光表演方案。 音乐灯光表演的观赏性质决定了需要对表演效 果不懈追求，而实现灯光表演方案计算机自动设计的关键在于解决好以下三方面的内 容： 准确识别相关音乐特征。根据音乐灯光表演的特点，需要进行乐句划分，并提 取或识别出音乐的调性、速度、节拍、旋律、音区、音色、力度和情感等主要特征要素。 研究高效的灯光动作设计模式。 灯光动作是音乐灯光表演方案的基本组成单位， 研究符合音乐灯光表演方案设计需要的灯光动作设计模式和灯光动作的结构形式是实 现方案自动设计的关键。 音乐-灯光动作的匹配策略。在音乐灯光表演方案辅助设计专家系统中，需要通 过规则的配合使用以实现音乐特征与灯光动作之间的多层次匹配， 完成表演方案的自动 生成。 另外作为一个智能化的灯光设计平台， 操作简单、 设计效率高、 方案编辑维护方便、 调试周期短等也是其必备的特点。 2.3 音乐灯光表演方案设计系统总体解决方案 课题组在重庆“朝天扬帆”、陕西“水韵江南，七彩凤县”等音乐灯光表演项目调试过 程中积累了大量的宝贵经验，为实现音乐灯光表演方案自动设计奠定了坚实的基础。对 音乐灯光表演方案设计流程进行了深入的研究和充分的可行性论证之后， 提出了基于音 乐特征的音乐灯光表演方案设计解决方案。系统原理如图 2.2 所示，本系统主要由音乐 特征提取及情感识别、灯光情感分析及动作设计和音乐-灯光动作专家匹配三部分组成。 音乐特征提取及情感识别：首先提取出音乐的基本特征，构建音乐特征空间， 然后进行主音轨定位以及乐句划分，最后对各乐句进行音乐情感识别，得到音乐的情感 特征。 灯光情感分析及动作设计：结合灯具及布局信息，通过对灯光动作的颜色、造 型及动作变换进行情感分析，进行音乐灯光表演的灯光动作设计。 音乐-灯光动作专家匹配：这一部分主要是实现将音乐与灯光动作场景的多层次 专家匹配。这种匹配是指根据音乐情感特征为各个 midi 音乐乐句找到合适的灯光动作 序列。 重庆大学硕士学位论文 2 音乐灯光表演方案辅助设计专家系统总体设计 8 midi 音乐文件 音乐灯光动 作专家匹配 音乐情感识别 灯光情感分析 灯具及布局 信息 表演方案 数据库 音乐特征 数据库 灯光动作 数据库 音乐特征提取 灯光动作设计 图 2.2 音乐灯光表演方案设计原理图 fig. 2.2 principle chart of light-show project design 即在灯光表演方案设计过程中，首先进行音乐和灯光动作的情感特征识别和分析， 然后根据两者的情感特征，进行音乐特征与灯光动作的多层次专家匹配，最终得到相应 的音乐灯光表演方案。 2.4 本章小结 本章首先以重庆“朝天扬帆”音乐灯光表演工程为背景，介绍了本课题的基础平台 重庆大学灯光控制团队开发的分布式灯光控制系统； 然后总结了传统灯光设计模式在音 乐灯光表演方案设计中存在的不足，并探讨了音乐灯光表演方案设计的专业需求；最后 针对本课题的研究目标提出了基于音乐情感驱动的音乐灯光表演方案辅助设计专家系 统的总体解决方案。 重庆大学硕士学位论文 3 基于音乐灯光表演方案设计的音乐情感识别技术 9 3 基于音乐灯光表演方案设计的音乐情感识别技术 音乐基本特征及情感的准确提取和识别是实现音乐灯光表演方案计算机自动设计 的关键。根据灯光表演方案设计对音乐素材的要求，需要识别音乐的调性、速度、节拍、 旋律、音区、音色、力度和情感等特征要素。本文采用如图 3.1 所示流程进行音乐特征 提取和情感识别。即首先从 midi 音乐文件中提取出音乐基本特征数据、然后进行主音 轨定位、乐句划分和音乐情感识别，最后将处理后的音乐特征数据按要求的格式保存到 数据库。 其中主音轨定位、 乐句划分和情感识别是本课题的难点， 也是本章讨论的重点。 基 本 特 征 提 取 乐 句 划 分 音 乐 情 感 识 别 midi 音 乐 文 件 音乐 特征 数据 库 主 音 轨 定 位 图 3.1 音乐情感识别流程图 fig. 3.1 flow chart of music emotion recognition 3.1 音乐基本特征提取 3.1.1 音乐文件格式的选择 随着电脑音乐的发展，出现了各种各样的音乐格式，而选择一种合适的音乐文件格 式将大大降低音乐特征的提取难度。常用音乐文件格式主要包含 midi 文件、音频文件 和模块文件三类17。如表 3.1 所示，对三种音乐文件格式的特点进行了对比分析。 音频文件直接记录了真实声音模拟波形的二进制采样数据，是声音的真实反映，但 也占用了很大的存储空间。若要提取其音乐特征数据，则需要通过时域、频域、同态、 线形预测编码等较为复杂的处理，才能获得音符的音高、音长、音强等声学特征，故可 操作性差。 模块文件中既保存了演奏乐器的指令，又保存了声音信号的采样数据，因此文件也 较大。另外模块文件根据具体的编码方法有很多种不同的格式，要提取其特征参数必须 针对不同的编码格式作相应的处理，因此增加了提取算法的复杂度，普适性差。 重庆大学硕士学位论文 3 基于音乐灯光表演方案设计的音乐情感识别技术 10 表 3.1 音乐文件格式比较 table 3.1 music format compare 比较项 midi 文件 音频文件 模块文件 常用格式 .mid .wav/.mp3/.rm/.wma .mod/.s3m/.xm/.mtm 文件大小 小 大 大 回放质量 与设备相关 与设备无关 与设备无关 记录内容 音乐演奏指令序列 真实声音 真实声音 可编辑性 好 差 一般 文件通用性 好 好 好 midi 文件是音乐信号在电子乐器之间传输的标准，包括硬件接口标准和音乐信号 在不同硬件之间的异步串行传输协议，具有很强的通用性18。midi 格式的音乐文件记 录了音乐的全部乐谱和演奏的全过程，因此文件很小。它本质上是一种音乐描述语言， 是一种基于特征描述的音乐格式。midi 格式的这个特点在分析音乐时体现出很强的优 势，很多基本特征可以直接从文件中提取得到，简单方便，具有很好的可操作性。 本文所研究的灯光表演方案设计需要对音乐数据进行详细分析， 尽可能多的提取出 相关特征，可见处理起来简单方便的音乐格式将有利本课题的研究。根据以上分析，音 频文件和模块文件存在处理复杂、可操作性差的问题，而 midi 格式具有可操作性强、 通用性好等特点，因此本文选择 midi 格式作为音乐识别对象。 3.1.2 midi 音乐格式解析 由前文所述，midi 格式在本文所研究的音乐灯光表演方案设计应用中体现出很强 的优势，所以选取 midi 格式作为本课题的研究对象。在进行音乐特征数据提取之前， 有必要对 midi 格式作一个简单的介绍。 midi文件基本结果如图3.2所示， 一个标准midi文件由头块和音轨块两部分构成， 一般包括一个文件头块和多个音轨块19-20。头块描述了一首音乐的整体信息，而音轨块 则包含一系列由 midi 消息构成的 midi 数据流，记录了各音轨的演奏数据。 重庆大学硕士学位论文 3 基于音乐灯光表演方案设计的音乐情感识别技术 11 图 3.2 midi音乐文件的基本结构 fig. 3.2 frame diagram of midi 头块 头块出现在 midi 文件最前面，由 14 个字节组成，即 4d 54 68 64 00 00 00 06 ff ff tt tt dd dd。具体含义如下： 标识符串(4 字节)：4d 54 68 64，等同于 ascii 码“mthd”； 头块数据长度(4 字节)：00 00 00 06，表示头块信息的大小为 6 字节； 头块数据区（6 字节） ：ff ff tt tt dd dd，其含义如表 3.2 中所示： 表 3.2 头块数据区 table 3.2 data section of header chunk 字节 代码 描述 表示文件的格式,一共有三种格式 00 00：文件只含一个音轨 00 01：文件含多个同步音轨 开始 2 个字节 ff ff 00 10：文件含有多个独立的音轨 中间 2 个字节 tt tt 表示文件中的音轨块的数量 末尾 2 个字节 dd dd 表示每个 4 分音符 delta-time 节奏数 音轨块 头块之后是音轨块，一般每种乐器分配一个音轨块。每个音轨块包含一个标识字符 一个文件头块 多个音轨块 块标识 块长度 格式信息 音轨头 midi事件 块标识 块长度 通道信息 系统信息 通道模式信息 通道声音信息 系统一般信息 系统实时信息 系统专用信息 重庆大学硕士学位论文 3 基于音乐灯光表演方案设计的音乐情感识别技术 12 串和多个 midi 事件，按如下方式组成：4d 54 72 6b xx xx xx xx dd 。 标识字符串(4 字节)：4d 54 72 6b，等同于 ascii 码“mtrk”。 音轨块数据区长度(4 字节)：xx xx xx xx，单位为字节。 音轨块数据区：dd ,由多个 midi 事件构成。 midi 事件 每个 midi 事件的形式为：midi 事件=delta time + midi 消息。 delta time 代表处理 midi 事件之前要计数的时间值， 采用可变长度 （最多不超过 4 字节）的形式存储数据。数值被转换为 7 位的字节，并且除了最后一个字节以最高有效 位是 0 外，各个字节最高有效位都是 1。 一个 midi 消息是由一个状态字节及多个数据字节构成， 其中状态字节的最高位(第 7 位)永远为 1， 因此它的值介于 128 至 255 之间； 而数据字节的最高位(第 7 位)永远为 0， 因此它的值介于 0 至 127 之间。 midi 消息根据性质可分成通道消息和系统消息两大类。 由于本文不涉及到使用系统消息，所以在这里仅对通道消息进行介绍。 通道消息只对某一 midi 通道起作用，利用状态字节的低 4 位来表示通道号，即从 0 到 15 共有 16 个通道。而通道消息又分为声音消息和模式消息两种。 表 3.3 主要midi声音消息 table 3.3 means of main midi sound messages 模式消息 功能描述 数字字节描述 第一字节：音符号 80-8f 音符关闭 第二字节：音速 第一字节：音符号 90-9f 音符开启 第二字节：音速 第一字节：音符号 a0-af 音键压力 第二字节：键压力 第一字节：控制器号（0-121） b0-bf 控制变化 第二字节：控制值 c0-cf 改变乐器 第一字节：乐器编号 d0-df 通道触动压力 第一字节：压力 第一字节：弯音轮变换值的低字节 e0-ef 弯音轮变换 第二字节：弯音轮变换值的高字节 重庆大学硕士学位论文 3 基于音乐灯光表演方案设计的音乐情感识别技术 13 声音消息用于控制合成器的声音产生,如表 3.3 所示。 模式消息用于为各通道分配声 音关系，在这里也不详细介绍。 3.1.3 midi 音乐基本特征要素提取 midi 音乐基本特征要素主要包括：速度、调式、节拍、音色、音量和音符（音高、 音强、时值）。这些基本要素的准确提取是进行后续进行主音轨定位、乐句划分和情感 识别的前提条件。 在 3.1.2 节中对 midi 音乐格式进行了解析，前 5 个基本特征要素都能直接从 midi 文件中获取，在此不再详述。而音符作为音乐的基本组成单位，数量庞大，midi 格式 存在较大的灵活性。根据 midi 协议，音符打开 midi 事件以 9x 为开始标志，以后可以 省略；音符关闭 midi 事件以 8x 为标志，同样也可以省略。另外并不是每个音符关闭 后才打开下一个音符，而且存在大量的交叉及包含关系，如表 3.4 所示，表中 nno 表示 音符 nn 打开，nnc 表示音符 nn 关闭。上面所述的各种情况的融合更是使音符识别增 加了难度，由此可见，要准确提取音符是一项关键而复杂的任务。 表 3.4 midi文件中音符表示模式 table 3.4 note expression style of midi 描述 示例 模式 1 音符顺序打开关闭 n1o, n1c, n2o, n2c nno, nnc 模式 2 音符交叉打开关闭 n1o, n2o, n1c, n2c nnc 模式 3 音符中包含其他音符 n1o, n2o, n2c, n1c nnc 模式 4 前 3 个模式的组合 n1o, n2o, n2c, nxo, n1c nno, nxc, nnc 由乐理可知，音符包含音高、音强和时值三个属性，因此本文定义一个三元组来表 示音符： iiii durationintensitypichnote,= （3.1） iii durationintensitypitch, 分别表示音符 i note 的音高、音强和时值。在音符的三个 属性中，时值的提取是难点，它一般为多个 midi 事件的 delta time 累计得到，由于音 符打开关闭的交错包含关系，增加了时值的提取难度。 针对 midi 音乐的这些特点，本文探索出了一种简洁有效的音符的识别方法。首先 采用顺序向后搜索音符打开的信息，然后找到其对应得关闭信息，并将该关闭信息的位 置保存起来，用于下一次进行比较分析。再找到该音符开关之间的音符开关信息和延迟 时间，通过比较音符信息及其位置来对延迟时间进行累加处理，以获取音符打开时间点 重庆大学硕士学位论文 3 基于音乐灯光表演方案设计的音乐情感识别技术 14 和时值。测试结果表明这种方式能够准确提取音符信息。 3.2 基于支持向量机的主旋律音轨定位算法 音乐一般由一个主旋律和多个伴奏组成，主旋律反映了音乐的主要特征，而伴奏则 作为主旋律的辅助和修饰。在灯光表演中，也存在表演区域的主次关系。将主要表演区 域的灯光与音乐的主旋律配合起来就可在一定程度上保证表演效果。 由此可见音乐主旋 律音轨定位是本系统设计中极为关键的一步。 在 midi 音乐中，同样也是包含一个主旋律音轨和多个伴奏音轨。但由于 midi 格 式中并没有规定音轨和通道的使用规则，所以哪个音轨作为主旋律音轨完全是由 midi 音乐的创作者来决定的，没有固定的规律可循。根据查阅的文献资料21-23，目前主旋律 音轨提取方法可以归结为以下两类： 人工标注法：在具体应用和研究中，人们通常会采用人工标注的方式。有些工 具可以帮助人们标注出一个 midi 文件的主旋律音轨，如 cakewalk，proaudi 等软件。 规则提取法：根据经验和主旋律音轨的特点对主旋律音轨进行定位，或者由易 而难剔除不可能音轨的方法。 显然人工标注方式在本系统中不适用。彭琼对主旋律音轨的音程特征进行了分析， 采用音程特征进行音乐主音轨的提取，为音乐主音轨的提取开启了一种不错的思路21。 但在实际应用中，由于音乐风格迥异、作曲习惯等差异，效果也并不太理想。因此，除 了尽可能利用这些经验外，还需要研究新的主旋律音轨自动判定方法。 音乐主旋律音轨定位的实质就是一个两分类判别问题， 即将音乐主旋律音轨和伴奏 音轨进行分类。解决该类问题的主要任务就是设计一个合适的分类器。分类器的常用设 计方法包含基于规则的方法、最小距离法、基于统计模型的方法（高斯混合模型 gmm、 隐马尔可夫模型 hmm、人工神经网络 ann 和支持向量机 svm） 。在这众多的方法中， svm 体现出其独特的优势27-29。 svm 的主要思想是针对两类分类问题，在高维空间中寻找一个最优超平面作为两 类的分割，以保证最小的分类错误率。svm 结构简单，具有全局最优性和较好的泛化 能力，在两分类问题中得到了很好的应用，因此本系统将运用 svm 进行主旋律音轨定 位。 3.2.1 音轨特征量的选择与提取 根据音乐乐理及实例数据分析， 主旋律音轨和伴奏音轨主要区别体现在音程、 音量、 音高、力度和左右声道平衡度等几个方面24-26，因此本文将这几个特征参数作为主辅音 轨的判断依据，下面将详细讨论 midi 音乐中各音轨特征量的提取和归一化方法。 重庆大学硕士学位论文 3 基于音乐灯光表演方案设计的音乐情感识别技术 15 音程参数 音程（interval）指两音之间的距离。计算音程的单位为度，两个音之间包括几个 音节就称几度。度数相同的音程又因为其所含半音和全音的数目不同而有纯、大、小、 增、减等区别。 彭琼等对音乐音高进行分析统计发现主旋律音轨的音程主要都集中在 06 度之间 21，这点是符合声乐原理的。在音乐的主旋律音轨中，纯一度、小二度、大二度、小三 度、大三度的音程所占比例很高，但八度以上的音程却很少出现，因为大跨度音程的频 繁出现会让人感到突兀，将影响音乐的流畅性。而音乐的伴奏音轨起着陪衬作用，营造 一种空间立体感，多以各种形式的和声出现，因此音程跨度较大。由此可见音程是主旋 律音轨的重要特征，但是仅将音程作为主旋律音轨的判据是不充分的，笔者通过相关实 验发现这种方法的准确度仅对一部分音乐有效。参照文献21的方法，首先对音乐音高进 行处理，以获取所需的音程统计数据，其过程如图 3.3 所示。 prepitchnextpitch pitches absolute value interval statisticarray interval count 6467667169646771 3152534 0112120 01234525 . . . 图 3.3