引言
ITU-TFGIPTV已于2007年底结束。其中WG6组的内容比较多,包括中间件、编解码、多媒体应用平台等内容;随后,ITU-TSG16组新设立了一个“Question(问题):IPTV多媒体应用平台和终端系统”,研究组准备在下一次SG16组会议上给出一个正式的推荐文档。目前国际上已有的多媒体应用平台标准多种多样,基本上分为定义性多媒体应用平台标准和程序性多媒体应用平台标准,功能各不相同。本文简单介绍了这两类平台包括哪些具体的标准,并对中国发展多媒体应用平台提出了自己的看法。
定义性应用平台
定义性应用平台是一个框架,在这个框架上用标记语言(如HTML),有或者没有脚本语言(如ECMAScript)编写的应用都可以运行。下面介绍一些定义性应用平台。
1、场景的二进制格式(BIFS)
BIFS[ISO/IEC14496-11]是一个由ISO标准化的场景描述语言,作为MPEG-4的一部分,被用于有效地表现动态和交互式的应用,包括二维/三维图形、图像、文本和音视频部分。这种表现包括对不同的场景元素进行时间和空间、用户交互和活动的描述。
2、广播标记语言(BML)
BML[ARIBSTD-B24][ITU-TJ.201]是一种描述多媒体广播的应用规范,由日本广播工商业协会标准化。BML由XHTML、CSS、DOM和ECMAScript组成。BML已经做了修订以包括一些额外的功能,比如对接收端增加了数字存储,对陆地数字广播增加了移动接收。陆地集成业务数字广播(ISDB-T)多媒体编码规范是第一个基于多媒体和超媒体信息编码专家组(MHEG)的规范。而且自1999年3月以来,ARIB协会就开始了基于MHEG多媒体编码机制的XML规范的制定。这有利于XML应用语言的开发,能够将基于BML浏览器的XML文件进行展示。ARIB数据广播系统标准在1999年10月颁布。像MHEG一样,BML应用可以将多个媒体格式、结构化的要素、事件-动作关系、导航、用户交互功能进行同步和空时关联。BML用ECMAScript为广播定义了附加的API和对象等。
3、消费电子协会(CEA)
CEA-2014是一个远程用户界面规范,它允许用户界面展示在远端的设备上。它基于现有的Web呈现技术,用W3C标记、XHTML1、ECMA-262、CSSTV框架和DOM2技术呈现在电子消费者的浏览器上。
CEA-2014定义的机制允许一个用户界面在远程展示,并且被设备或控制点而不是被主机的逻辑所控制。基本的设备操作是基于通用的即插即用设备架构1.0版本(为家庭即插即用网络和即插即用设备所制定)。标准也允许由第三方因特网服务为家庭提供在即插即用设备上的远程展示,覆盖了TV、移动电话和移动设备的用户界面。CEA-2014的主要内容是CE-HTML框架,它使用XHTML内容去定义用户的界面,可以用不同的分辨率和尺寸呈现在屏幕上,包括高清屏幕和移动电话屏幕。
4、层叠式样式表(CSS)
层叠式样式表是一个样式表单语言,由W3C制定,用于描述由标记语言编写的文档的呈现(包括字体,颜色和间距)。CSS是一个人性化的可读、可写和表达的公共桌面出版术语。自1995年10月以一直就在使用。一个CSS既可以通过一个通用资源定位符连接到一个文档,或者包含在文档中。CSS1、CSS2的超集包括许多新的能力,比如元素绝对的、相对的和固定的位置,媒介的概念,支持听觉样式和双向文本,以及阴影等新字体属性。CSSTV框架定义了一个CSS2子集,比如经过裁剪的适合电视设备的颜色规范等。
5、文档对象模型(DOM)
DOM2.0[DOM2]定义了一个2级核心文档对象模型,它是一个与平台和语言无关的界面,允许程序和脚本动态的读取和更新内容和文档结构。2级核心文档对象模型基于文档对象模型1级。2级核心文档对象模型是由一套核心接口组成,以便生成和操控文档的结构和内容。这个核心也包含了专用于XML的特定接口等。
6、数字视频广播超文本标记语言(DVB-HTML)
数字视频广播-超文本标记语言[ITU-TJ.201]是一个允许数字电视读取互联网内容的标准。它是更广的DVBMHP1.1标准的一个可选部分。这个规范是一个基于XHTML1.1的模块化的版本,也包括CSS2.0、DOM2.0和ECMAScript。其中,MHP1.1指定了因特网接入框架,要求应用能够控制互联网本地客户端(Web浏览器、e-mail和新闻客户端)的基本操作。
7欧洲计算机制造商协会脚本(ECMAScript)
ECMAScript是一个脚本编程语言,由欧洲计算机制造商协会标准化,是一个国际化[ECMA-262]规范。这个语言被应用于Web,经过两个主要的应用后被称为JavaScript或者Jscript。
ECMAScript被许多应用支持;它也被包含在诸如BML和DVB-HTML中,作为许多表现引擎的一部分。一些应用可能有一套完全不同的库,使得以一种ECMAScript写成的应用不一定适用于另一种情况。ECMAScript是一个面向对象的编程语言,用于在一个主机环境中计算和控制可计算的对象。它起初被设计为一个Web脚本语言,在基于Web的客户/服务器架构中提供一种机制,使得基于浏览器的Web页面生动活泼,并实现服务器端的计算。Web浏览器为客户端的计算提供一个ECMAScript主机环境,包括呈现窗户、按钮、对话框、文本区域、画面、历史等,以及输入/输出这些对象。而且,主机环境提供一种方式将脚本代码与事件绑定,比如焦点的变化,页面和图片的装载、上传、选择,表单提交和鼠标动作等。
8、轻量级应用场景表示(LASeR)和简单聚合格式(SAF)
MPEG-4Part20[ISO/IEC14496-20]是一个规范,用来表示和递送富媒体业务到诸如移动电话这些资源受限的设备上。它定义了两个二进制格式:一个是LASeR,它是一种二维场景的二进制格式,包括矢量图形和对场景的定时修改;另一个是SAF,用于在一个包含音视频内容的LASeR流中用于聚合的二进制格式。
9、多媒体和超媒体编码专家组(MHEG-5)
MHEG-5[ITU-TT.170][ITU-TT.172][ITU-TT.175][ISO/IEC13522-5][ETSIES202184]代表一种应用,作为一套场景,包含了对所有场景都通用的对象。一个多媒体应用可以被看作是一套独立的基于同步和空时关系的对象,具有多个媒体格式、结构化的要素、事件-行为关联、导航以及用户交互的能力。能够控制与时间相关的内容的回放,如多个音视频数据流一样,这些流需要视频录像机的控制功能(如播放、暂停、快进等)以及在播放时的事件管理能力。MHEG-5的总目标是定义一套对象级的语义和语法,能够在具有最小资源的平台之间实现多媒体应用的交互
10、嵌套的关联语言(NCL)
NCL[ABNTNBR15606-2]是为制作超媒体文档定义的语言。它基于XML,关注媒体对象的结构化,并且与时空关联。作为一个\"粘\"语言,NCL没有限定或描述媒体对象内容的类型,而且它能包括基于XHTML的媒体对象,就像定义在其它公共DTV标准中那样。一个NCL文档通过一个合成的节点来表达,这个节点可以包含一套媒体节点或其它递归的要素节点。
11、可伸缩的矢量图形(SVG)
SVG[SVG1.1]是一个在XML中用于描述二维图形和图形应用的语言。SVG考虑了三类图形对象:矢量图形、图片和文本。图形对象可以通过分组、样式化、转换或者合成为以前呈现的对象。其特征集包括嵌套转换、剪贴路径、字符掩饰、滤波效应和模板对象。
程序性应用平台
程序性应用平台是一个框架,在这个框架中用API(基于程序语言,如Java)编写的应用能够运行。包括以下几个平台:
1、基于GEM的应用平台
全球执行的MHP(GEM)[ETSITS102819]指定了OCAP、MHP等的核心。对于广播,MHP和OCAP标准在交互式电视方面是重叠的。对于交互式内容和应用来说,它是一个基于Java平台的正式标准。GEM由DVB来制定,并且被ETSI、ITU、CableLabs、ARIB、ACAP、Ginga和蓝光光盘协会采纳。
2、多媒体家庭平台(MHP)
MHP[ETSITS102812]是由DVB项目组为多媒体广播开发的一套规范。MHP包括两类功能。版本1.0系列包括执行引擎环境,并且在执行引擎环境中使用了Java技术。版本1.1系列除了包括1.0版本的内容外,还包括表现引擎。1.1版本的表现引擎不是单独的,它要求有执行引擎环境的存在。DVBMHP1.0系列在2000年5月第一次发布。
3、先进的通用应用平台(ACAP)
ACAP[ITU-TJ.201]是基于ACAPAPIs、内容格式和语义保证的标准规范。ACAP应用分为两类,这种分类基于对应用内容的初始处理是程序性的还是定义性的,分别被称为程序性应用(ACAP-J)和定义性应用(ACAP-X)。ACAP-J应用的一个例子是JavaTVTMXlet,是由编辑性的JavaTM字节代码再结合其它多媒体内容,比如图形、视频和音频来完成的。ACAP-X应用的例子是多媒体文档,由XHTML标记、样式规则、脚本、嵌入式图片、视频和音频组成。
应用环境根据它们的过程是程序性的还是定义性的也分为两类,分别被称为ACAP-J和ACAP-X环境。ACAP-J环境的一个例子是Java虚拟机以及它的相关API的实施;ACAP-X环境的一个例子是XHTML多媒体文档浏览器,也称为用户代理。
ACAP标准的灵活性和架构适于广播系统和陆地空中接收机广播和有线电视系统。ACAP主要基于GEM和DASE,包括来自OCAP的附加功能。
4、开放的电缆应用平台(OCAP)
OCAP[ANSI/SCTE90-1]是为数字CATV制定的交互式多媒体业务系列规范,它是由OpenCable项目部开发的。OCAP1.0基于MHP1.0.2,并且包括了为美国有线电视系统所做的扩展。
5、Ginga巴西人选择的中间件称为Ginga,它是巴西为陆地数字电视制定的正式标准,其核心采用了GEM3。
其他相关标准
MPEG多媒体中间件(MPEGM3W)。M3W[ISO/IEC23004]MultimediaMiddleware即除了有架构&元素模型描述和参考软件外,还提供了两套APIs,即多媒体平台APIs、功能APIs以及支持平台APIs和非功能APIs。
思考和看法
随着宽带网络技术的不断成熟和发展,宽带网络上的业务应用呈现多样化和多媒体化的发展趋势。各种标准化组织都将多媒体应用作为研究和开发方向,同时,将自己的多媒体平台标准推向国际标准化组织,形成了众多的多媒体应用平台标准。特别是程序性的多媒体应用平台,比如GEM和MHP经过不断的修订和完善,已经被很多的公司采用,基于这些标准的机顶盒产品至少有两千万台以上。
在2006年成立的ITU-TFGIPTV会议上,笔者提出了业务平台中间件的体系架构及其API的分类和定义,这些内容大部分被接受。在第六次会议上,WG6组主席(日本NTT公司的专职标准人)曾经向笔者询问,“中国是否有类似的多媒体应用平台标准?”其言外之意,既然中国在会议上积极主动地提出体系架构定义和功能描述(包括终端和业务平台),以及API的分类和定义,也应该有一套多媒体应用平台的标准规范,而这个问题需要得到国家有关部门的帮助才能回答。
笔者尚不了解中国的多媒体应用平台开发进程,但不管怎样,国外的多媒体应用平台及其中间件产品已渐成气候,它们的做法和取得的成果值得我们思考和借鉴。如日本的运营商和设备制造商,均派出全职的标准跟踪和制定人员,参与国际上所有标准化组织和协会的工作。在参与的过程中,这些人员将学到的最先进的思想和方法带回国内,经过消化吸收后将自己的研究成果推向国际,形成了一批国际标准。研究日本在影像设备和技术方面的成功,就可以发现它们对标准的高度重视。
目前国内的有关标准化组织和协会还没有良好的合作关系。在标准的制定方面各自为阵,不愿意设立专门的从事和跟踪国际标准的技术人员,缺少与国际的有效交流和沟通,缺乏应有的人力和财力,最重要的是缺乏有效、系统的管理--这种条块分割的管理方式是不会做大做强一个产业的机顶盒都是为数字电视而开发的;后来电信运营商需要开展基于电信网络的IPTV,厂商们才对这些机顶盒进行技术改造,如改变机顶盒的接入认证方式等。随着国内网络融合的进行,未来的机顶盒应不仅要适用于数字电视,还应适用于各种网络,具有开放的体系架构和可扩展性,能够提供丰富多彩的多媒体业务应用的机顶盒。
因此,建议相关的标准化组织和协会能够取长补短,共同在机顶盒的体系架构设计、标准规范的制定以及产业化方面进行广泛合作;同时,国家应该鼓励有实力的企业投入更多的人力和财力,培育专门的标准技术人员,制定中国的基于融合网络的下一代多媒体应用平台标准。目前,留给中国的标准化组织和制造商的机会和空间还是很大的,关键是我们有没有这样的需求,有没有一支队伍来完成这样的工作。