《期货交易数据交换协议》介绍 | |||||||||
---|---|---|---|---|---|---|---|---|---|
http://finance.sina.com.cn 2005年06月20日 11:02 上海证券报 | |||||||||
促进期货市场健康发展,提高市场运行质量,必须坚持和落实科学发展观,在加强市场基础性建设的同时,大力推进技术创新和技术进步。从2002年5月开始,中国证监会信息中心联合上海期货交易所、大连商品交易所和郑州商品交易所成立了"期货交易数据交换协议标准化工作小组",专门研究和解决远程交易中数据交换问题,并且将研究结果固化成标准化的协议向期货市场和社会公布、共享。
《期货交易数据交换协议》(Futures Trading Data Exchange Protocol,简称FTD)作为交易所与经纪公司之间交易信息交换的基础协议,其研制目的是为了在远程交易中向会员和投资者提供更好的服务,以确保远程交易安全、可靠和稳定运行,提高生产效率,同时提升期货业技术系统和计算机应用的水平。 FTD已经正式发布,国内三家期货交易所均承诺于2006年在其新交易系统中提供FTD接入接口。随着FTD的逐步推广使用,期货市场远程交易又获得了一个安全、可靠和稳定的运行保障。更为可喜的是,国内期货市场的标准化水平和技术系统的使用水平迎来了整体的提升。
一、交易与通信期货交易所的功能简单而言是为期货交易的双方提供交易场所,通过公开竞价等方法确定成交价格,并且将价格信息发布给社会。只有交易所的会员才能直接参与交易所交易,一般而言会员是期货经纪公司,投资者须通过各自的期货经纪公司为代理进行买卖。因此,投资者与交易所会员、会员与交易所之间的通信成为期货交易的重点环节,通信内容主要包括: *买卖指令的传送:投资者的买卖指令首先发送到会员,会员确认后发送给交易所,交易所进行合法性检查并再次确认。交易所的确认结果(Order Confirmation)通过会员返回给下达指令的投资者。 *成交的确认:交易所将所有的买卖指令形成中央报单库(Central Orderbook),一般按照"价格优先、时间优先"("Price Time Priority")撮合成交,撮合结果(Order Execution & Trade Confirmation)通过会员返回给买卖双方投资者。 *市场信息(Market Data Dissemination)的发布:交易所将中央报单库中买卖双方的价格意向和成交价格等市场信息(又称为行情信息)向社会发布,一般包括最好的买卖价格和数量、最新成交价和成交量、期货合约持仓数量等。 上述通信既可使用人工方式来完成,也可由计算机和网络通讯自动实现。事实上,1965年之前,包括交易所撮合在内的所有交易行为均以人工方式实现。但技术创新,特别是通讯技术的发展始终推动着包括期货市场在内的资本市场的发展。19世纪的美国曾经有200多家证券交易所,电报这一新式通讯工具的出现,导致美国国内交易所过剩,绝大多数的交易所在竞争中消失,形成了目前的NYSE、NASDAQ、费城、芝加哥等六家流动性较好的交易所;电话的发明更加缩短了投资者、会员和交易所之间的通讯时间,指令和信息的传递也更加便利。 1.公开喊价交易方式 无论是证券和期货,一百多年来宏伟的交易大厅一直是交易所的标志。穿着不同颜色的交易商,在交易大厅的八角型交易池(Pit)内根据所代理投资者的指令打手势买卖成交,交易所将成交和最好的买卖报价通过显示屏和电子系统向社会发布。上述交易方式被成为公开喊价(Open Outcry)方式。公开喊价交易的根基在于交易大厅,核心在于交流和通信。传统的交易需要交易商之间进行目光、语言和手势的交易,因此在当时的技术条件下,必然被安置在一个固定场所------交易大厅中。为防止过于拥挤导致秩序的混乱,出于管理的原因要求会员购买席位从而拥有交易权限甚至是控制权限。 公开喊价交易方式依赖于固定的交易大厅和交易过程中人员(包括会员和交易所的工作人员)参与。大厅总是有物理空间上的限制的,无论交易大厅有多大面积,其所能容纳的参与交易的人数和会员总是有限的。交易过程中的手工操作意味着显著的时间延迟和人为错误。 2.电子化交易方式 随着通讯技术和计算机技术的发展,在亚洲、欧洲一些主要的交易所逐步使用电子化交易系统。以欧洲为例,从20世纪90年代开始,主要形成了以三大系统为主,其他一些小系统为辅的局面,分别是欧洲期货交易所EUREX的EUREX系统;泛欧期货交易所(Euronext)和LIFFE CONNECT系统;瑞典OM技术公司的CLICK交易平台。而在北美洲,由于传统和会员的抵制,电子化成果主要集中在投资者指令与交易所之间的传递(Order Routing)以及市场信息发布方面,而撮合的主体主要使用公开喊价方式完成。即使如此,大部分的交易所仍然宣称自己的系统为电子化交易系统。 与公开喊价"交易系统"相比较,电子化交易系统主要消除了交易过程对交易大厅和手工配对的依赖。除了交易中不能实现面对面的目光和言语交流外,电子化交易系统几乎能完成交易大厅里的所有功能,而且其成本更低、效率更高、响应速度更快、容量更大。
二、国内现状1.我国电子化交易和远程交易现状 我国期货市场从一开始就推行电子化交易,曾一度处于国际领先地位。由于竞争和业务发展的需要,我国期货市场充分利用后发优势,在1995年左右开始建设远程交易网络,大力发展远程交易。最为初始的模式为在异地城市设置远程交易大厅,通过租用卫星和地面专线接入到交易主机完成撮合。之后又将接入点设置在会员场所,会员在其办公室内就能够使用计算机实现报单功能,接收成交回报和交易行情。目前各期货交易所的远程交易发展迅速,经纪会员基本均开通了远程交易,以上海期货交易所为例,远程交易的成交量在2004年达到90%以上。远程交易和其接入网络已经成为交易所的生命线。 由于资金投入、业务研发和技术储备等种种原因,目前国内期货交易系统在标准化建设工作方面已经明显落后于世界先进水平。电子化交易系统是由交易所和会员的前、后台系统、远程交易接入网络和网上交易平台构成的一个巨大的计算机网络和分布式系统,通讯是各个系统之间的核心,系统必须使用同一语言才能够相互通信。受到业务、技术和当时认知条件的限制,电子化交易系统建设中缺乏统一的信息规范和标准,交易所、会员、系统建设商和软件开发商之间各自为政,导致不同系统之间难以进行数据通讯,产生了信息重复录入和不一致的现象。系统之间信息交换标准不兼容直接导致信息孤岛的存在。孤岛之间需要进行信息转换,但转换一方面增加了处理环节、降低了交易速度,另一方面可能隐藏着错误,极大影响系统安全、可靠和稳定运行,交易效率低下。 2.存在的问题 远程交易和场内交易大厅在通讯方面存在着巨大差异,包括: *通讯质量:以太网的通讯质量明显高于卫星、DDN或者帧中继,一旦发生故障,其定位和恢复时间较长。 *通讯带宽:由于通讯带宽的巨大差异,原来场内传输大数据量的通讯延迟可以忽略不计,但远程交易系统必须考虑,而且这个通讯延迟可能会很大。 目前,各个期货交易所的远程电子化交易接口都是1995年场内交易大厅模式的远程翻版。虽然提供基本交易和市场信息发布功能,但通讯方面的差异导致远程交易在功能的扩充、性能、可靠性、安全性等方面,都有很大的不足,特别是在远程通讯和软件运行状态及故障的监测,故障后快速恢复存在明显的效率问题,具体表现在: *远程交易系统的监控问题:缺乏行之有效的方法监控所有会员的远程交易系统是否安全、可靠运行,以便交易所和会员双方能够在故障发生的第一时间得到通知和解决。 *故障后快速恢复问题。排除故障后远程交易系统没有恢复工作或者恢复的速度慢,会员和交易所将可能承受到直接投资者的巨大压力,甚至是法律纠纷。 期货交易所在接口的升级上比较谨慎,造成目前的会员远程交易的诸多技术问题;这些问题阻碍了非现场交易方式的推广。随着计算机通讯网络的逐渐发展,会员向客户提供的业务层次的逐步提高,远程交易在整体交易中的比重不断上升,其重要程度也大为提高,技术上的矛盾越来越突出。
三、研制过程我国期货市场自推行远程交易后就不断提出信息和技术标准化的需求。"计算机2000年问题" 解决后,市场对标准化工作逐渐关注起来。通过多方面的各种技术交流方式,各交易所也陆续了解了其他先进交易所、特别是欧洲先进交易所的技术系统情况,包括Eurex系统、Euronext的NSC和Connect系统、OM的Click系统的主要架构和技术难点的解决方案。 随着对标准化工作重要性和必要性的了解和认识的不断深入,期货市场行业标准化的工作在2002年突然加速。2002年中国证监会承接了国家金融"十五"科技攻关标准化课题证券期货业信息化标准体系研究专题。 《期货交易数据交换协议》作为子专题也被纳入标准体系研究专题,由中国证监会信息中心、上海期货交易所、郑州商品交易所和大连商品交易所承接和研发。中国证监会信息中心和三家期货交易所的一线技术人员组成工作小组负责具体研发工作。这个标准的制定,为不同的期货交易所之间进行技术上的互连互通提供了良好基础。 从2002年5月成立标准化工作小组开始,原计划于2003年7月完成期货交易数据交换协议标准的报批和审核。实际执行中延期至2003年11月完成报批稿及其审核,基本按照计划完成。延期的主要原因是2003年上半年的"非典"疫情使行业内征求意见稿、送审稿等编写工作顺延。 从2002年5月份开始,标准化工作小组开始了标准制定的工作。主要过程包括: * 2002年5月,标准化工作小组成立。 * 2002年6月,小组第一次会议,确定了标准化制定的总体原则,标准内容构成,各单位和成员的工作分配。 * 2002年7、8和9月,各单位和成员完成了各自分配的工作。 * 2002年10月,小组第二次会议,讨论了各个成员完成的工作。 * 2002年11月,标准各部分内容汇总,产生了《期货交易通讯协议》的第一稿草案。 * 2002年12月,小组第三次会议,对《期货交易通讯协议》的第一稿草案进行了进一步讨论,统一了在标准制定上的意见。 * 2003年1月,意见汇总和整理,产生了《期货交易通讯协议》第二稿草案。 * 2003年2月和3月,进行了数据字典的统一工作。 * 2003年3月,安排标准化工作小组人员参加了标准编制的培训。 * 2003年4月,按照标准编制的要求,修改了通讯协议标准,产生了《期货交易通讯协议》第三稿草案。 * 2003年7月,按照标准编制的要求,修改了通讯协议标准,产生了《期货交易通讯协议》行业内征求意见稿。 * 2003年10月,按照标准编制的要求,根据行业内返回的意见,修改了通讯协议标准,产生了《期货交易通讯协议》送审稿。 * 2003年11月,按照标准编制的要求,根据全国金融标准化委员会的委员与专家的讨论和审核意见,将"期货交易通讯协议"改称为"期货交易数据交换协议",并且将工作小组改称为"期货交易数据交换协议标准化工作小组",修改了数据交换协议标准,产生了报批稿。 标准化工作小组的全体成员凭借其一线系统运作的丰富经验和交易业务知识,在完成本单位日常工作的同时兼职完成数据交换标准的制定工作。 《期货交易数据交换协议》编制完成并通过审批后,为延续标准的内容修订和业内研究及推广工作,全国证券标准化技术委员会成立了WG05小组(期货交易数据交换小组)。WG05小组成员基本由"期货交易数据交换协议标准化工作小组"成员组成。
四、解决的主要问题《期货交易数据交换协议》抓住期货市场远程交易中技术问题的关键------交易所和经纪公司之间的交易数据交换协议,主要研究期货的实时交易过程中的数据交换和通讯标准,包括相应的信息编码标准、信息传送标准和标准的业务处理流程。信息编码的标准负责将各种需要交换的信息编码成一个确定的格式,信息传送标准负责将这些信息通过网络进行传送,而标准业务处理流程将说明各个报文的标准的处理方法。通过规范交易所和会员之间的交易数据交换协议,并将解决上述问题的手段内置于协议中,一举解决这些矛盾,为我国期货市场的进一步发展和创新提供坚实的技术基础。 1. 研制原则 《期货交易数据交换协议》研制过程中参考了许多现有的标准,并借鉴了国际很多成熟产品和系统的经验,包括: * GB/T 9387 开放系统互连-基本参考模型; * GB/T 17142 开放系统互连-系统管理; * FIX协议:参考了其报文组成,数据表示,上行/下行序列号分开管理,心跳机制、多播实现技术和安全性、可靠性及扩展机制; * OM的CLICK和SAXESS系统:参考了信息分流管理,报文组成,数据表示,信息序列号,心跳机制和安全性、可靠性及扩展机制; * 法兰克福交易所XETRA系统:参考了通讯模式,信息分类,心跳机制和可靠性机制以及应用程序接口设计(Application Program Interface,API); * 欧洲期货交易所EUREX系统:参考了通讯模式,信息分类,心跳机制和可靠性机制以及应用程序接口设计; * 泛欧交易所LIFFE Connect系统:参考了通讯模式、可靠性机制和应用程序接口设计; * 泛欧交易所NSC VF系统:参考了信息分类及其实现方法。 为顺利完成标准的研制任务,经过标准化工作小组的全体讨论,确定了如下的四个设计原则: * 清晰化原则:标准应当能够清晰地说明交易所和会员之间的接口。对于能够确定的内容,应当清晰地阐述,对于由各个交易所自行确定的内容,也需要明确地说明,不能有含糊之处。 * 成熟化原则:标准将充分考虑各个交易所共同的,已经成熟的业务模式和规则,并具有一定的扩展性,但是标准将不包含目前还处于探索阶段的一些新业务方面的内容,也不限制各个交易所的后台处理方式。 * 引用标准原则:对于已经有国际标准和国内标准的内容,应当尽量沿用这些标准。标准应当只包含那些期货交易业务特有的内容。 * 实用化原则:标准的制定必须充分考虑未来实现的可能性,在标准中要充分考虑交易系统主要的技术问题,包括安全性、可靠性、可扩展性、高性能、故障恢复机制等。保障基于标准的实现能够方便地达到各项业务和技术目标。 2. 信息可靠送达的含义 FTD的核心是确保高效、有序、可靠地保证交易信息送达,并提供故障的动态监测功能。信息可靠送达既是FTD的研究关键,也是远程交易能够快速、可靠执行的基础。信息的可靠送达不仅要求信息保证从一方发送到另一方,而且要求该送达是有序的,也就是先生成的信息必须先到达,信息的可靠送达还隐含同步需求。因此信息的可靠送达要求通讯协议提供一种信息的有序、可靠的通讯模式。同时,为了保证数据的一致性和完整性,接收方(主要指会员系统)对每条接收的交易信息必须按照发生的时间顺序处理"一次而且只有一次"(once and just once)。计算机故障总是难以避免的。在远程交易中,故障可能发生在会员端、通讯链路和交易所接入端,也可能是由硬件、软件和同步握手错误造成的。所以信息的可靠送达还要求能够主动监测到对方是否发生故障,以便在第一时间内采取应急措施和修复故障。故障修复后,要求双方能够以简单、快速的方式恢复到交易正常的状态。 因此,信息可靠送达在远程交易中可以表达成: * 在正常情况下交易所和会员能够准确地判断出目前的交易状态是否是正确的,状态正确是指双方收到的信息都无错序、无重复。 * 在发生链路断线等故障后,交易所和会员都可以在较短的时间内监测到故障发生,并且此项判断不应当占据如CPU、内存、链路带宽等关键资源。 * 故障恢复后,交易所和会员能够在尽量短的时间内自动同步交易数据和行情数据,从而恢复到正确状态。 3. 解决的主要问题 《期货交易数据交换协议》研制过程中主要借鉴了国内外交易所系统(包括EUREX、LIFFE CONNECT、OM CLICK和Euronext NSC-VF系统)和《金融信息交换协议》(Financial Information eXchange,FIX)在信息交换方面的成果,分析了以上各系统的优缺点作为取长补短的基础,归纳了期货交易信息交换方面的需求,提出了远程交易信息交换方面的六个关键技术难点,并通过FTD协议及其体系架构给出了相应的解决方案。六个关键技术难点如下: * 信息分类问题。在现有交易指令执行、查询和市场行情发送的基础上,对各类信息交换需求进行分类,抽象出了网络连接、通讯模式和数据流之间的关系,通过信息分流思想对信息交换需求进行分类。 * 如何确保交易信息的可靠送达。数据流内的每个报文由序列类别号和序列号来标识,由于同一个数据流中序列类别号唯一,而序列号加一连续是保证交易信息可靠送达的基础。 * 如何动态监测会员端或者通讯链路的故障,并且监测本身不会对网络和系统造成过大的负载。 * 如何确保FTD新协议能够在现有远程交易网络的链路上高效运行。 * 如何确保交易行情的可靠送达,并且在断线重连后会员能够快速恢复交易行情的快照,如果需要,会员在断线重连后也可以获得所有的交易行情。 * 如何保证FTD能够支持新的业务。 4. 标准的主要内容 FTD标准文稿主要包括该数据交换协议的体系结构、报文格式、数据字典、运作机制和扩展方式等内容。 标准文稿中的第一、二章介绍了FTD的使用范围和相关术语解释。FTD适用于期货交易所系统和会员系统之间进行交易所需的数据交换和通讯协议。FTD经过兼容性扩展也可以适用于交易所内部、会员内部或者交易所之间的数据交换和通讯。 第三章介绍了FTD的体系结构。通过归纳信息交换的需求,抽象了通讯模式和数据流,将具体的网络连接与通讯模式相对隔离,引入了数据报文的序列类别和序列号概念,使用序列号的连续性确保信息的可靠送达。通讯模式定义了通讯双方之间协同工作的方式,就像一个硬币只有正反两面一样,交易所与会员之间的通信内容和方式可以归纳为三种通讯模式: * 对话通讯模式:由会员端主动发起的通讯请求。该请求被交易所端接收和处理,并给予响应。例如,交易指令接收、查询等。这种通讯模式与普通的客户/服务器模式相同。 * 私有通讯模式:由交易所端主动,向某个特定的会员发出信息。例如成交回报、交易指令处理等。 * 广播通讯模式:由交易所端主动,向市场和社会发出相同信息。例如交易行情、市场状态控制、市场公告等。 第四章是标准的主要内容,介绍了FTD的报文结构,包括报头、扩展报头和FTDC业务报文,并对期货交易中的主要业务运作机制和关键数据域和报文作了简要说明。FTD协议主要由两层构成:FTD封装协议和FTDC。其中FTDC代表期货交易数据交换内容(Futures Trading Data Exchange Content Protocol),用于结构化地表示交易指令、成交回报、交易行情等的业务数据部分,而FTD封装协议为FTDC提供数据封装、压缩、链路管理服务。 通过使用在空闲时段通信双方相互发送心跳信息,既保证了双方对对端故障的监测,对于网络资源和CPU资源的消耗又很少,解决方式妥善而实用。 由于报头结构紧凑,使用半结构化的数据域对业务数据进行编码,经过实证分析,结果表明FTD的效率与期货市场现有协议具有可比性、甚至是更优的。 按照综合分析交易行情的可靠送达和故障重连后快速恢复的需求,提出了交易行情的正常接收、快速恢复接收和完全恢复接收三种工作方式,保证了交易行情的快速和准确性。 第五章和第六章讲述了FTD提供的安全性和可靠性服务。 第七章主要介绍了FTD的两种扩展。由于FTD报头和FTDC报头设计合理,新业务的支持可以在兼容的扩展方式的基础上增加新的扩展报头标记、增加新报文和增加新数据域的方式完成。 FTD的发布实施仅仅是开始,更为繁重的具体实施工作摆在了眼前:标准宣传贯彻。宣传贯彻的执行力度是决定标准是切实发挥作用还是束之高阁的关键因素。WG05小组已经制定了初步的工作计划,主要内容有三点: 1. 交易所和会员之间需建立长效协调机制,共同维护FTD标准的更新和修订。 2. 标准的推广需要请会员和软件开发商配合和投入,开发FTD的软件实现,并且将其源代码开放给整个期货市场,供大家免费下载从而使全行业的成本降至最低。 3. 为确保远程交易的可靠运行,应建立FTD标准的认证机制,只有符合接入规范并且通过测试的软件产品才能接入交易所参与交易。
五、后续工作FTD的推广和应用将可能带来非常明显的效益,主要体现在: *各个交易所采用统一的标准后,将会减少其新系统的开发成本,提高系统的可靠性; *各个交易所采用统一的标准后,将会统一各个会员连接不同交易所时的软件,减少软件的复杂度,降低其开发成本; *采用统一的标准,将减少由技术原因造成的市场风险因素。 在当前的形势下,数据交换协议的研究有着非常实际的意义。 首先,FTD有助于解决目前困扰交易所远程交易中信息交换和故障动态监测的问题。 其次,FTD为交易所升级现有系统,开展新一代电子化交易系统打下扎实的技术基础和实践储备。我们有足够的理由相信,FTD和现有的三所联网将构成我国期货市场技术系统方面的两大支柱。
|