一种基于视觉台球跟踪平台

1、一种基于视觉的台球跟踪平台，运动分析战略并将其纳入一个可靠的台球训练系统深圳市远帆杨 计算机科学与信息工程系 东海大学 台中市，台湾中华民国.tw台球跟踪系统的设计与视觉引导界面相结合，来指导用户完成可靠的击打。该集成系统运行在PC平台上。该视觉系统利用母球，目标球位置和球杆跟踪，使用最小二乘误差校准方法，用精确制导线计算计算机中球的坐标并关联实际的球桌。从母球延伸的理想的视觉引导线是基于碰撞运动分析计算出来的。用户可以根据电脑显示器上显示的视觉引导线来调整球杆在台球桌上的位置。除了计算理想的视觉引导，还对影响选择最好的目标球和进球口袋的出手因素进行了探讨。研究发现，对

2、周围目标球滑入口袋的理想线的误差允许角度决定了击打的难度。这个值还取决于从球袋到目标球的距离、从目标球到母球的距离和这两个向量之间的角度。用函数对这些向量和角度进行了仿真。使用我们的集成系统的各种几何参数对选定的目标球进行了广泛的测试。通过分析，本试验结果所测评的命中率显示出一致。命中率和把目标球击打到目标球袋的误差允许角度是紧密相连的。这证明了我们的系统的可靠性，并且分析结果可用于制定有效率的游戏策略。关键字：实时系统，不精确计算任务，抢占调度，托管的子任务，可选择的子任务，总误差，不严密地安排任务，非确定性多项式困难问题1 介绍台球游戏是一种流行的游戏，并且以某种形式或方式已经延续了几百年

3、。这种游戏是用球杆击打母球，致使母球撞击另外一个球（目标球），从而带动目标球在球台上滚入选定的球袋里。为了达到熟练掌握游戏的一个可接受的水平需要相当量的练习。因为这对于初学者有时甚至更高级的玩家可能是令人沮丧和徒劳的，众多的学习辅助工具已经提出了多年，用来帮助玩家培养和提高他们的水平无论是在真实的游戏环境和虚拟环境。Koo应用模糊逻辑的概念，发展的决策算法是对计算机发生迟环境一个最好的反应L。最近，新的研究已经在许多创建智能机器人的应用中进行11-17。这可能包括机器人高尔夫11，溜溜球12，排球13，象棋14，15，乒乓球16。一些已经发表的论文展示过台球机器人的上述功能部件。Koo展示了可

4、以通过图像处理技术完成球的识别和校准的机器人4。Nakama开发了一个能精确定位击打台球的机器人5。Jebara证明了可穿戴计算机可以帮助玩家提升台球游戏的能力6。在帮助使用者训练和瞄准时，交互系统应用了一个可视的算法。通过使用者眼睛附近的摄像机，用概率颜色模型和对称操作来局部化球桌，球袋和球。根据母球权益大小分类并且列举出每个可能的击打，用来决定每种可能的相对有效性。我们研究了大多数的学习辅助工具，但是它们既复杂又笨重。许多需要某种类型的小工具或放置于球桌上、球桌旁或者人身上的附件6，7，8。杨8设计了一个可以模仿人类在玩台球上的学习能力的机器人。目标是设计一个神经模糊补偿器来使这个台球机器

5、人提高台球技巧。首先，可预测击球误差模型是基于嵌入过程的记录数据库上开发的。然后，该预测误差是由模糊控制器补偿，自动决定目标球的切割角（击打点）。L.B.拉森9介绍了自动球台训练机（APT），在奥尔堡大学开发的多模式培训系统。该系统的理念是自动化的学习过程。它是一个多模式系统，利用语音交互、图形输出和一个计算机控制的激光指针相结合与用户通信。训练者在一些预定的课程中选择合适的训练（由系统辅助）。系统会发出有关如何放置球在球桌上的指示，展示（最佳的）击打方法，并记录和评估球员的表现。该指令通过声音（语音合成）和手势（使用激光在台球桌上的一个虚拟“指针”）相结合给出。这个系统没有错误分析和自动选择

6、策略支持。专家需要在系统后面规划培训课程。此外，在训练时激光指针可能会伤害到人的视力。因此，这些设备在学习过程中通常是没有建设性的。很多在家庭中都不是很受欢迎，并且在大多数商业桌球游戏中也是被禁止的。表1总结了有关桌球的学习工具和设置，并与本文比较了它们的优缺点。比较的指标包括视觉跟踪目标，运动分析采用的策略，服务对象和视觉引导方法。基于一种新的视觉台球跟踪的设计提供给了玩家一个互动指导系统，让用户在球桌上正确地定向球杆。主要目标是在击球过程中以提高瞄准精度，以帮助增加玩这个游戏的乐趣，并且在球桌上或球桌旁没有复杂的电子或机械设备。系统通过使用实时视觉系统跟踪球桌上的实际球的中心位置和球杆的方

7、向来实现这个目标。图形用户界面精确地显示实际球和球杆的位置。理论上计算出的理想碰撞线从母球开始经由目标球到目标球袋都显示系统上。显示在系统上的目标球袋和目标球是基于运动分析算法选择的一个最好击打方法。这个假想的引导线是根据碰撞的基本物理定律计算的，并会根据选定的目标球袋和目标球的位置改变击打母球的方向。使用者之后移动球桌上由视觉系统追踪的球杆。该球杆的中心线由显示系统上的另一个虚拟线表示。使用者之后通过移动球杆，调整到符合计算出的理想碰撞线的位置上。一旦在显示器上两条线一致对齐，用户就可以打击母球了，看目标球滚动到选定的球袋。从母球起始的理想碰撞路线是从运动分析得出的。运动分析表明，瞄准方向的

8、误差角度决定了击球入袋的成功率，并且是球袋，目标球和母球，从球袋到目标球的距离和从母球到目标球的距离之间的交叉角的函数。还推导出一种决定误差角度的分析解法。然后通过改变这些几何参数来提供仿真结果。表1 有关球桌的学习工具和设置的比较指标工作视觉跟踪运动分析策略服务目标视觉引导的教学媒体球中心球杆 模糊逻辑总误差模型机器人人电脑监控液晶护目镜激光指示器Koo1否否是否否否否否否Koo4是是否否是否否否否Jebara6是否否是否是否是否Yang8是否是否是否否否否Larsen9是否否否否是否否是Nakama5是否否否是否否否否Shih是是否是否是是否否本研究首次提出系统设置和可视化界面，接着是图像

9、校正处理，以准确地相互关联球中心的像素坐标对应的的球桌上的实际位置。然后，在图像识别加工和球杆跟踪的过程中而开发的算法，对球杆和球对象进行了讨论。分析之后计算出周围的理想指导线的误差角度。误差允许的角度给出了击打目标球入袋的难度。并且对影响这个量的因素进行了探索。理论模型的建立用来理解它们之间的相互关系。最后，对整个系统包括后端的跟踪和前端可视化显示进行了广泛的测试，通过改变这些参数，包括球袋，目标球和母球，母球到目标球的距离之间的交叉角的不同组合。以验证系统的正确性。成功率记录为这些参数的函数。然后对实验结果与分析模型进行比较。并且提交了重要的问题和以后的工作。2.系统描述实验结果表明，无论

10、是在内存利用率和解码时间的改善是与d成正比。因此，对于处理前的数据，例如使用具有非常小d（1或2）的JPEG方法压缩图像，其性能的改善是很小的。然而，对于普通的数据，实验结果表明，CMRPC的内存使用率可以得到改善，从1.1（=（2168至2144）位/2168位）至4.1（=（2168至2068）位/2168位）;解码时间也可以有所改善，从约16.2（=（1.91-1 .60）秒/1.91秒）至25.5（=（2.12-1.58）秒/2.12秒）。还观察到，提议的修改方法比一步移位法和查表法更优越3。该系统由CCD摄像机，视觉卡，一张台球桌，一个尖端带标记的球杆，和一台运行一个图形用户界面系统

11、的PC（如图1）组成。 CCD摄像机由一组夹具直接安装在台球桌板的正上方。在台球桌上方的相机的方向是直接任意设定的。唯一的要求是，可视区域必须覆盖包括整个台球桌板与周围环境的封闭最小量的像素信息。球杆末端由彼此离开很小距离的两个绿色条带标记，与周围的球桌两个分离的区域是不同的颜色。 一台运行着交互式用户图形界面的Pentium III PC放在台球桌旁边。在PC上执行的软件既直观地显示用户该如何在台球桌上放置球杆和球的指示又同时显示由CCD传感器捕捉的球和球杆的运动图像。图片1 系统设置和配置3. 学习模式和视频显示视觉显示系统起着指示使用者如何用球杆击打的作用。考虑在第5部分通过运动分析结果

12、选定的不同的目标球袋与目标球的组合，为玩家给出一个通过母球中心正确的瞄准方向，指导玩家该如何驱使球杆。该瞄准方向是一条的线，如图2所示。得出这一指导线的程序是基于碰撞的基本物理规律。第一条连线是目标球袋的中心和目标球的中心并延伸超过目标球的中心球，如图3所示。然后选择延长线上恰好离目标球中心距离为一个球直径d的距离作为碰撞点，如在图 3中所标注。接下来连接碰撞点与母球中心，绘制一条超越母球中心的淡绿色的线，如图2所示。不同的球袋和目标球组合的选择将影响指导线的方向。两种这样的选择如图2（a）和2（b）所示。可以看到，当给出相同的母球、目标球的位置和不同的目标球袋的位置时，浅绿色线指向不同的方向

13、。 (a) (b)图片 2. 可是界面显示计算出的指导线目标球袋球杆击打方向母球碰撞位置目标球ldd图 3. 指导线模型4校准和图像处理算法及其与集成视频显示在系统可以捕捉图片和分析图像之前，校准程序就开始关联台球桌的实际坐标的图像坐标。校准板与网格图案被显示出来，并且放置在台球桌旁，如图4（a）所示。这个迷你台球桌的尺寸是40厘米X8厘米。相机之后被触发为校准板拍照。校准板网格线结构的交点的实际坐标如图4（b）所示那样测量。这些坐标随后被存储在一个152X2的矩阵A中。n=1153，（xn，yn）是球桌对应校准板上的第n个点的坐标。单位是厘米。在网格交叉点的坐标系中使用常规的边缘提取的图像处

14、理算法，如图4（c）所示。这些图像的坐标随后被存储在另一个153X3的矩阵B中。，n=1153，（ixn，iyn）是图像上第n个象素点的坐标。一个相关矩阵T，使用最小二乘误差变换方程计算得到，如下所示。T=inverse(B*B)(B*A)。给出这个变换矩阵（3x2），图像上的坐标会通过以下等式变换到现实世界球桌上的坐标：A= B*T；然后叠加上原始的坐标矩阵A，形成如图4（d）所示。每个点的原始坐标和变换坐标之间的标准差小于0.1厘米。图像处理步骤，需要首先计算母球和目标球的中心位置。图5（a）是包括一个母球和目标球的台球桌的原始图像。等式（1）的执行实现每个像素从RGB到HSV的转换。然后

15、根据所有像素的H值构建一个直方图。选取范围从110到185的 H值来收集球桌的像素，因为大多数台布像素表现出的这些值，并在H值的直方图中具有最高峰。 如图5（ b）所示。不想要的像素，包括那些环境的背景和可能的球和棒图像可以被过滤掉。初步结果如图5（ b）所示。然后接着以中值滤波算法处理使图像平滑如图5（c ）所示 。一个典型的阈值和Sobel算子用来分割球桌界限，母球和目标球，如图 5 （ d）和（ e）所示。每个独立对象的边界象素由一个递归遍历程序将这些数据分到不同的组中完成进一步提取。随后是内部的每一个分组的一个区域扫描过程，以确定各独立区域的颜色。这是决定是否它属于一种颜色的球或球杆尖

16、。跟踪球杆是通过跟踪在球杆顶端两个分开的彩色区域来完成。 （a） （c） （b） （d）图4.校准图和累计误差图后端视觉系统和前端视频显示已经完全集成在这个迷你台球桌，如图8所示。不同子系统之间的数据流如图6所示传递 。视觉系统首先捕捉和分析球杆，对象和母球，球袋中心像素坐标。此信息被同时传递到视觉显示系统和坐标变换系统 ，如图6所示 。步骤'a'通过在校准过程中的矩阵变换将台球桌上的坐标转换成图像上的坐标。步骤'b'通过基于碰撞模型和结果分析计算出理论上的击打线和母球与球袋的坐标。使用步骤'c'的逆变换过程，再将计算出的延伸线转换到球桌上的坐标

17、。最后，视觉显示系统可同时显示真实世界的物体和可以指导用户精确把球打入球袋的指示线。5.运动分析策略我们现在描述选择最有可能成功的出手机会的战略。我们计算从母球开始到任何一个球的线性轨迹。然后我们计算从这些球到可以检测到的球袋的线性轨迹。再然后我们测试每一种可能的轨迹：从母球到目标球最后到球袋并且不会与其他物体碰撞。如果找不到这样的目标球，我们会测试球的可能轨迹。然后，我们通过下面的方法权衡“有效的”轨迹。每当用户进行一次击打，我们真正感兴趣的，他或她击打母球的角度（我们假设击打母球的力量是由用户决定的）。所以，给出用户应该以什么角度击打母球的建议才是最根本的，设角c是击打线与母球到目标球连线

18、之间的偏差。我们需要的角c越精确，出手就越困难。使用式（4），（5）和（6），图7示出如何能确定所要的角度。从母球到目标球的距离为l，到球袋的距离位为L.由这三个点构成的角是在目标球点的角a。我们可以使用这个信息计算角c，同时也可以作为角c的最大误差角d。可视系统 捕捉和分析 球桌上母球和球袋的坐标坐标系上的理想击打线中心可视系统图象显示球杆，母球和目标球图像显示浅绿色指示线abc+图 6. 数据传递对于每一个可能的击打，我们计算角d和角d（这需要最小的精度击打）与所需轨迹的最大出手价值（沿角c）相叠加，并且用从母球延伸出的方向线把最好的击打可能显示给用户。这是一个简化的一阶策略模型，因为它只

19、是2D的，并且不包括旋转效果，运动学和回弹的计算。(2)(1)ala+ba-bc+dc2rRbrLal目标球球袋母球图7. 图解母球撞击误差角的允许范围(a)(b)(c)(d)(e)图. 5.边界线的提取基于这种分析，碰撞公差角d实际上是l，L，和a的一个函数。公差角度越大，玩家击球入袋就越容易。给定一个固定的L值（以1/ 3的比例值） ，本文首次评估l值和a值分别各从0到50和从0到90的不同组合的公差角度值。其他论文会讨论固定其它参数而改变两个参数对公差角度的影响。 L值实际上是在台球半径（ r）的倍数。图8是这样计算出的结果。这种设置直观合理，角a取0时是最大公差，母球和目标球之间的距离

20、刚好是一个球的直径。一般来说，这个值对于一个恒定的a值是随L值的逐渐增加而减小的。在较大的a值时，公差角的值只有微小的变化已被认为是式（6）的性质。6.试验结果然后我们测试击打母球的角度和母球到目标球之间的距离的不同组合。目标球被固定在大约球袋半径3倍远的距离。在每一个组合，我们使用从视觉系统跟踪的中心点计算理想视觉引导线。十五次击打是基于指导线的。然后计算不同击打的成功率。结果被再次重新绘制为l和a的函数，如图9所示。不同的组合之间有不同的变化。然而，分析模拟结果显示轮廓分布是大致相同的。这证据展示我们的视觉跟踪系统和校准程序是一个可靠并且精确的系统。(3) (a)(b)(c)(d)图10.

21、系统设置和操作进程跟踪球杆中心线球杆和理想走向线目标球滚入球袋理想走向线母球目标球目标球袋图10是许多验证公差角命中率试验的结果之一。在图的左边。图10（a）示出了一个母球和一个目标球在球桌上。在图的右侧。图10（a），图像处理算法精确计算出了两个球的中心位置。球的图像随后与在PC的可视图像上的空桌的相应位置叠加。给出在球桌上的相对的球袋、目标球和母球的位置，击打指导线可以由程序在一秒中内计算出来。 并在PC中绘制出从母球延伸的浅绿色指导线，如在图10（a）右边所示。当用户开始在相机传感器的视野范围内的球桌表面移动他的球杆，如图10（b）左半边所示 ，视觉系统开始捕获和分析球杆的图像并用深绿色

22、线显示，如图10（b）右半边所示。然后，用户一边看着视觉显示器一边调整在球桌上的球杆。调整的目标是使深绿色的撞击线和线浅绿色的理想线相一致。一旦这两条线相互重合，用户就可以开始击打，带动母球撞向目标球。这些步骤如图10 （c）所示。在图10（c）左半边用户已经用他的球杆对准了指示线。然后，他用球杆击打了母球。在图10（c）左半边可以看出母球朝着目标球滚动。与母球碰撞后，可以看到目标球滚入了球袋，如图10（d）右半边所示。图8.计算出的母球公差角d的轮廓图9.命中率作为碰撞角a和距离l的一个函数7.总结和以后的工作一种新的视觉台球跟踪系统结合了交互式可视化学习系统，为用户提供一个既可以学习又方便

23、娱乐的流行的台球游戏的环境。使用最小二乘校准方法正确地关联实际路线，并用球的像素的几何位置坐标显示在视觉系统上。主要目标是提高在击球过程中的瞄准精度，以帮助加快对游戏的精通，增加玩这个游戏的乐趣，还在球桌上或球桌周围没有复杂的电子或机械设备。该视觉系统，不仅可以跟踪并且也能识别球和球杆。母球和目标球的像素信息用来在可视化图形界面中显示其相应的照片图像。这些像素信息是通过最小二乘转型过程关联到真正的台球桌的位置。理论指导线的计算是根据母球，目标球和目标球袋的实际位置而计算出的实际位置和引导线的方向，然后转换成相应的像素坐标显示在可视显示器上，并作为用户的向导来游戏娱乐。实验结果表明，基于运动分析

24、的误差允许模型是成功的。本研究已成功整合了视觉系统与实际球桌的游戏环境。它以最小的硬件投资不仅提供了一个互动的学习环境，增加球桌上的技能，也增加了这个游戏的乐趣。更进一步，运动分析结果可以智能地选择游戏策略，在众多的目标球和球袋位置的各种组合中，帮助用户选取最好的击打策略。我们的下一个研究阶段将包括固定其它参数同时改变两个参数的公差角度的影响分析。由于已经发现公差角度与击球入袋成功率紧密相关，就这些几何参数的可能约束对公差角度的影响进行了调查。我们也在研究更复杂的方法战略和高阶效应的规划，如回弹，多次碰撞，以及随后的击打。由对几何参数的仔细分析，可以估算出放置一个反弹球杆和目标球的最佳击打位置

25、。该分析将以递归的方式进行。对击打的摩擦和其他作用作出推测。这些数据可以从实际的台球桌实验中得出，并在仿真和实际击打中使用。最后，既可以提高玩桌球游戏的性能又可以提高这项运动的乐趣。参考文献1. S. C. Chua, E. K. Wong, Alan W. C. Tan, and V C. Koo, “Decision Algorithm for Pool using Fuzzy System, Proceedings of the lnternational Conference on Artificial Intelligence in Engineering & Technol

26、ogy ICAIET 2002, Kola Kinabalu, Malaysia, pp. 370-375, 17-18 June 2002.2. T. Braunl “Research Relevance of Mobile Robot Competitions”. IEEE Robotics & Automation Magazine: pp.32-37, 1999.3. K. Kiguchi, K. Watanabe, and T. Fukuda, ”Design of a Human-Like Desired Grasping Force Planner for Object

27、Manipulation by Robot Manipulators,” Machine Intelligence Robotic Control,Vo1.3,No.4.pp.167-173, 2002.4. S. C. Chua, E. K. Wong and V. C. Koo, “Pool Balls Identification and Calibration for a Pool Robot”, Proceedings of the lnternational Conference on Robotics, Vision, Information and Signal Process

28、ing (ROVISP 2003), Penang, Malaysia, pp. 312-315, January 2003.5. H. Nakama, 1. Takaesu and H. Tokashiki, “Basic Study on Development of Shooting Mechanism for Billiard Robot”, JSME, Robotic Workshop, IAIF8, 2001.6. T. Jebara, C. Eyster, 1. Weaver. T. Starner and A. Pentland, “Stochastics: Augmentin

29、g the Billiard Experience with Probabilistic Vision and Wearable Computers”. In Proceedings of the International Symposium on Wearable Computers, Cambridge, Massachusetts, pp. 138-145, 1997.7. Zhi-Ming Lin, “The Study of A Billiard Robot”, Thesis, Department of Mechanical and Electro Mechanical Engi

30、neering, TKU, Taiwan, R.O.C., 2003.8. B.R. Cheng, J. T. Li, J. S. Yang, “Design of the Neural-Fuzzy Compensator for a Billiard Robot”, Proceedings of the 2004 IEEE International Conference on Networking, Sensing & Control, Taipei, Taiwan, March 21-23, 2004.9. P. Grogono, Mathematics for Snooker

31、Simulation, personal communication, 2001.10. L.B. Larsen, P.M. Jensen, K. Kammersgaard, L. Kromann, “The automated pool trainera multi modal system for learning the game of pool,” Proceeding of the International Conference on Intelligent Multimedia and Distance Education, 2001.11. M. Jouaneh, P. Car

32、nevale, “The development of an autonomous robotic system for playing mini-golf,” IEEE Robot. Autom. Mag. 10 (2) (2003) 5660.12. K. Hashimoto, T. Noritsugu, “Modeling and control of robotic yoyo with visual feedback,“ Proceedings of the IEEE International Conference on Robotics and Automation vol. 3

33、(1996) 26502655.13. H. Nakai, Y. Taniguchi, M. Uenohara, T. Yoshimi, H. Ogawa, F. Ozaki, J. Oaki, H. Sato, Y. Asari, K. Maeda, H. Banba, T. Okada, K. Tatsuno, E. Tanaka, O. Vamaguchi, M. Tacyhimon, “Volleyball playing robot”, Proceedings of the IEEE International Conference on Robotics and Automatio

34、n vol. 2 (1998) 10831089.14. J. Hoffman, E. Malstrom, “Teaching a miniature robotic manipulator to play chess,” Robotica 1 (4) (1983) 197203.15. F.C.A. Groen, G.A. den Boer, A. van Inge, R. Stam, “Chess playing robot,” IEEE Trans. Instrumen. Measure. 41 (6) (1992) 911914.16. L. Acosta, J.J. Rodrigo,

35、 J.A. Mendez, G.N. Marichal, M. Sigut, “Ping-pong player prototype: a pc-based, low-cost, ping-pong robot,” IEEE Robot. Autom. Mag. 10 (4) (2003) 4452.Chun-Chao Yeh (葉春超) received his Ph.D. and M.S. degrees in computer science and information engineering from National Taiwan University, Taipei, Taiwan, in 1998 and 1991, respectively, and his B.S. degree in computer science from National Chiao Tung University, Hsinchu, Taiwan, in 1989. While he was working toward his Ph.D. degree at National Taiwan University, he got a DAAD/NSC schola