机器人学习目前已经被广泛应用于现实世（shì）界，并可（kě）以完成精密的手部、腿部动作。但（dàn）在（zài）动（dòng）态且高速的（de）人机（jī）互动中，机器人学习并不常见。谷歌选择开发（fā）乒乓球（qiú）机器人，正是为（wéi）了探索这类情况（kuàng）下人工智能的可能（néng）性。

·使用i-Sim2Real这种（zhǒng）方式，在模（mó）拟环境下可以让数年的实时训练在几分（fèn）钟或几小（xiǎo）时内完成。

谷歌i-Sim2Real项（xiàng）目乒乓球机器人与人类训练。本文（wén）图片来源：谷歌

似乎现存的每（měi）一种桌上运动中，人工（gōng）智（zhì）能都立于（yú）不（bú）败之地。乒（pīng）乓球竞技中，谷歌AI同样难逢敌手。10月18日，谷（gǔ）歌公布其正在研究的“乒乓球机器人”项（xiàng）目，在（zài）与（yǔ）人类对打时（shí）一回合可（kě）接球340次。目前，谷歌强调这只是人（rén）类与AI的“合作”，并非击败（bài）人类，但以AI成长的速度，它（tā）将很快成为专业选（xuǎn）手（shǒu）。

机（jī）器人学习目前已经被广（guǎng）泛（fàn）应用于现实（shí）世界，并可（kě）以完成精密（mì）的手部（bù）、腿部（bù）动作。但在动态且高速的人机互动中，机器（qì）人学习并不常见。谷歌选择开发乒乓球机器人，正（zhèng）是为（wéi）了（le）探（tàn）索这类情况（kuàng）下人工智（zhì）能的可能（néng）性（xìng）。

解决“先（xiān）有鸡还是先（xiān）有蛋”

在（zài）这个名为i-Sim2Real的（de）项目中，谷歌的乒乓球机（jī）器人在模拟环境中不断学（xué）习，并将学习成（chéng）果运用（yòng）于现实世界，最终（zhōng）可（kě）以在一（yī）个与（yǔ）人类的乒乓球接发回合中，接球超过三百次。它还能把球送回不同的区域，虽然不能精确到数（shù）字上，但（dàn）已经（jīng）足（zú）够（gòu）精确到让（ràng）机器人（rén）规划策（cè）略，来控制乒乓（pāng）球的（de）最（zuì）终目（mù）的地。

i-Sim2Real也不（bú）仅仅是关于（yú）乒（pīng）乓球机器人，更（gèng）是一种人（rén）工（gōng）智能创造过（guò）程的方式，在这个过（guò）程（chéng）中，机器学习模型（xíng）被教会在虚拟环境或模拟（nǐ）中做什么，然后（hòu）再应用这些知（zhī）识，目（mù）标是（shì）尽可能长时间地与人类进行接（jiē）球回合而不失误。在现实世界中直接与人（rén）类（lèi）玩家进行训练既繁琐又耗时，当（dāng）需要数年的试验和错误才能建立一个工作（zuò）模（mó）型时（shí），使用i-Sim2Real这种方（fāng）式显得十分有效，它（tā）在模拟环境下可以（yǐ）让（ràng）数年的实时训（xùn）练（liàn）在（zài）几分钟（zhōng）或几（jǐ）小时（shí）内完成。

这种方式（shì）听起（qǐ）来简单高效，但在模拟中机器人（rén）并不（bú）是万能的。人（rén）类的活动具有一定的不可预（yù）测性，并不容易模拟（nǐ），需要（yào）先有人类的行为（wéi）模型作为支撑。而人类（lèi）的行为模型，又（yòu）需（xū）要（yào）与机器（qì）人互动获得（dé）。这就（jiù）陷入了一个“是先有（yǒu）鸡还是先（xiān）有蛋”的（de）死（sǐ）循环。

i-Sim2Real解决这一鸡和蛋问题的方法，是使用一个（gè）简（jiǎn）单（dān）的人类行为模型作为近似起点，并让机器人在模拟训练和现实（shí）训练之间交（jiāo）替学习。在每（měi）次迭（dié）代中，都会细化人类行为模型和策略。在机器人接近人类行（háng）为的过程中，初期的不理（lǐ）想是可以接（jiē）受（shòu）的，因（yīn）为机器（qì）人（rén）也只是刚刚开始学习，之（zhī）后（hòu）每一场比（bǐ）赛都会收集更（gèng）多真实（shí）的人（rén）类（lèi）数据，提高准确性，让AI学到更（gèng）多。

i-Sim2Real的训练方法。

GoalsEye：通过自我监督来自（zì）主（zhǔ）练习

除了i-Sim2Real这（zhè）种模拟与现实交替进行的方（fāng）法（fǎ），研究人员（yuán）也在探索只使（shǐ）用现实的数据（jù）学（xué）习的方法（fǎ），即GoalsEye项目。

一（yī）开始，模仿学习（IL）为研究（jiū）人员提供了一种简单（dān）而稳定的思（sī）路，但它需要人类行为进行演示（shì），并且机器人的技术无（wú）法超（chāo）过（guò）演示者的水平。同时（shí），当演示者拥有在高速环境（jìng）下精确接球的能力时（shí），收集其数据（jù）具有（yǒu）一定挑（tiāo）战性，而且在刚开（kāi）始时可能非常低效。因此研（yán）究人（rén）员尝试了一种（zhǒng）结合最近行为进（jìn）行重复（fù）的方法，从一个（gè）小的、结（jié）构（gòu）薄弱的（de）、非目标数据集（jí）开始（shǐ），不（bú）断学习精确定位目标的策略。

这种方（fāng）法（fǎ）使得在训（xùn）练的过程（chéng）中，机器人的（de）自主学习（xí）能力显得至（zhì）关重（chóng）要。研究人员设置了一个强调（diào）精（jīng）度的乒（pīng）乓球任务，要求机器人将（jiāng）球返回到桌子上的任意目标位置。机器人可（kě）以通过（guò）自我（wǒ）监督来实现自（zì）主练习。例如，机器（qì）人可以设置随机（jī）目（mù）标，“击中左后（hòu）角”或“将球从右侧过网”，并（bìng）尝试使用当前掌握（wò）的（de）策（cè）略来实现这些目标（biāo），从（cóng）而（ér）不断改进。所有尝试（shì）都会（huì）记（jì）录并添加（jiā）到不（bú）断扩展的数据集中。这种自主练习是反复进行的，机器人（rén）通过不断的设置随机（jī）目标并尝试目标，从而扩（kuò）展训练数（shù）据，调（diào）整策略。

GoalsEye策（cè）略旨（zhǐ）在实现（xiàn）直（zhí）径20厘米的目标（左）。人类玩（wán）家瞄（miáo）准同一个目标（右）。

GoalsEye的（de）训练方法。

其（qí）效果（guǒ）也（yě）是显（xiǎn）而易见的（de），在进行最（zuì）初的2480次人类行为演示（shì）后，机器人只在9%的情况下能准确地达到距（jù）离目标30厘米以内的目标。然而，当机器人（rén）又自主练（liàn）习了大约13500次后，达到目标的（de）准确率上升到43%。同时，演示数量的提升提高了后续自我练（liàn）习的效率（lǜ），这说明，计算时间、成本等因（yīn）素后（hòu），演示可以适当替换自我练习，从（cóng）而更高（gāo）效（xiào）的进行训练。

在这两个使用机器人乒乓（pāng）球研究平台的互补项（xiàng）目中，i-Sim2Real可以在模拟与现实中交替学习策略，而GoalsEye则证明，从现（xiàn）实世界的非结（jié）构化数据中学习，结合自我（wǒ）训练（liàn），对于在精确且动态的要（yào）求中学习目标条件策略是（shì）有效的。