离线模拟系统的制作方法

1.本发明涉及离线模拟系统。

背景技术：

2.在以机器人对工件进行预定动作的方式进行了示教的情况下，若示教时的工件的位置与机器人动作时的工件的位置偏离，则机器人不能对于工件适当地动作。在该情况下，已知有通过照相机等视觉传感器检测工件，对工件位置的偏移量进行视觉校正的方法(例如，参照专利文献1)。为了适当地进行这样的视觉校正的设定，作业者能够实际使机器人动作，实习视觉校正的设定。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2006-260271号公报

技术实现要素：

6.发明所要解决的课题
7.但是，在实际使机器人动作，实习视觉校正的设定的情况下，需要准备用于实习的设备，耗费设备费用。另外，坐标系等的设定难以直观地确认是否适当地进行设定，因此有可能无法适当地进行设定而产生干扰等。因此，期望高效地进行视觉校正的实习。
8.用于解决课题的手段
9.本公开的离线模拟系统是用于实习视觉校正的离线模拟系统，具备：信息处理装置，其能够显示虚拟空间的图像；以及示教装置，其以能够通信的方式与所述信息处理装置连接。所述示教装置具有：虚拟空间生成部，其生成所述虚拟空间的图像；示教部，其在所述虚拟空间内配置机器人和工件，以所述机器人对所述工件进行预定的动作的方式进行示教；照相机配置部，其在所述虚拟空间内，在所述工件进入视野内的位置配置照相机；视觉校正部，其在所述工件的位置被移动后，基于由所述照相机拍摄到的摄像图像，对所述预定的动作进行视觉校正；以及校正确认部，其确认所述预定的动作被适当地进行视觉校正。
10.发明效果
11.根据本发明，能够高效地进行视觉校正的实习。
附图说明
12.图1是表示本实施方式的视觉校正实习系统的结构的图。
13.图2是表示头戴式显示器的结构的图。
14.图3是表示示教装置的结构的图。
15.图4是表示配置于虚拟空间内的示教操作盘的图。
16.图5是表示配置于虚拟空间内的工件以及机器人的图。
17.图6是表示配置于虚拟空间内的照相机的图。
18.图7是表示配置于虚拟空间内的坐标系的图。
19.图8是表示视觉校正实习系统的处理的流程图。
具体实施方式
20.以下，对本发明的实施方式的一例进行说明。
21.图1是表示本实施方式的视觉校正实习系统100的结构的图。视觉校正实习系统100是用于为了在实际的机器人中适当地执行视觉校正而由机器人的操作员在虚拟空间内实习视觉校正的离线模拟系统的一例。如图1所示，视觉校正实习系统100具备头戴式显示器1和示教装置2。
22.头戴式显示器1佩戴于操作员的头部，显示虚拟现实(vr(virtual reality))的影像。操作员一边观察头戴式显示器1所显示的虚拟现实的影像，一边实习(模拟)视觉校正，从而能够提高对影像世界的沉浸感，能够高效地进行实习。头戴式显示器1通过有线或无线通信与示教装置2连接。另外，头戴式显示器1也可以内置于示教装置2。另外，本实施方式的视觉校正实习系统100使用头戴式显示器1作为信息处理装置进行说明，但并不限定于此，信息处理装置例如也可以是台式计算机、膝上型计算机、平板电脑、智能手机等。
23.示教装置2生成虚拟现实的影像，向头戴式显示器1发送虚拟现实的影像。示教装置2通过有线或无线通信与头戴式显示器1连接。另外，示教装置2也可以内置于头戴式显示器1。示教装置2也可以与实际的机器人的控制装置连接，能够通过与控制装置连接的示教操作盘进行操作。机器人的控制装置也可以是虚拟的装置。
24.图2是表示头戴式显示器1的结构的图。如图2所示，头戴式显示器1具备控制部11、输入接口12、输出接口13、显示面板14、通信部15、存储部16以及姿势传感器17。
25.控制部11是cpu(central processing unit：中央处理单元)等处理器。控制部11通过执行存储于存储部16的程序，对图像信号、传感器信号等信号、命令、数据等进行处理以及输出。
26.输入接口12接受来自用户的操作信号、设定信号，并提供给控制部11。
27.输出接口13从控制部11接收图像信号，并显示于显示面板14。
28.通信部15是用于经由网络在与示教装置2之间进行通信的通信接口。通信部15包含用于执行通信的处理器、连接器、电路、天线等。通信部15对从示教装置2接收到的通信信号进行预定的处理而取得数据，并将取得的数据输入到控制部11。另外，通信部15对从控制部11输入的数据进行预定的处理而生成通信信号，并将生成的通信信号发送至示教装置2。
29.存储部16是存储os(operating system：操作系统)、应用程序等的rom(read only memory：只读存储器)、ram(random access memory：随机存取存储器)、存储其他各种信息的硬盘驱动器或ssd(solid state drive：固态驱动器)等存储装置。
30.姿势传感器17检测头戴式显示器1的位置信息、头戴式显示器1的旋转角、倾斜等的姿势信息。姿势传感器17通过组合陀螺仪传感器、加速度传感器、角加速度传感器等来实现。头戴式显示器1也可以使用将3轴地磁传感器、3轴加速度传感器以及3轴陀螺仪传感器中的至少1个以上组合而成的运动传感器，检测用户头部的前后、左右、上下的运动。
31.图3是表示示教装置2的结构的图。如图3所示，示教装置2具备控制部21、通信部22、存储部23以及操作部24。
32.控制部21是cpu等处理器，通过执行存储于存储部23中的程序来实现各种功能。
33.控制部21具备虚拟空间生成部211、操作盘配置部212、示教部213、照相机配置部214、光学条件设定部215、坐标系设定部216、坐标系确认部217、工件检测部218、基准位置设定部219、计算部220、视觉校正部221、校正确认部222以及通知部223。
34.通信部22是用于经由网络在与头戴式显示器1之间进行通信的通信接口。通信部22包含用于执行通信的处理器、连接器、电路、天线等。通信部22对从头戴式显示器1接收到的通信信号进行预定的处理而取得数据，并将取得的数据输入到控制部21。另外，通信部22对从控制部21输入的数据进行预定的处理而生成通信信号，并将生成的通信信号发送到头戴式显示器1。
35.存储部23是存储os、应用程序等的rom、ram、存储其他各种信息的硬盘驱动器或ssd等存储装置。
36.操作部24是键盘、指示设备等，接受来自操作员的操作信号和设定信号，并提供给控制部21。
37.接着，参照图4至图7对在虚拟空间内实习视觉校正的动作进行说明。
38.图4至图7是表示配置在虚拟空间内的对象的图。具体而言，图4是表示配置于虚拟空间v内的示教操作盘b的图。图5是表示配置于虚拟空间v内的工件w以及机器人r的图。图6是表示配置于虚拟空间v内的照相机c的图。图7是表示配置于虚拟空间v内的坐标系s的图。
39.首先，虚拟空间生成部211生成虚拟空间的图像。具体而言，如图4所示，虚拟空间生成部211使用由姿势传感器17检测出的姿势信息，生成用于实习机器人的视觉校正的虚拟空间v的图像。虚拟空间v如后述那样能够显示示教操作盘、机器人、工件、照相机、坐标系等对象的图像。操作员一边观察在头戴式显示器1的显示面板14上显示的虚拟空间v的图像，一边实习(模拟)视觉校正。另外，由于使用由姿势传感器17检测出的姿势信息，因此虚拟空间生成部211能够生成反映了操作员的头部动作的虚拟空间v的图像。
40.如图3所示，操作盘配置部212在虚拟空间v内配置机器人的示教操作盘b。示教操作盘b具有：虚拟的输入部，其由用于向机器人示教动作的键等构成；以及虚拟的显示部，其显示所示教的动作的命令、由照相机拍摄到的图像等。
41.操作员通过操作部24对显示于虚拟空间v内的示教操作盘b进行操作，从而执行用于进行视觉校正的示教和设定等。
42.如图5所示，示教部213在虚拟空间v内配置机器人r以及工件w，以机器人r对工件w进行预定的动作的方式进行示教。
43.具体而言，示教部213的操作员在虚拟空间v内配置机器人r以及工件w的对象。示教部213能够使用预先存储于存储部23的cad数据将机器人r以及工件w的对象配置于虚拟空间v内。在此，机器人r的预定动作例如包含通过机器人r把持工件w等机器人r相对于工件w的任意的动作。
44.然后，示教部213通过操作员对示教操作盘b进行操作来设定机器人r的动作程序，以机器人r对工件w进行预定的动作的方式进行示教。
45.接着，如图6所示，照相机配置部214在虚拟空间v内，在工件w进入照相机c的视野内的位置配置照相机c。
46.由照相机c拍摄到的拍摄图像显示于示教操作盘b。操作员还能够一边观察在示教
操作盘b上显示的拍摄图像一边对照相机c的位置进行微调。另外，由照相机c拍摄到的拍摄图像不仅可以显示在示教操作盘b上，还可以显示在虚拟空间v内的其他窗口中。
47.光学条件设定部215设定配置在虚拟空间v内的照相机c的光学条件。具体而言，光学条件设定部215能够模拟照相机c的镜头的光圈、曝光时间、镜头的焦点等。例如，光学条件设定部215通过变更照相机c的镜头的光圈、曝光时间等，能够变更由照相机c拍摄到的拍摄图像的亮度。另外，光学条件设定部215通过使镜头的焦点对准，使由照相机c拍摄到的拍摄图像鲜明。
48.照相机c和光学条件设定部215优选在虚拟空间上再现与实际的照相机和镜头相同的部件。
49.坐标系设定部216设定用于视觉校正的坐标系。例如，坐标系设定部216进行为了照相机c的校准而取代工件w配置的点阵图夹具的设置位置的设定、用于决定校正面的坐标系的设定。
50.在照相机c的校准中，通过由照相机c拍摄操作员设定了设置位置的点阵图夹具，能够将由照相机c拍摄到的拍摄图像上的工件w的位置信息转换为成为机器人r的动作基准的坐标系中的位置信息。
51.在使用了2维照相机的视觉校正中，为了测量在所设定的校正面上的工件w的偏移量而进行校正，操作员设定确定校正面的坐标系。如图7所示，坐标系设定部216作为用于进行视觉校正的坐标系，在虚拟空间v内设定坐标系s，在虚拟空间v内配置坐标系s。由坐标系s决定的校正面用于测量工件w的偏移量并进行校正。
52.坐标系确认部217在为了照相机c的校准而取代工件w配置的点阵图夹具的位置没有被适当设定的情况下，使通知部223显示表示点阵图夹具的位置未被适当地设定的警报。由此，操作员能够学到适当地设定坐标系的方法。
53.另外，坐标系确认部217在通过照相机c的校准求出的机器人r和照相机c的位置关系与配置于虚拟空间v内的机器人r和照相机c的位置关系不同的情况下，通过通知部223显示表示机器人r以及照相机c的位置未被适当地设定的警报。
54.工件检测部218示教工件w的模型化后的模型图案，使用模型图案从通过照相机c拍摄工件w的拍摄图像中检测工件w的位置。基准位置设定部219将由工件检测部218在拍摄图像中检测出工件w的位置设定为工件w的基准位置。
55.工件检测部218在工件w的位置移动后，再次从拍摄图像检测工件w的位置。然后，计算部220计算由工件检测部218检测出的工件的位置与基准位置的偏移量。
56.视觉校正部221在工件w的位置移动后，基于由照相机c拍摄到的拍摄图像，对预定的动作进行视觉校正。具体而言，视觉校正部221按照基于由照相机c拍摄到的拍摄图像计算出的偏移量对机器人r的示教位置进行校正，以对工件w进行预定的动作的方式进行示教。
57.校正确认部222确认对于工件w适当地视觉校正了预定的动作。例如，校正确认部222在工件w的位置移动后，在虚拟空间v内知道工件w的移动量，因此，在根据由照相机c拍摄到的拍摄图像中检测出的工件w的位置计算出视觉校正量时，比较工件w的移动量和视觉校正量，并能够确认是否适当地进行视觉校正。
58.例如，在未适当地进行视觉校正的情况下，在工件w的位置移动之后，机器人r无法
对工件w适当地完成预定的动作。因此，校正确认部222通过通知部223显示表示未适当地进行视觉校正的警报。
59.通知部223在虚拟空间v内显示警报。具体而言，如上所述，在坐标系s不是为了进行视觉校正的适当位置的情况下、或未适当地进行视觉校正的情况下，通知部223在虚拟空间v内的其他窗口中显示警报。
60.这样，由于在虚拟空间v内配置有机器人r、工件w、照相机c、坐标系s等，因此操作员能够在视觉上确认是否适当地进行坐标系的设定、视觉校正等。而且，系统也能够在设定不适当的情况下显示警报。之后，操作员能够以适当地进行视觉校正的方式修正各设定。
61.图8是表示视觉校正实习系统100的处理的流程图。
62.在步骤s1中，虚拟空间生成部211生成虚拟空间v的图像。由虚拟空间生成部211生成的虚拟空间v显示于头戴式显示器1的显示面板14。
63.在步骤s2中，操作盘配置部212在虚拟空间v内配置机器人r的示教操作盘b。配置示教操作盘b的位置可以预先设定，也可以通过操作员的操作来设定。
64.在步骤s3中，示教部213在虚拟空间v内配置机器人r以及工件w，以机器人r对工件w进行预定的动作的方式进行示教。
65.在步骤s4中，照相机配置部214在虚拟空间v内，在工件w进入视野内的位置配置照相机c。
66.在步骤s5中，坐标系设定部216在虚拟空间v内设定用于视觉校正的坐标系s，在虚拟空间v内配置坐标系s。坐标系确认部217确认由坐标系设定部216设定的坐标系s是为了进行视觉校正的适当位置。在坐标系s不是为了进行视觉校正的适当位置的情况下，通知部223在虚拟空间v内的其他窗口中显示表示坐标系s不是适当的位置的警报。
67.在步骤s6中，视觉校正部221在工件w的位置移动后，基于由照相机c拍摄到的拍摄图像，对预定的动作进行视觉校正。
68.在步骤s7中，校正确认部222确认对工件w适当地视觉校正了预定的动作。在未适当地进行视觉校正的情况下，通知部223在虚拟空间v内的其他窗口中显示表示未适当地进行视觉校正的警报。
69.根据本实施方式，用于实习视觉校正的视觉校正实习系统100具备：头戴式显示器1，其能够显示虚拟空间的图像；以及示教装置2，其以能够通信的方式与头戴式显示器连接。示教装置2具有：虚拟空间生成部211，其生成虚拟空间的图像；示教部213，其在虚拟空间v内配置机器人r和工件w，以机器人r对工件w进行预定的动作的方式进行示教；照相机配置部214，其在虚拟空间v内，在工件w进入视野内的位置配置照相机c；视觉校正部221，其在工件w的位置移动之后，基于由照相机c拍摄到的摄像图像，对预定的动作进行视觉校正；以及校正确认部222，其确认预定的动作被适当地进行视觉校正。
70.通过使用这样的视觉校正实习系统100，操作员能够一边观察头戴式显示器1所显示的虚拟现实的影像一边实习视觉校正。因此，操作员能够提高对影像世界的沉浸感，能够高效地进行实习。
71.另外，视觉校正实习系统100还具备机器人的控制装置和示教操作盘，头戴式显示器1以能够通信的方式与控制装置连接，通过与控制装置连接的示教操作盘进行操作。
72.另外，示教装置2还具备在虚拟空间v内配置机器人的示教操作盘b的操作盘配置
部212。示教装置2还具备坐标系设定部216，其在虚拟空间内设定用于视觉校正的坐标系s，并在虚拟空间内配置坐标系s。另外，示教装置2还具备坐标系确认部217，其确认由坐标系设定部216设定的坐标系s是为了进行视觉校正的适当的位置。由此，操作员能够直观地理解坐标系s是为了进行视觉校正的适当的位置。因此，操作员能够高效地进行视觉校正的实习。
73.另外，示教装置2还具备设定照相机c的光学条件的光学条件设定部215。由此，视觉校正实习系统100能够模拟照相机c的光学条件，因此操作员能够适当地设定照相机c的光学条件。
74.另外，示教装置2还具备在虚拟空间v内显示警报的通知部223。由此，视觉校正实习系统100在没有适当地进行坐标系s和视觉校正的设定的情况下，能够通过所显示的警报对操作员进行通知。
75.另外，示教装置2还具备：工件检测部218，其对工件w的模型图案进行示教，并使用模型图案从由照相机c拍摄工件w而得到的拍摄图像来检测工件w的位置；基准位置设定部219，其将由工件检测部218在拍摄图像中检测出工件w的位置设定为工件w的基准位置；以及计算部220，其在工件w的位置移动之后，计算由工件检测部218检测出的工件w的位置与基准位置的偏移量。然后，视觉校正部221使用计算出的偏移量，对预定的动作进行视觉校正。由此，视觉校正实习系统100能够使用计算出的偏移量适当地进行视觉校正。
76.以上，对本发明的实施方式进行了说明，但本发明不限于所述的实施方式。另外，本实施方式所记载的效果只不过是列举了由本发明产生的最优选的效果，本发明的效果并不限定于本实施方式所记载的效果。
77.附图标记说明
78.100视觉校正实习系统
79.1头戴式显示器
80.2示教装置
81.21控制部
82.22通信部
83.23存储部
84.24操作部
85.211虚拟空间生成部
86.212操作盘配置部
87.213示教部
88.214照相机配置部
89.215光学条件设定部
90.216坐标系设定部
91.217坐标系确认部
92.218工件检测部
93.219基准位置设定部
94.220计算部
95.221视觉校正部
96.222校正确认部
97.223通知部。

技术特征：

1.一种离线模拟系统，其用于实习视觉校正，其特征在于，该离线模拟系统具备：信息处理装置，其能够显示虚拟空间的图像；以及示教装置，其以能够通信的方式与所述信息处理装置连接，所述示教装置具有：虚拟空间生成部，其生成所述虚拟空间的图像；示教部，其在所述虚拟空间内配置机器人以及工件，以所述机器人对所述工件进行预定的动作的方式进行示教，照相机配置部，其在所述虚拟空间内，在所述工件进入视野内的位置配置照相机；视觉校正部，其在所述工件的位置移动后，基于由所述照相机拍摄到的拍摄图像，对所述预定的动作进行视觉校正；以及校正确认部，其确认所述预定的动作被适当地进行视觉校正。2.根据权利要求1所述的离线模拟系统，其特征在于，所述离线模拟系统还具备所述机器人的控制装置和示教操作盘，所述信息处理装置以能够通信的方式与所述控制装置连接，通过与所述控制装置连接的所述示教操作盘进行操作。3.根据权利要求1或2所述的离线模拟系统，其特征在于，所述示教装置还具备在所述虚拟空间内配置所述机器人的示教操作盘的操作盘配置部。4.根据权利要求1至3中任一项所述的离线模拟系统，其特征在于，所述示教装置还具备坐标系设定部，该坐标系设定部在所述虚拟空间内设定用于视觉校正的坐标系，并在所述虚拟空间内配置所述坐标系。5.根据权利要求4所述的离线模拟系统，其特征在于，所述示教装置还具备坐标系确认部，该坐标系确认部确认由所述坐标系设定部设定的所述坐标系在为了进行所述视觉校正的适当的位置。6.根据权利要求1至5中任一项所述的离线模拟系统，其特征在于，所述示教装置还具备设定所述照相机的光学条件的光学条件设定部。7.根据权利要求1至6中任一项所述的离线模拟系统，其特征在于，所述示教装置还具备在所述虚拟空间内显示警报的通知部。8.根据权利要求1至7中任一项所述的离线模拟系统，其特征在于，所述示教装置还具备：工件检测部，其对所述工件的模型图案进行示教，使用所述模型图案从由所述照相机拍摄所述工件而得的拍摄图像来检测所述工件的位置；基准位置设定部，其将由所述工件检测部在所述拍摄图像中检测出工件的位置设定为工件的基准位置；以及计算部，其在所述工件的位置移动后，计算由所述工件检测部检测出的所述工件的位置与所述基准位置的偏移量，所述视觉校正部使用计算出的所述偏移量对所述预定的动作进行视觉校正。

技术总结

提供一种离线模拟系统，能够高效地进行视觉校正的实习。用于实习视觉校正的视觉校正实习系统具备：头戴式显示器，其能够显示虚拟空间的图像；以及示教装置，其以能够通信的方式与头戴式显示器连接。示教装置具备：视觉校正部，其在工件的位置移动之后，基于由照相机拍摄到的拍摄图像，对预定的动作进行视觉校正；以及校正确认部，其确认预定的动作被适当地进行视觉校正。行视觉校正。行视觉校正。