一种操作界面交互方法、装置、设备及存储介质与流程

1.本发明涉及互联网编程技术领域，尤其涉及一种操作界面交互方法、装置、设备及存储介质。

背景技术：

2.随着计算机技术的不断发展，各种编程语言的学习热度越来越高，随之而来的是各种编程语言的学习软件。在这些学习软件中，内置了各种不同编程语言的代码编辑器，例如python编辑器。
3.用户在代码编辑器输入从编程课程中学到的代码，并在运行后通过对应用中操作界面进行操作来查看代码是否运行成功以及具体运行结果。比如打开左侧的文件夹管理，预览图片，控制台日志信息清空等，操作十分复杂。且对于年纪较小的非成人用户，这些操作还十分难教，分散孩子的注意力。

技术实现要素：

4.本发明提供了一种操作界面交互方法、装置、设备及存储介质，以实现对代码编辑器中操作界面的自动操作。
5.根据本发明的一方面，提供了一种操作界面交互方法，包括：
6.获取代码编辑器中用户代码匹配的隐藏代码；
7.将所述用户代码和所述隐藏代码确定为运行代码；
8.在所述运行代码的用户代码运行时，根据所述隐藏代码对所述代码编辑器的操作界面进行操作。
9.根据本发明的另一方面，提供了一种操作界面交互装置，包括：
10.隐藏代码获取模块，用于获取代码编辑器中用户代码匹配的隐藏代码；
11.运行代码确定模块，用于将所述用户代码和所述隐藏代码确定为运行代码；
12.操作界面操作模块，用于在所述运行代码的用户代码运行时，根据所述隐藏代码对所述代码编辑器的操作界面进行操作。
13.根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
14.至少一个处理器；以及
15.与所述至少一个处理器通信连接的存储器；其中，
16.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的用户界面交互方法。
17.根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的用户界面交互方法。
18.本发明实施例通过为用户代码匹配隐藏代码，并运行该隐藏代码来时实现用户代
码运行中和/或运行后对操作界面的自动操作，无需用户手动对操作界面进行频繁操作，使用户可以将更多注意力放在用户代码本身，提高代码学习效果和学习效率。
19.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
20.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1a是根据本发明一实施例提供的一种用户界面交互方法的流程图；
22.图1b是根据本发明一实施例提供的一种代码编辑器的界面示意图；
23.图2a是根据本发明又一实施例提供的一种用户界面交互方法的流程图；
24.图2b是根据本发明又一实施例提供的一种图形操作命令生成和处理示意图；
25.图3是根据本发明又一实施例提供的一种用户界面交互装置的结构示意图；
26.图4是实现本发明实施例的电子设备的结构示意图。
具体实施方式
27.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
28.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
29.图1a为本发明一实施例提供的一种操作界面交互方法的流程图，本实施例可适用于用户在代码编辑器中仅输入用户代码，由应用提供匹配的隐藏代码，将用户代码和隐藏代码一并运行，从而实现对用户操作界面自动操作的情况，该方法可以由操作界面交互装置来执行，该装置可以采用硬件和/或软件的形式实现，该装置可配置于具备相应数据处理能力的电子设备中，例如安装有编程学习应用的客户端。如图1a所示，该方法包括：
30.s110、获取代码编辑器中用户代码匹配的隐藏代码。
31.s120、将所述用户代码和所述隐藏代码确定为运行代码。
32.其中，代码编辑器可以是安装在用户主机中的编程语言学习应用，由运行时的代码和操作界面组成，用户可通过操作界面来对代码运行的结果进行查看和处理，例如下载
图像的用户代码运行后，对下载到本地文件夹中的图片进行查看。用户代码为用户在学习编程语言时，根据课程内容自己手动在代码编辑器输入的代码。隐藏代码无需用户输入，由开发人员预先撰写，用于根据用户代码内容对操作界面进行相应的自动化操作。有用户代码和隐藏代码两种代码，隐藏代码是无需输入但是运行时一起执行的代码，可以理解为实际运行代码＝学生代码+隐藏代码；显示在界面上的代码＝学生代码。可选的，当所述代码编辑器为python编辑器时，所述操作界面为python编辑器的代码学习操作界面，隐藏代码可以是通过python中的print函数输出的协议字符，它被当作隐藏代码所使用在课程内容中。
33.具体的，用户在代码编辑器中输入用户代码，应用根据用户输入的用户代码，确定与该用户代码匹配的预先准备好的隐藏代码，隐藏代码不会展示在代码编辑区中。相应的，在用户完成用户代码的输入，应用准备执行用户代码前，会将隐藏代码同样作为待运行的运行代码。即用户虽然仅输入了用户代码，但最终的运行代码还包括用户未输入的隐藏代码。
34.示例性的，图1b是根据本发明一实施例提供的一种代码编辑器的界面示意图。其中，用户在代码编辑器的代码编辑区中输入用户代码，将网络上的图像下载到本地进行保存。操作界面包括左上角的本地文件夹打开按钮和右边的输出区。
35.s130、在所述运行代码的用户代码运行时，根据所述隐藏代码对所述代码编辑器的操作界面进行操作。
36.具体的，传统方案中用户在用户代码运行中和/或运行后，需要手动对操作区进行操作，例如在代码运行时的某一时刻，打开左侧的文件夹管理器查看文件处理结果；或在日志冗余过多时，清空控制台的信息。在用户代码运行中和/或运行后，通过隐藏代码中打印的命令，可以实现python运行时与外部程序的通讯，外部程序可以是gui，或者任何可以独立运行在对应系统中的程序。而当外部程序监听到python进程的输出，则会自动做出对操作界面的对应操作。比如代码运行过程中应用自动打开左侧的文件夹管理器；或在日志冗余过多时，自动清空控制台的信息。
37.本发明实施例通过为用户代码匹配隐藏代码，并运行该隐藏代码来实现用户代码运行时对操作界面的自动操作，无需用户手动对操作界面进行频繁操作，使用户可以将更多注意力放在用户代码本身，提高代码学习效果和学习效率。
38.图2a为本发明又一实施例提供的一种操作界面交互方法的流程图，本实施例在上述实施例的基础上进行了优化改进。如图2a所示，该方法包括：
39.s210、将用户在代码编辑器中输入的待运行代码确定为用户代码；从隐藏代码库中获取与所述用户代码匹配的隐藏代码。
40.具体的，开发人员需预先为用户代码编写对应的隐藏代码，给出用户代码和隐藏代码之间的关联关系，并将两者记录于隐藏代码库中。用户在完成对用户代码的输入而准备执行时，应用会根据用户代码的代码内容，从隐藏代码库查开发人员是否为该用户代码提前准备了对应的隐藏代码，如果有，则将该隐藏代码作为运行代码的一部分，等待后续执行以完成对操作界面的自动化操作；如果没有，则运行代码仅包括用户代码，用户需手动完成对操作界面的操作。
41.可选的，所述从隐藏代码库中获取与所述用户代码匹配的隐藏代码之前，还包括：
42.从应用后端获取候选隐藏代码，并根据所述候选隐藏代码生成隐藏代码库。
43.具体的，由于代码编辑器难以避免的会出现断网或网络不佳等情况，为避免由于网络问题而无法将隐藏代码加载到运行代码中，可以提前从应用后端的服务器中，将开发人员编写的隐藏代码和课程的关联关系下载到应用本地，并生成相应的本地隐藏代码库，从而提高网络不佳情况下的容错率。
44.s220、将所述用户代码和所述隐藏代码确定为运行代码。
45.示例性的，通过隐藏代码在前，用户代码在后的方式拼接起来，合成最终的运行代码。
46.s230、在所述运行代码的用户代码运行时,将所述隐藏代码解析为所述代码编辑器的操作界面的图形操作命令，并将所述图形操作命令发送给图形用户接口；控制所述图形用户接口执行所述图形操作命令，完成对所述操作界面的操作。
47.具体的，应用中一般可也分为两部分，一个是负责运行结果和状态的compiler sdk，另一个是负责应用内相关操作界面的图形用户接口，简称gui。sdk负责创建子进程并通过该子进程将python运行代码交给python解释器进程，由其负责子进程和gui的管理，即运行代码的显示界面通讯工作。示例性的，图2b是根据本发明又一实施例提供的一种图形操作命令生成和处理示意图。其中，sdk对包括用户代码和隐藏代码的运行代码进行处理，从而将隐藏代码解析处理为包含对操作界面操作内容信息的图形操作命令(gui-command)，并将gui-command发送给gui，gui在收到gui-command请求后，具体处理每个gui-command请求的逻辑，从而完成对所述操作界面的操作。
48.可选的，所述将所述隐藏代码解析为所述代码编辑器的操作界面的图形操作命令包括：
49.获取所述隐藏代码的目标起始字符；
50.所述目标起始字符与标准起始字符相同，则将所述隐藏代码解析为所述代码编辑器的操作界面的图形操作命令。
51.具体的，为使compiler sdk可以对运行代码中的隐藏代码进行有效区分和处理，可以为隐藏代码设计特定的隐藏协议，具体可以为：隐藏代码的头部均存在预先规定的标准起始字符，以与用户代码头部的常规起始字符进行有效区分。sdk在检测到以标准起始字符开头的运行代码时，会将该运行代码确定为隐藏代码，并转换成gui-command发送到gui模块。
52.示例性的，以图1a中的用户代码为例，可以预先为其准备如下隐藏代码：
53.print('::app.gui:func_showimage(./images/图片名称.png):')。
54.通过此命令，可以实现在gui模块中打开指定路径中的图片。以解决使用系统窗口打开的系统兼容性问题。
55.如上代码指定一个gui命令，调用func_showimage函数，把图片的相对路径传入到此函数中，在运行之后会在界面上弹出一个内嵌在应用内的图片展示框；
56.print('::app.gui:func_hideimage():')
‑‑
关闭当前展示的图片。
57.print('::app.gui:open-folder:')
‑‑
打开左侧文件管理器
58.print('::app.gui:close-folder:')
‑‑
关闭左侧文件管理器
59.print('::app.gui:clear-logs:')
‑‑
清空右侧输出区内容。
60.通过上述隐藏代码的运行，可以实现对文件管理器中文件的自动查看，以及输出区内容的自动清空。其中，“::app.gui:”即为区分用户代码和隐藏代码的标准起始字符，compilersdk会把任何“::app.gui:”开头的隐藏代码转换成gui-command发送到gui模块。
61.本发明实施例通过提前从应用后端的服务器中，将开发人员编写的隐藏代码和关联关系下载到应用本地，并生成相应的本地隐藏代码库，从而提高网络不佳情况下的容错率。
62.图3为本发明又一实施例提供的一种操作界面交互方法的结构示意图。如图3所示，该装置包括：
63.隐藏代码获取模块310，用于获取代码编辑器中用户代码匹配的隐藏代码；
64.运行代码确定模块320，用于将所述用户代码和所述隐藏代码确定为运行代码；
65.操作界面操作模块330，用于在所述运行代码的用户代码运行时，根据所述隐藏代码对所述代码编辑器的操作界面进行操作。
66.本发明实施例所提供的用户界面交互装置可执行本发明任意实施例所提供的用户界面交互方法，具备执行方法相应的功能模块和有益效果
67.可选的，所述隐藏代码获取模块310包括：
68.用户代码确定单元，用于将用户在代码编辑器中输入的待运行代码确定为用户代码；
69.隐藏代码获取单元，用于从隐藏代码库中获取与所述用户代码匹配的隐藏代码。
70.可选的，所述隐藏代码获取模块310还包括隐藏代码下载单元，用于从应用后端获取候选隐藏代码，并根据所述候选隐藏代码生成隐藏代码库。
71.可选的，所述操作界面操作模块330包括：
72.操作命令生成单元，用于将所述隐藏代码解析为所述代码编辑器的操作界面的图形操作命令，并将所述图形操作命令发送给图形用户接口；
73.操作命令执行单元，用于控制所述图形用户接口执行所述图形操作命令，完成对所述操作界面的操作。
74.可选的，所述操作命令执行单元具体用于获取所述隐藏代码的目标起始字符；所述目标起始字符与标准起始字符相同，则将所述隐藏代码解析为所述代码编辑器的操作界面的图形操作命令。
75.可选的，所述代码编辑器为python编辑器，所述操作界面为python编辑器的代码学习操作界面。
76.进一步说明的操作界面交互装置也可执行本发明任意实施例所提供的操作界面交互方法，具备执行方法相应的功能模块和有益效果。
77.图4示出了可以用来实施本发明的实施例的电子设备40的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
78.如图4所示，电子设备40包括至少一个处理器41，以及与至少一个处理器41通信连
接的存储器，如只读存储器(rom)42、随机访问存储器(ram)43等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器41可以根据存储在只读存储器(rom)42中的计算机程序或者从存储单元48加载到随机访问存储器(ram)43中的计算机程序，来执行各种适当的动作和处理。在ram 43中，还可存储电子设备40操作所需的各种程序和数据。处理器41、rom 42以及ram 43通过总线44彼此相连。输入/输出(i/o)接口45也连接至总线44。
79.电子设备40中的多个部件连接至i/o接口45，包括：输入单元46，例如键盘、鼠标等；输出单元47，例如各种类型的显示器、扬声器等；存储单元48，例如磁盘、光盘等；以及通信单元49，例如网卡、调制解调器、无线通信收发机等。通信单元49允许电子设备40通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
80.处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器41执行上文所描述的各个方法和处理，例如操作界面交互方法。
81.在一些实施例中，操作界面交互方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元48。在一些实施例中，计算机程序的部分或者全部可以经由rom 42和/或通信单元49而被载入和/或安装到电子设备40上。当计算机程序加载到ram 43并由处理器41执行时，可以执行上文描述的操作界面交互方法的一个或多个步骤。备选地，在其他实施例中，处理器41可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行操作界面交互操作界面交互方法。
82.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
83.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
84.在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只
读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
85.为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
86.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
87.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
88.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
89.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：

1.一种操作界面交互方法，其特征在于，所述方法包括：获取代码编辑器中用户代码匹配的隐藏代码；将所述用户代码和所述隐藏代码确定为运行代码；在所述运行代码的用户代码运行时，根据所述隐藏代码对所述代码编辑器的操作界面进行操作。2.根据权利要求1所述的方法，其特征在于，所述获取代码编辑器中用户代码匹配的隐藏代码包括：将用户在代码编辑器中输入的待运行代码确定为用户代码；从隐藏代码库中获取与所述用户代码匹配的隐藏代码。3.根据权利要求2所述的方法，其特征在于，所述从隐藏代码库中获取与所述用户代码匹配的隐藏代码之前，还包括：从应用后端获取候选隐藏代码，并根据所述候选隐藏代码生成隐藏代码库。4.根据权利要求1所述的方法，其特征在于，所述根据所述隐藏代码对所述代码编辑器的操作界面进行操作包括：将所述隐藏代码解析为所述代码编辑器的操作界面的图形操作命令，并将所述图形操作命令发送给图形用户接口；控制所述图形用户接口执行所述图形操作命令，完成对所述操作界面的操作。5.根据权利要求4所述的方法，其特征在于，所述将所述隐藏代码解析为所述代码编辑器的操作界面的图形操作命令包括：获取所述隐藏代码的目标起始字符；所述目标起始字符与标准起始字符相同，则将所述隐藏代码解析为所述代码编辑器的操作界面的图形操作命令。6.根据权利要求1-5所述的方法，其特征在于，所述代码编辑器为python编辑器，所述操作界面为python编辑器的代码学习操作界面。7.一种用户界面交互装置，其特征在于，所述装置包括：隐藏代码获取模块，用于获取代码编辑器中用户代码匹配的隐藏代码；运行代码确定模块，用于将所述用户代码和所述隐藏代码确定为运行代码；操作界面操作模块，用于在所述运行代码的用户代码运行时，根据所述隐藏代码对所述代码编辑器的操作界面进行操作。8.根据权利要求7所述的装置，其特征在于，所述隐藏代码获取模块包括：用户代码确定单元，用于将用户在代码编辑器中输入的待运行代码确定为用户代码；隐藏代码获取单元，用于从隐藏代码库中获取与所述用户代码匹配的隐藏代码。9.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的操作界面交互方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指
令，所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的操作界面交互方法。

技术总结

本发明公开了一种操作界面交互方法、装置、设备及存储介质。该方法包括：获取代码编辑器中用户代码匹配的隐藏代码；将所述用户代码和所述隐藏代码确定为运行代码；在所述运行代码的用户代码运行时，根据所述隐藏代码对所述代码编辑器的操作界面进行操作。本发明实施例可以实现对代码编辑器中操作界面的自动操作。可以实现对代码编辑器中操作界面的自动操作。可以实现对代码编辑器中操作界面的自动操作。