解析器:自动探索对话设计以生成 nlu 对话行为图
botsim 最重要的设计原则之一是任务无关的机器人评估,以人平台的所有机器人。用户无法手动探索如此复杂的设计,从而创建覆盖不同对话路径的测试用例。botsim 提供了一种“黑盒”测试方案,并通过特定于平台的解析器假设测试机器人无需任何先验知识。该解析器通过将机器人设计建模为图,自动将对话设计转换为对话行为图形式的统一表示。
部署前测试的目标生成
生成器模块的另一大优势在于其高效的数据测试用例生成能力。测试用例封装在“目标”结构中,由模拟器完成部署前的测试。对话目标包含完成给定对话定义的任务所需的所有必要信息。这些 开曼群岛 whatsapp 移动数据库 信息包括对话行为(例如“通知/请求”)和对话行为图中的实体(例如“案例编号”、“电子邮件”)。此外,还加入了特殊的“意图”槽,用于探测意图模型。为了提高测试覆盖率和语言多样性,我们训练了一个释义模型,以便根据输入的意图语句生成高效的数据意图查询。
通过用不同的值填充实体槽,生成器可以生成大量目标实例,用于对话模拟,以便在部署机器人之前测试机器人的性能。
模拟器:基于议程的用户模拟
botsim通过对话行为图(nlu)、模拟目标(状态管理器)和响应模板(nlg),可以模拟用户与机器人“聊天”,完成目标中定义的任务。
每个目标实例用于模拟一段对话。为了评估 nlu 性能,意图查询用于测试意图模型,所有其他槽位用于探测 ner 模型。更重要的是,根据测试目标是否成功完成,还可以获得端到端对话级性能(例如,目标/任务完成率)。对话通过自动 api 调用进行,从而节省了昂贵且耗时的手动机器人测试工作。