会话服务与物联网
武帅 | Jacky Wu
微软中国资深技术顾问
让想象成为现实
《 星 际 穿 越 》— T a r s
《 钢 铁 侠 》— 管 家 J a r v i s
《 超 能 陆 战 队 》— 大 白
《 超 体 》— L u c y
《 星 球 大 战 》— B B 8
让机器人具有某种人类化感情 知识和信息的随时获得与读取 真实而温暖的感情陪伴 预测可能的发生 无所不知的人工智能助理
优质体验 开放可扩展 数据驱动 持续创新
提高用户体验
下一个时代已经到来:对话即平台Conversation As Platform (CaaP)
小冰 小娜
IQ
感性化 理性化
EQ
微软“人工智能姐妹花”
Windows
iOS
Android
智能提醒
完成任务
信赖有加
多维拓展
人工智能个人助理-小娜
文字
图像
声音
6000万用户
200亿次对话
34CPS
4.38语音自然度
人工智能聊天机器人-小冰
• 执行一个或多个自动化任务
• 使用对话作为面向内部 (员工) 和面向外部 (客户) 方案的接口
• 对话服务是基于人工智能解决方案的应用程序
什么是对话服务
简单的客户机器人未经身份验证的服务
先进的机器人经过身份验证的服务
内部机器人实验和学习
一般查询处理传统上隐藏在常见问题解答中的基本
客户查询。
综合查询对于 bot 无法完成的任务,结合人类代理
完成。
预约服务通过聊天处理简单的 “匿名” 任务 (例如预
约)
账户查询处理需要客户身份的查询
(即账户余额查询)
付款方式执行要求用户进行身份验证和授权的操作,
例如向预定义的收款人付款。
内部知识以现有的常见问题解答为例, 授权员工通
过 bot 提供自助知识。
Help Desk报告 IT问题并检查状态。 如果需要, bot
可以为工程师提供自助和升级。
零售机器人协助零售业务。
智能文档代理根据用户的需要搜索相关文档。
会话服务场景
Core aspects of the Internet of Things
数据
分析
物体
连接
会话服务在物联网的应用场景
Alexa + Cortana
客户服务
Bot Controls
LUIS
Query over database via
Azure Search
Form
FillingQnA
C#
Customer’s
Business Logic
& DataBot Connector
Direct Line
目标
• 从简入手
• 根据上下文适应用户
• 可组合的智能控制, 以管理上下文复杂性
什么
• 用于构建 Restful服务工具
• 功能丰富
• 接收事件的机制
• 能够调试和分析
为什么
• 实现标准协议
• 用工具模拟对话
• 用多种UI模拟对话
• 提供常见且易于理解的模式
Bot Framework SDK V3
Bot Framework SDK V4 架构图
使用Bot Framework SDK V4
简化
• 简化的框架结构,易上手
统一
• 在多种编程语言下保持统一编程模型
• 命名一致
模块化
• 模块化,易插拔
• 良好的扩展性
覆盖面
• C#
• Java
• Node
• Python
Author Dialogs
Design Cards
Visualize
Bot Builder SDK
Getting Started
Templates
Emulator
Application Insights
Emulator
DevOps Tools
Azure
BYO Web Host
Application
InsightsWebChat
Cortana
Skype
…
会话服务开发周期
基于Bot Framework的开发流程
Your Channel
Bot
Dev
Channel
Skype Channel
Cortana
Channel
Azure Management Portal
Cortana Client
messenger
Skype
Consumable for testing,
hosting in custom client
Direct Line
Websockets API
REST API
Bot Emulator
Create bot with Bot Services
Create bot with Bot Builder SDK
1.下载bot代码到本地添加
业务逻辑
2.重新发布到Azure的
Hosting 服务上
3.配置bot消息渠道
Bot
1. 添加Bot的
逻辑代码
2.创建Web app 服务,
把Bot发布到web上;
3.配置Authentication
参数
4.创建bot 注册服务,
注册Bot信息
5.配置bot消息渠道
Bot的测试
https://github.com/Azure/ibex-dashboard
Analytics dashboard
for Microsoft Bot Framework
Bot监控与分析
Bot web service
Your bot code
Entity
ExtractionSpeech
Vision/FaceNatural
LanguageTranslation
+ Microsoft Cognitive Services
Search
Emotion
Knowledge
API
…
Message input <> output
State Management
Bot Connector Service
Conversation Canvas/Channels
………
Other services, APIs,
Databases, Azure Machine
Learning, Azure Search,
etc…
Bot Builder SDK
Web Chat
Direct Line…
GroupMe
Kik
Skype
Slack
Telegram
Twilio (SMS)
Bot Builder SDK
Your bot code goes here
Bot 开发框架 + 认知服务
从人脸,物体到感情, 让应用程序了解图像和视频
Computer Vision | Video Indexer | Custom Vision |
Face | Content Moderator
视觉
语音
过滤噪音、实现语音转换
Unified Speech service | Speech to Text | Text to Speech | Speech Translation | Speaker Recognition
语言
处理文本并识别用户意图
Text Analytics | Bing Spell Check | Language Understanding |Translator Text
知识
映射复杂的信息和数据, 解决特定的任务
QnA Maker | Custom Decision
搜索
借助必应, 提供搜索数十亿网页、图像、视频和新闻的结果
Bing Web Search | Bing Custom Search | Bing Video Search |
Bing Image Search | Bing Visual Search | Bing Entity Search |
Bing News Search | Bing Autosuggest | Bing Statistics add-in
Application InsightsTelemetry collects bot
effectiveness dataCreate/Update
Knowledge
AzureSearch
Spell CheckLUIS
Case Workers
Case Management/Admin
Live Agents
QnAMaker
Text AnalyticsTranslationSentiment
Other CS
Knowledge Sources (ex)API/Data Integration
Web Services
Customer
Custom App
Dashboard
Auth
智能客服解决方案
语言理解服务
(LUIS)在HTTP端点上部署并激活应用设备
轻松维护模型
创建个人语言理解模型
通过实例训练
LUIS的优势
专业:充分利用微软研究院专业技术
LUIS充分利用微软研究院最前沿的人工智能技术。
为您的APP建立模型去更好的理解用户意图,如“开灯”;或者实例如“开始慢跑、散步、远足、骑行”。以深入的性能可视化来调整你自己的模型
简单:使用简单UX编辑器创建语言理解模型
灵活:可以在任何设备上激活模型
无论是您的手机,平板电脑或是其他任何可接入互联网的设备,语言理解模型都可以在其APP上激活。
快捷: 只用几秒钟即可在你的APP上添加会话智能
LUIS拥有强大的会话引擎,使您只需短短几步,即可在任何会话中维护上下文关系,并编辑和执行。
LUIS核心功能
LUIS提供了一组易用的工具可以完整提取出复杂的技术,让您仅用简单几步就可启动
运行。
这一突破性的功能使LUIS可以根据发送给它的话语进行自检并修正以提高精准度。
LUIS可以实施由各类渠道引发的行为。(例如HTTP, 新闻,
股票等)
如果用户提出了缺失必要参数的查询,LUIS会根据情况
发起相关补充提问。
主动学习轻松创建语言理解模型 行为实施 会话支持
在LUIS中创建意图和实体
知识库服务
(QnA Maker)在HTTP端点上部署并激活应用设备
轻松维护模型
创建知识库模型
通过实例训练
提取问题和解答QnA Maker 从用户提供的内容(包括常见问题解答 URL、文档和编辑内容)中提取所有可能存在的问答对
测试,训练和发布通过 QnA Maker 提供的易用 GUI,可以在测试和训练知识库并将其作为 API 终结点发布前,编辑、删除或添加问答对
与其他 API 和解决方案集成可以大规模地与其他 API 无缝集成。将 QnA Maker 与语言理解智能服务等认知服务搭配使用,可以创建像回答常见问题的聊天机器人这样简单的内容,也可以创建像交互式虚拟指南这样复杂的内容
基于问题为知识库服务
在知识库中添加源数据
智能你的设备
• 自然语言命令• 听话的打印机
• 随时在线的语音助手• ‘活的’说明书
• 基于Azure IoT Hub + SA + Azure SQL + Power BI,实现自贩机状态监控• 基于Bot Framework 集成甘来自贩机微信管理平台实现甘来自贩机状态(健康状况&补货信息)AI管理
• 基于微软认知服务的表情大咖秀,实现更加有趣的商品促销体验
© Microsoft Corporation
相关资料
Bot Builder V4
Get started today: aka.ms/BotBuilderOverview
• Local: aka.ms/BotBuilderLocalDev
• AZ CLI: aka.ms/BotBuilderAZCLI
• Give us feedback, report issues: aka.ms/BotBuilderIssues
Language understanding
Get started today: aka.ms/LUIS
Bot partners
Join AI Partner Inner Circle Program: http://aipartner.microsoft.com
AI labs
Conversation Learner: aka.ms/TBD
Personality Chat: aka.ms/TBD
Azure Bot Service
Get started today: aka.ms/botservice
Ask anything on Stack Overflow: aka.ms/botframeworkSOF
Report issues and feature asks: aka.ms/ABSUserVoice
Cognitive Services
Get started today: aka.ms/AIServices
© 2018 Microsoft Corporation. All rights reserved.
Thank you