Massimo BonanniSR Consultant EMEA Modern Apps Domain Microsoft@massimobonannimassimo.bonanni@microsoft.com

Cognitive Services & LUIS

Meet{cast}

powered by

1

Cognitive ServicesPerch Cognitive Services?Cognitive Services overviewCome iniziareComputer Vision API overviewDemo

Language Understanding Intelligent Service (LUIS)OverviewCreare una nuova app LUISIntenti, Entit, EspressioniTraining del modello Pubblicare il servizio RESTDemoE, poi.......

Agenda

powered by

Cognitive Services

powered by

Piattaforma composta da API RESTFacile da utilizzare: poche line di codice.Utilizzabile con qualsiasi piattaforma di sviluppoAmpia offerta di servizi in continua crescitaCostruiti da esperti di Microsoft Research, Bing e Azure Machine Learning.Documentazione, codice di esempio e contributo della communityFacileFlessibileTestatoPerch Microsoft Cognitive Services?

GET A KEY

BUILD

Microsoft Build 2016 2016 Microsoft Corporation. All rights reserved. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.1/22/2017 6:56 PM4

VisionComputer Vision | Emotion | Face | VideoSpeechBing Speech | Custom Recognition | Speaker RecognitionKnowledgeAcademic Knowledge | Entity Linking | Knowledge Exploration | RecommendationsLanguageBing Spell Check | Language Understanding Linguistic Analysis | Text Analytics | Translator | Web Language ModelSearchBing Autosuggest | Bing Image Search | Bing News Search | Bing Video Search | Bing Web Search

Microsoft Cognitive ServicesDai alle tue app un lato umano!!Cognitive Services API

powered by

Microsoft Build 2016 2016 Microsoft Corporation. All rights reserved. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.1/22/2017 6:56 PM5

Computer Vision APIRicavare informazioni utili da immagini (tag, descrizione, colore, etc., etc.).

Video APIMotion detection, face detection, stabilizzazione, generazione di anteprime e analisi dei frame.

Face APIRilevare, identificare, analizzare volti allinterno delle immagini.

Emotion APIEseguire il riconoscimento delle emozioni allinterno di immagini e foto. Vision

Content ModeratorModerare testo, immagini e video con possibilit di intervenire manualmente nei risultati.

powered by

1/22/2017 6:56 PM

Bing Speech APIConversione tra testo e parlato e viceversa. Comprensione degli intenti.

Speaker Recognition APIIdentificare uno speaker in un file audio o utilizzare laudio come un mezzo per l'autenticazione con l'API Speaker Recognition.

Custom Recognition Intelligent Service (CRIS)Funzionalit di Speech Recognition personalizzabili. Speech

powered by

1/22/2017 6:56 PM

Text Analytics APIRileva sentimenti, frasi chiavi, argomenti e lingua di un testo.Bing Spell Check APICorrezione ortografica e di digitazione del testo.

Web Language Model APIAutomatizza un'ampia gamma di attivit standard di elaborazione del linguaggio naturale tramite API di modellazione del linguaggio.

Linguistic Analysis APIAnalisi linguistica del testo.

Language Understanding Intelligent Service (LUIS)Comprensione del linguaggio e degli intenti.

Language

Translator APITraduzione di audio e testo con API REST.

powered by

1/22/2017 6:56 PM

Knowledge Exploration ServiceAggiungere funzionalit di ricerca di knowledge base attraverso dati strutturati e linguaggio naturale.

Entity Linking ServiceIndividuazione entit allinterno del testo con possibilit di avere collegamenti con esse.Recommendations APIFornire consigli sui prodotti personalizzati per il vostro cliente e migliorare le vendite nel vostro negozio

Academic Knowledge APIEsplorare le relazioni esistenti tra scritti accademici, libri, riviste e autori.

Knowledge

QnA MakerQnA Maker estrae tutte le possibili coppie di domande e risposte da contenuti forniti dall'utente - URL frequenti, documenti e contenuti editoriali.

powered by

1/22/2017 6:56 PM

Bing Web Search APIFornire funzionalit di ricerca di siti web, immagini, video, notizie.

Bing Video Search APIAggiungere funzionalit di ricerca di video con possibilit di visualizzare anteprima e dati di tendenza.

Bing Autosuggest APIFornire suggerimenti automatizzati per le ricerche.

Bing Image Search APIAggiungere ricerca di immagini allinterno delle applicazioni o dei siti web.

Bing News Search APIAggiungere funzionalit di ricerca di notizie. Search

powered by

1/22/2017 6:56 PM

https://www.microsoft.com/cognitive-services/Come iniziare

powered by

Come iniziare

Costi su https://aka.ms/cognitivecostsNumero di transazioni disponibili nella versione freeChiavi per lutilizzo del servizioQuote utilizzate

powered by

Portal OverviewDEMO

powered by

Utilizzando le API di Computer Vision possibile:analizzare e filtrare contenuti visivi generando descrizioni e tag, utilizzare il riconoscimento ottico dei caratteri per identificare il testo trovato in immagini, distinguere le combinazioni di colori,creare miniature a partire da immagini complete,riconoscere la presenza di facce,riconoscere celebrit.

Computer Vision API

powered by

14

Free (default quando ci registriamo):5.000 chiamate mensili, 20 al minuto (terminate le quali otteniamo un errore HTTP 439, TOO MANY CALLS)Gratuito!!! Ottimo per fare prove!!!!Standard:10 transazioni al secondo1.50$ per 1000 transazioni

Condizioni di utilizzoPianoDescrizionePrezzoFree10,000 transazioni al mese, 20 al minutoFreeStandard10 transazioni al secondo (TPS)$1.50 per 1000 transazioni

powered by

Computer Vision APIDEMO

powered by

Pensato per aiutare le persone con disabilit visivaUnapplicazione per vedere il mondo che ci circondaUtilizza i servizi Vision, Emotion e Bing Translator per descrivere immagini, persone ed emozioni utilizzando il linguaggio dellutentePoint and ClickOpen-Source su GitHubApp cross-platform con XamarinWindows, Android, iOSCross-experienceGira anche su Windows 10 IoT Core Intel Joule 570x

See4Mehttps://github.com/DotNetToscana/See4Me

Vision API

Emotion API

Speech API

TranslatorAPI

powered by

17

LUISLanguage Understanding Intelligent Service

powered by

Un servizio di Cognitive Services che fornisce agli sviluppatori un modo semplice per creare modelli di linguaggio da utilizzare nelle applicazioni per comprendere comandi dell'utente.

Creare il proprio modelloAddestrare il modello tramite esempiPubblicare il proprio servizio HTTP da utilizzare nelle applicazioniGestire ed evolvere il modello in maniera sempliceLanguage Understanding Intelligence Service (LUIS)

19

Uno dei problemi chiave nelle interazioni uomo-computer la capacit del computer di capire ci che una persona vuole, e di trovare i pezzi di informazioni che sono rilevanti per il suo intento. Per esempio, in una applicazione che visualizza delle news, lutente potrebbe dire Trovami notizie su aziende di realt virtuale, nel qual caso vi l'intenzione (intento) di Trovare notizie, e il tema societ di realt virtuale come informazione essenziale (entit).

LUIS stato progettato per consentire di implementare rapidamente servizi REST in grado di comprendere intenti e capire entit presenti in una frase.

LUIS consente di progettare l'insieme delle intenzioni e le entit che sono rilevanti per l'applicazione, e poi guida l'utente attraverso il processo di costruzione di un sistema di comprensione del linguaggio.

Overview

powered by

Una volta che l'applicazione viene distribuita e gli utenti cominciano ad interagire con essa, LUIS permette, inoltre, di utilizzare una sorta di apprendimento attivo per migliorare se stesso.

Nel processo di apprendimento attivo, LUIS identifica le interazioni non gestite e permette di etichettarle secondo le intenzioni e le entit.

In questo modo LUIS ci permette diMigliorare costantemente il sistema;Concentrarsi sulle sole affermazioni importanti per lutente minimizzando il tempo speso per il training del sistema stessoOverview

powered by

Per iniziare ad utilizzare LUIS necessario registrarsi su http://www.luis.ai/Per creare e rendere disponibile una app LUIS (di fatto un REST Service) necessarioCreare una nuova App nel portaleDefinire intenti ed entitDefinire le espressioni compresedallappEseguire il training del modelloPubblicare il servizioUtilizzare il servizio con chiamateREST

Creare una nuova app

powered by

Scenari di utilizzo

LUIS pu essere utilizzato in scenari IoT, come ad esempio attivazione vocale di luci, vendor machine, scenari di facial recognition per accessi e altri.IoT

LUIS permette di essere integrato con il Bot Framework di di Microsoft e poter essere utilizzato allinterno di Slack, Skype ed alter piattaforme di messaging.Chat bots

LUIS utilizza dei modelli pre-compilati utilizzati in Bing e Cortana che permettono agli sviluppatori di aggiungere facilmente le proprie funzionalit di assistente virtuale.Assistente Virtuale

powered by

23

Creare una nuova app MyBankDEMO

powered by

Definisce una intenzione catalogata allinterno del modello, ad esempio Vorrei una pizza margherita potrebbe essere lintento MakeOrder in una applicazione di gestione degli ordini per una pizzeria

Indentificato da una label (es. MakeOrder) un elenco di espressioni (es. Voglio una margherita, Ordino una capricciosa!, etc., etc.)eventuali entit (margherita, capricciosa, etc., etc.)Intenti

powered by

Informazione importante allinterno di intento, ad esempio margherita potrebbe essere lentit PizzaType allinterno dellintento MakeOrder

Possono esistere pi entit per ogni label, ad esempio PizzaType potrebbe avere margherita, capricciosa, etc., etc.

Le entit possono essere:Generiche: definisce di fatto solo il tipoGerarchiche: definisce il tipo e delle entit specifiche (ad esempio PizzaType::Margherita)Predefinite: sono entit predefinite (come, ad esempio, date, percentuali, etc., etc.)

Possono essere definite fino a 10 entit di ogni tipoper ogni applicazioneEntit

powered by

Espressione:frase che pu essere associata ad un intento e pu contenere delle entityAd esempio vorrei ordinare una margherita e una capricciosa un espressione che risponde allintento MakeOrdercontiene due entit di PizzaType ed esattamente margherita e capriciosaEspressioni

powered by

Quando si esegue il training di un modello, LUIS prende in considerazione intenti, entit e espressioni e tenta di generalizzarli (sfruttando algoritmi di machine learning) per sviluppare un modello di riconoscimento.

Tecnicamente, LUIS utilizza classificatori di regressione logistica per determinare intenti, e campi aleatori condizionali (CRF) per determinare le entit.

Per eseguire il training del modello sufficiente fare clic sul pulsante nell'angolo in basso a sinistra della pagina. Il training avviene anche automaticamente con intervalli regolari.Training del modello

powered by

Il comando di pubblicazione genera un endpoint HTTP di tipo REST che consente di interpretare frasi di testo.

La finestra di dialogo di pubblicazione consente di eseguire subito un test.Pubblicazione del servizio REST Api

URL di test (GET)

powered by

Free (default quando ci registriamo):10.000 transazioni mensili (terminate le quali otteniamo un errore HTTP 439, TOO MANY CALLS)Gratuito!!! Ottimo per fare prove!!!!Standard:10 transazioni al secondo0.75$ per 1000 transazioni

Condizioni di utilizzoPianoDescrizionePrezzoFree10,000 transazioni al meseFreeStandard10 transazioni al secondo$0.75 per 1000 transazioni

powered by

MyPizzaDEMO

powered by

powered by

32

Cognitive Services Web Sitehttps://www.microsoft.com/cognitive-services

SDK & Sampleshttps://www.microsoft.com/cognitive-services/en-us/SDK-Sample

Documentationhttps://www.microsoft.com/cognitive-services/en-us/documentation

Stack Overflowhttps://stackoverflow.com/questions/tagged/microsoft-cognitive

UserVoicehttps://cognitive.uservoice.com/

Pricinghttps://www.microsoft.com/cognitive-services/en-us/pricing

Videoshttps://myignite.microsoft.com/videos/49997https://myignite.microsoft.com/videos/2828

dotNet{podcast} - #119 Cognitive Services http://dotnetpodcast.com/show/card/119Reference Cognitive Services

powered by

33

LUIS Web Sitehttps://www.luis.ai/

Documentationhttps://www.luis.ai/HelpReference LUIS

powered by

34