Microsoft Corporation, dopo aver lanciato un servizio che consente di determinare, ha deciso di andare oltre. Ora gli specialisti dell'azienda hanno sviluppato un algoritmo che determina le emozioni di una persona raffigurata in una fotografia. In totale, il test passa attraverso otto posizioni: rabbia, soddisfazione, disgusto, paura, felicità, neutralità (si legge - un'espressione facciale distaccata), tristezza, sorpresa.
Gli sviluppatori affermano che i risultati non sono molto accurati, ma si può vedere che la valutazione è più accurata che nel caso della determinazione dell'età. Ad esempio, molti di noi possono scattare una famosa fotografia di Keanu Reeves seduto su una panchina e masticare qualcosa. Microsoft ritiene che un'emozione come la tristezza sia quasi assente dal volto dell'attore (0.01831), la sua espressione facciale è neutra.
Un'altra famosa fotografia ci mostra un bambino il cui stato emotivo è classificato come "arrabbiato". Qui abbiamo fino a 0,98752 punti.
Il lavoro dell'azienda su tali algoritmi non è un gioco. La società sta cercando di migliorare il software responsabile del riconoscimento delle foto. Nonostante alcuni errori (soprattutto con la definizione di età), tutto sembra piuttosto interessante. Microsoft prevede di aprire un'API per i suoi servizi di imaging in modo che sia possibile creare software e servizi Web che ordinano le foto in base alle emozioni delle persone nelle immagini.
Vediamo quali emozioni sta provando Bill Gates 
Tim Cook 
Eroi di Fallout 4 
Vuoi provare la risorsa in azione? Nessun problema qui
Istruzione. Ho un gioco molto interessante per te. Sai che tutte le persone a volte sono felici, a volte sorprese o arrabbiate. Ora vi mostrerò alcune immagini che mostrano una persona con qualche tipo di emozione sul volto (ad esempio gioia, dolore, paura, sorpresa, disprezzo, disgusto, vergogna, interesse, rabbia). Ecco un elenco di quelle emozioni. Cerca di determinare quale emozione si riflette in ogni foto.
Lo sperimentatore mostra alternativamente 9 fotografie e annota la risposta del bambino sul modulo accanto al numero della fotografia.
Modulo per la registrazione delle risposte
| Codice articolo | Foto | Risposta del soggetto | Nota |
622 Applicazione
Viene preso in considerazione il numero di risposte corrette, in base alle quali viene giudicata la capacità formata di determinare il segno dell'emozione dall'espressione facciale.
Definizione di emozioni per pantomima
Istruzione. E ora ti mostrerò le immagini, che raffigurano anche una persona con un qualche tipo di esperienza. Cerca di determinare quale emozione ha la persona in ogni immagine.
Al soggetto vengono mostrate a turno 8 immagini e scrive le sue risposte sul modulo.
Modulo per la registrazione delle risposte
| Codice articolo | Immagine | Risposta del soggetto | Appunti |
| M+. + .IP--MM | |||
Viene preso in considerazione il numero di risposte corrette e vengono utilizzate per giudicare la capacità formata di determinare il segno dell'emozione mediante la pantomima.
Lo studio della percezione del lato espressivo dell'immagine
La tecnica è tratta dall'articolo: Repina T.A. Percezione del lato espressivo del disegno da parte dei bambini in età prescolare e sua influenza sull'atteggiamento dei bambini nei confronti dell'eroe del libro // Domande di psicologia. - 1960. - N. 5.
Preparazione allo studio. Raccogli 10-14 riproduzioni di dipinti in cui il contenuto emotivo viene trasmesso mostrando espressioni facciali e gesti, posture dei personaggi, il rapporto dei personaggi tra loro o il loro rapporto con gli oggetti circostanti.
Condurre ricerche. L'esperimento viene condotto individualmente con bambini di 3-6 anni. Al bambino vengono mostrate le immagini in sequenza e gli viene chiesto di parlarne. Se trova difficile descriverlo, fai domande importanti (preparati in anticipo) per scoprire come comprende la trama dell'immagine, gli stati emotivi dei personaggi.
Elaborazione dati. Il numero di risposte corrette viene conteggiato quando i bambini hanno compreso correttamente la trama e lo stato emotivo dei personaggi. Il conteggio viene eseguito per ogni immagine. I risultati sono stilati in una tabella per età: 3-4 anni, 4-5 anni, 5-6 anni, 6-7 anni.
Scoprono quali stati emotivi rappresentati nelle immagini sono percepiti correttamente dai bambini ea che età. Come percepiscono le espressioni facciali di gioia e rabbia, l'espressione di tristezza e tristezza, con cosa esperienza emotiva collegano i colori vivaci dell'immagine, poiché comprendono il contenuto emotivo trasmesso con l'aiuto della postura e dei gesti dell'eroe.
Lo studio delle manifestazioni emotive dei bambini durante la riproduzione di scene di trama
La tecnica è tratta dal libro: Sviluppo emotivo di un bambino in età prescolare / Ed. A. D. Ko-sheleva. - M., 1985. - S. 100-102.
Preparazione allo studio. Scegli situazioni della vita dei bambini a loro vicine e comprensibili, ad esempio:
Addendum 623
1. La madre malata giace a letto, la figlia maggiore ( gruppo preparatorio) porta un fratello (gruppo della scuola materna).
2. Durante il pranzo in gruppo, un ragazzo rovescia accidentalmente la minestra, tutti i bambini saltano in piedi e ridono; il ragazzo è spaventato, l'insegnante spiega severamente che bisogna stare più attenti e che qui non c'è assolutamente niente da ridere.
3. Il ragazzo ha perso i guanti e durante la passeggiata le sue mani erano molto fredde, ma non vuole mostrare agli altri che ha molto freddo.
4. La ragazza non è stata accettata nel gioco, è andata in un angolo della stanza, ha abbassato la testa e tace, sta per piangere.
5. Un ragazzo (ragazza) è felice per la sua amica (fidanzata), il cui disegno si è rivelato il migliore del gruppo.
Prepara 2-3 bambini a drammatizzare queste storie. Condurre ricerche. Lo studio è condotto con bambini di 4-7 anni. Prima puntata. I bambini preparati in anticipo recitano una scena davanti al gruppo, quindi lo sperimentatore chiede ai bambini come si sentono i personaggi di questa scena. Seconda serie. Lo sperimentatore descrive la situazione e si offre di ritrarla.
io situazione - mostra il volto triste e sofferente della madre, il ragazzo capriccioso che piange e il volto comprensivo della ragazza.
II situazione - mostrano il volto severo del maestro, i bambini ridenti e poi imbarazzati, il volto spaventato del ragazzo.
III situazione - come il ragazzo non vuole mostrare che ha freddo.
Situazione IV - mostra ragazze offese.
Situazione V - mostrare gioia genuina per un altro. Se i bambini non sono abbastanza espressivi o ritraggono in modo errato i sentimenti e le emozioni dei personaggi, lo sperimentatore descrive nuovamente la situazione e racconta in dettaglio ciò che sta vivendo ciascuno dei personaggi.
Elaborazione dati. Analizzano come i bambini incarnano gli stati emotivi dei personaggi nelle scene. Fanno una conclusione sull'espressività e la ricchezza dei mezzi di comunicazione espressivo-mimici e sullo sviluppo della capacità di entrare in empatia con altre persone. I dati sono raccolti in una tabella (Tabella 6).
Oggi, sempre più aspetti della nostra vita sono soggetti all'automazione e all'elaborazione matematica, uno dei quali è la parte principale della nostra memoria: fotografie che catturano noi, i nostri amici, momenti memorabili e molto altro. Non molto tempo fa, Microsoft ha già compiuto il primo e piuttosto interessante passo nell'elaborazione delle foto: è stato sviluppato un algoritmo che ha permesso di determinare l'età delle persone catturate (). Ma il tempo non si ferma e oggi parleremo di un nuovo algoritmo proposto da Microsoft: il riconoscimento delle emozioni da una foto.
Inconsciamente, sappiamo tutti come determinare se una persona in una foto sta ridendo o è triste, ma è possibile misurare questi sentimenti? Si scopre che puoi! E vediamo subito cos'è questa dimensione.
Per iniziare, vai alla pagina del progetto https://www.projectoxford.ai/demo/emotion#detection .
E vediamo subito un esempio di come funziona l'algoritmo. Proviamo a capire di cosa si tratta e poi condurremo alcuni esperimenti.
Quindi, a sinistra c'è un'immagine analizzata, in cui sono evidenziati i volti. Diventa subito chiaro che l'algoritmo è in grado di selezionare tutti i volti nelle fotografie e analizzarli ciascuno.
Sulla destra (e passando con il mouse sopra le cornici sui volti) c'è un'area contenente un mucchio di testo incomprensibile (il testo specificato è il risultato dell'algoritmo in un formato speciale), analizziamolo.
Nella prima riga, la scritta "risultato del rilevamento" - "risultati dell'analisi".
"FacciaRettangolo" :(
A sinistra: 488
In alto: 263
Larghezza: 148
"Altezza": 148
"punteggio" :(
"Rabbia": 9.075572e-13,
"Disprezzo": 7.048959e-9,
"Disgusto": 1.02152783e-11,
"Paura": 1.778957e-14,
"Felicità": 0,9999999,
"Neutro": 1.31694478e-7,
"Tristezza": 6.04054263e-12,
Sorpresa: 3.92249462e-11
Che cosa significa tutto questo?
Il frammento "FaceRectangle" contiene le coordinate degli angoli della cornice di ciascuna delle facce, in modo che sia chiaro quale persona guarderemo le emozioni.
Il frammento "Punteggi" presenta i risultati stessi. Perché l'algoritmo è stato finora fornito in modalità trial, i risultati non sono stati elaborati in forma “umana” e sono presentati in “forma grezza”. Ma non aver paura: tutto è molto semplice! C'è un elenco di otto emozioni:
Rabbia - Rabbia
Contesto - Disprezzo
Disgusto - Disgusto
Paura- Paura
Felicità - Felicità
Neutro - Neutro
Tristezza - Tristezza
Sorpresa sorpresa
E il contributo di ciascuna emozione allo stato emotivo generale di una persona nella foto è indicato da 0 a 1: maggiore è il numero, più significativa è l'emozione.
Nell'esempio considerato, vediamo che la prima persona nella foto ha l'emozione più pronunciata: la felicità. Non aver paura di valori incomprensibili come "3.92249462e-11": questa è una forma matematica di scrittura di un numero, dove "e-11" indica di quanti caratteri a sinistra deve essere spostata la virgola, ad es. nell'esempio si otterrà il numero "0.0000000000392249462", che è follemente piccolo.
Ora puoi fantasticare sull'applicazione dell'algoritmo per riconoscere le emozioni da una foto. Ad esempio, vedo un album fotografico su un social network che, a seconda dello stato dell'utente selezionato (tristezza, gioia o noia), riorganizza automaticamente le foto per adattarle all'umore. O un altro esempio, guarderai le immagini sulla rete, la fotocamera del tuo dispositivo scatta foto di te e l'umore è determinato dall'algoritmo specificato, quindi vengono offerte immagini per la visualizzazione che corrispondono allo stato emotivo, ad esempio , se sei triste, le immagini saranno colorate e positive.
Sono sicuro che l'algoritmo troverà molti usi. Inoltre, Microsoft ha fornito un'API per l'accesso all'algoritmo, il che significa che chiunque può utilizzarla e fornire risultati di elaborazione in vari modi.
E infine, ho giocato un po' con il riconoscimento automatico delle emozioni e voglio mostrare cosa ne è venuto fuori.
La prima foto che ho controllato è stata, ovviamente, il famoso terminatore Mr. Equanimity. E l'algoritmo mi ha supportato: 0,89 neutralità.
Perché non provare qualcosa di divertente? E chi è il migliore a fare smorfie e divertirsi: il primo pensiero di Musk. E all'unanimità - una faccia piena di "felicità".
Dato che i film sono finiti, dobbiamo provare lo hobbit. Qui io stesso non riesco a determinare l'intera gamma di emozioni sul viso e l'algoritmo è d'accordo con me. Tuttavia, in quel momento non ho affrontato una cosa interessante: se passi il mouse sopra la cornice sulla foto, appare una finestra con i risultati, una cosa carina, soprattutto quando ci sono molti volti.
E ancora, Jim Carrey, beh, mi sembra che abbia emozioni molto vivide - e guardiamo con sorpresa. Sembra che non mi sbagliassi.
La foto mostra un giovane il cui stato emotivo abbiamo identificato come arrabbiato.
Complichiamo il compito e diamo all'algoritmo foto pre-preparate di emozioni. I volti non sono certamente del tutto naturali per un chiaro trasferimento di stato, ma tutto è stato determinato con altissima precisione.
Beh, siamo un po' timidi. Non una foto, ma un ritratto disegnato da un artista dal nostro sito web () e penso che anche questo sia un buon risultato!
Ovviamente non ho resistito e ho cercato di riconoscere i sentimenti di Cheburashka e non mi è rimasto nulla: l'algoritmo ha rifiutato di elaborare il personaggio dei cartoni animati.
Riassumendo la revisione dell'algoritmo per il riconoscimento delle emozioni dalle foto, implementato da Microsoft, vorrei sottolineare molto buoni risultati il suo lavoro e un gran numero di accurati riconoscimenti. Per un inizio demo, solo un ottimo risultato! Aspetteremo nuove soluzioni interessanti.
Istruzione. Ho un gioco molto interessante per te. Sai che tutte le persone a volte sono felici, a volte sorprese o arrabbiate. Ora vi mostrerò alcune immagini che mostrano una persona con qualche tipo di emozione sul volto (ad esempio gioia, dolore, paura, sorpresa, disprezzo, disgusto, vergogna, interesse, rabbia). Ecco un elenco di quelle emozioni. Cerca di determinare quale emozione si riflette in ogni foto.
Lo sperimentatore mostra alternativamente 9 fotografie e annota la risposta del bambino sul modulo accanto al numero della fotografia.
Modulo per la registrazione delle risposte
| Codice articolo | Foto | Risposta del soggetto | Nota |
622 Applicazione
Viene preso in considerazione il numero di risposte corrette, in base alle quali viene giudicata la capacità formata di determinare il segno dell'emozione dall'espressione facciale.
Definizione di emozioni per pantomima
Istruzione. E ora ti mostrerò le immagini, che raffigurano anche una persona con un qualche tipo di esperienza. Cerca di determinare quale emozione ha la persona in ogni immagine.
Al soggetto vengono mostrate a turno 8 immagini e scrive le sue risposte sul modulo.
Modulo per la registrazione delle risposte
| Codice articolo | Immagine | Risposta del soggetto | Appunti |
| M+. + .IP--MM | |||
Viene preso in considerazione il numero di risposte corrette e vengono utilizzate per giudicare la capacità formata di determinare il segno dell'emozione mediante la pantomima.
Lo studio della percezione del lato espressivo dell'immagine
La tecnica è tratta dall'articolo: Repina T.A. Percezione del lato espressivo del disegno da parte dei bambini in età prescolare e sua influenza sull'atteggiamento dei bambini nei confronti dell'eroe del libro // Domande di psicologia. - 1960. - N. 5.
Preparazione allo studio. Raccogli 10-14 riproduzioni di dipinti in cui il contenuto emotivo viene trasmesso mostrando espressioni facciali e gesti, posture dei personaggi, il rapporto dei personaggi tra loro o il loro rapporto con gli oggetti circostanti.
Condurre ricerche. L'esperimento viene condotto individualmente con bambini di 3-6 anni. Al bambino vengono mostrate le immagini in sequenza e gli viene chiesto di parlarne. Se trova difficile descriverlo, fai domande importanti (preparati in anticipo) per scoprire come comprende la trama dell'immagine, gli stati emotivi dei personaggi.
Elaborazione dati. Il numero di risposte corrette viene conteggiato quando i bambini hanno compreso correttamente la trama e lo stato emotivo dei personaggi. Il conteggio viene eseguito per ogni immagine. I risultati sono stilati in una tabella per età: 3-4 anni, 4-5 anni, 5-6 anni, 6-7 anni.
Scoprono quali stati emotivi rappresentati nelle immagini sono percepiti correttamente dai bambini ea che età. Come percepiscono le espressioni facciali di gioia e rabbia, l'espressione di tristezza e tristezza, quale esperienza emotiva associano ai colori vivaci dell'immagine, come comprendono il contenuto emotivo trasmesso con l'aiuto della postura e dei gesti dell'eroe.
Lo studio delle manifestazioni emotive dei bambini durante la riproduzione di scene di trama
La tecnica è tratta dal libro: Sviluppo emotivo di un bambino in età prescolare / Ed. A. D. Ko-sheleva. - M., 1985. - S. 100-102.
Preparazione allo studio. Scegli situazioni della vita dei bambini a loro vicine e comprensibili, ad esempio:
Addendum 623
1. Una madre malata giace a letto, la figlia maggiore (gruppo preparatorio) porta suo fratello (gruppo asilo).
2. Durante il pranzo in gruppo, un ragazzo rovescia accidentalmente la minestra, tutti i bambini saltano in piedi e ridono; il ragazzo è spaventato, l'insegnante spiega severamente che bisogna stare più attenti e che qui non c'è assolutamente niente da ridere.
3. Il ragazzo ha perso i guanti e durante la passeggiata le sue mani erano molto fredde, ma non vuole mostrare agli altri che ha molto freddo.
4. La ragazza non è stata accettata nel gioco, è andata in un angolo della stanza, ha abbassato la testa e tace, sta per piangere.
5. Un ragazzo (ragazza) è felice per la sua amica (fidanzata), il cui disegno si è rivelato il migliore del gruppo.
Prepara 2-3 bambini a drammatizzare queste storie. Condurre ricerche. Lo studio è condotto con bambini di 4-7 anni. Prima puntata. I bambini preparati in anticipo recitano una scena davanti al gruppo, quindi lo sperimentatore chiede ai bambini come si sentono i personaggi di questa scena. Seconda serie. Lo sperimentatore descrive la situazione e si offre di ritrarla.
io situazione - mostra il volto triste e sofferente della madre, il ragazzo capriccioso che piange e il volto comprensivo della ragazza.
II situazione - mostrano il volto severo del maestro, i bambini ridenti e poi imbarazzati, il volto spaventato del ragazzo.
III situazione - come il ragazzo non vuole mostrare che ha freddo.
Situazione IV - mostra ragazze offese.
Situazione V - mostrare gioia genuina per un altro. Se i bambini non sono abbastanza espressivi o ritraggono in modo errato i sentimenti e le emozioni dei personaggi, lo sperimentatore descrive nuovamente la situazione e racconta in dettaglio ciò che sta vivendo ciascuno dei personaggi.
Elaborazione dati. Analizzano come i bambini incarnano gli stati emotivi dei personaggi nelle scene. Fanno una conclusione sull'espressività e la ricchezza dei mezzi di comunicazione espressivo-mimici e sullo sviluppo della capacità di entrare in empatia con altre persone. I dati sono raccolti in una tabella (Tabella 6).
Materiale di stimolo: viene utilizzata una serie di carte colorate del test Luscher, denotate da numeri: 0 - grigio, 1 - blu, 2 - verde, 3 - rosso, 4 - giallo, 5 - viola, 6 - marrone, 7 - nero.
Viene utilizzato il seguente elenco:
1) mia madre,
2) mio padre,
3) fratello o sorella (se il bambino li ha),
4) il mio umore a scuola,
5) il mio umore a casa,
7) insegnante,
Ordine di condotta sembra un gioco. Tutte le 8 carte sono disposte casualmente davanti al bambino su uno sfondo bianco.
Istruzione: "Per favore dimmi qual è il colore più adatto a rappresentare tua madre?" ecc. secondo l'elenco. Successivamente, i colori vengono classificati dal bambino in ordine di preferenza, partendo dal più “bello, piacevole” e finendo con il più “brutto, sgradevole”. Pertanto, ogni persona dell'elenco riceve la propria designazione di grado.
Maggiore è il livello di attrattiva emotiva, vicinanza, simpatia e minore conflitto nei rapporti con qualcuno, più il colore preferito dovrebbe essere associato a queste persone dal bambino. Al contrario, un atteggiamento negativo e ostile nei confronti di qualcuno è indicato dal colore a lui assegnato, che ha ricevuto il grado più negativo nella disposizione dei colori.
APPENDICE 2
Metodologia "Studiare la comprensione degli stati emotivi delle persone raffigurate nell'immagine"
Materiale di stimolo: ritratti (fotografie) raffiguranti bambini e adulti che hanno uno stato emotivo pronunciato sia delle emozioni principali (gioia, paura, rabbia, dolore) sia delle loro sfumature; immagini della trama che descrivono azioni positive e negative di bambini e adulti.
Ordine di condotta. Due serie si svolgono individualmente con bambini in età scolare.
Prima puntata. Istruzioni: al bambino vengono costantemente mostrate immagini di ritratti raffiguranti bambini e adulti e vengono poste domande: “Chi è mostrato nella foto? Cosa sta facendo? Come si sente? Come l'hai indovinato? Descrivi ciò che vedi nella foto.
Seconda serie. Istruzioni: al bambino vengono costantemente mostrate immagini della trama e vengono poste domande: “Cosa stanno facendo i bambini (adulti)? Come lo fanno (amichevoli, litiganti, non prestando attenzione l'un l'altro, ecc.)? Come hai indovinato? Chi è buono e chi è cattivo? Come hai indovinato?"
Elaborazione dei risultati e interpretazione. Il numero di risposte corrette in diverse fasce d'età viene conteggiato separatamente per ogni serie e per ogni immagine. Determina se i bambini capiscono stati emotivi adulti e coetanei, da quali segni sono guidati, chi capiscono meglio: un adulto o un pari. Determinare la dipendenza di questi indicatori dall'età dei bambini.
APPENDICE 3
Metodologia "Identificazione delle emozioni dalle fotografie"
Materiale di stimolo: una serie di 9 fotografie raffiguranti una persona il cui volto riflette l'una o l'altra emozione e un elenco di emozioni.
Ordine di condotta. Istruzioni: “Ho un compito molto interessante. Sai che tutte le persone a volte sono felici, a volte sorprese o arrabbiate. Ora ti mostrerò alcune fotografie che mostrano una persona in un certo stato emotivo (ad esempio gioia, dolore, paura, sorpresa, disprezzo, disgusto, vergogna, interesse, rabbia). Ecco un elenco di quelle emozioni. Cerca di determinare quale tipo di emozione si riflette in ogni foto.
Lo sperimentatore mostra alternativamente 9 fotografie e annota la risposta del bambino sul modulo accanto al numero della fotografia.
Modulo per la registrazione delle risposte
|
Risposta del soggetto |
Nota |
||
Elaborazione dei risultati e interpretazione. Viene preso in considerazione il numero di risposte corrette, in base alle quali viene giudicata la formazione della capacità di determinare l'emozione di una persona dall'espressione facciale. Il 50% o meno di risposte corrette indicano un livello molto basso di capacità di distinguere le emozioni.