Microsoft Corporation, po uruchomieniu usługi, która pozwala określić, postanowił pójść dalej. Teraz specjaliści firmy opracowali algorytm, który określa emocje osoby przedstawionej na zdjęciu. W sumie test przechodzi przez osiem pozycji: złość, satysfakcja, wstręt, strach, szczęście, neutralność (czytamy – obojętny wyraz twarzy), smutek, zdziwienie.
Twórcy twierdzą, że wyniki nie są zbyt dokładne, ale widać, że ocena jest dokładniejsza niż w przypadku określania wieku. Jako przykład wielu z nas może wziąć znane zdjęcie Keanu Reevesa siedzącego na ławce i coś żującego. Microsoft uważa, że taka emocja jak smutek jest prawie nieobecna na twarzy aktora (0,01831), jego wyraz twarzy jest neutralny.
Inne dobrze znane zdjęcie pokazuje nam dziecko, którego stan emocjonalny oceniany jest jako „zły”. Tutaj mamy aż 0,98752 pkt.
Praca firmy nad takimi algorytmami to nie zabawa. Koncern stara się udoskonalić oprogramowanie odpowiedzialne za rozpoznawanie zdjęć. Mimo pewnych błędów (zwłaszcza w określeniu wieku) wszystko wygląda całkiem ciekawie. Microsoft planuje otworzyć API dla swoich usług przetwarzania obrazu, aby możliwe było tworzenie oprogramowania i usług sieciowych sortujących zdjęcia na podstawie emocji osób na nich widocznych.
Zobaczmy, jakie emocje przeżywa Bill Gates 
Tim gotuje 
Bohaterowie Fallouta 4 
Chcesz wypróbować zasób w akcji? Nie ma problemu
Instrukcja. Mam dla ciebie bardzo ciekawą grę. Wiesz, że wszyscy ludzie są czasami szczęśliwi, czasami zaskoczeni lub źli. Teraz pokażę wam kilka zdjęć, które przedstawiają osobę z jakimś rodzajem emocji na twarzy (na przykład radość, smutek, strach, zdziwienie, pogarda, wstręt, wstyd, zainteresowanie, złość). Oto lista tych emocji. Spróbuj określić, która emocja jest odzwierciedlona na każdym zdjęciu.
Eksperymentator pokazuje na przemian 9 fotografii i zapisuje odpowiedź dziecka na formularzu obok numeru fotografii.
Formularz rejestracji odpowiedzi
| Numer przedmiotu | Zdjęcie | Odpowiedź podmiotu | Notatka |
622 Zastosowanie
Bierze się pod uwagę liczbę poprawnych odpowiedzi, według których ocenia się ukształtowaną umiejętność określania znaku emocji na podstawie wyrazu twarzy.
Definicja emocji za pomocą pantomimy
Instrukcja. A teraz pokażę wam zdjęcia, które również przedstawiają osobę z jakimś doświadczeniem. Spróbuj określić, jakie emocje ma osoba na każdym zdjęciu.
Badanemu pokazano po kolei 8 obrazków i zapisuje swoje odpowiedzi na formularzu.
Formularz rejestracji odpowiedzi
| Numer przedmiotu | Zdjęcie | Odpowiedź podmiotu | Notatki |
| M + . + .IP--MM | |||
Pod uwagę brana jest liczba poprawnych odpowiedzi, które służą do oceny ukształtowanej umiejętności określania znaku emocji za pomocą pantomimy.
Badanie percepcji ekspresyjnej strony obrazu
Technika pochodzi z artykułu: Repina T.A. Postrzeganie ekspresyjnej strony rysunku przez przedszkolaki i jej wpływ na stosunek dzieci do bohatera książki // Pytania z psychologii. - 1960. - nr 5.
Przygotowanie do studiów. Podnieś 10-14 reprodukcji obrazów, w których treść emocjonalna jest przekazywana poprzez ukazanie mimiki i gestów, pozycji postaci, stosunku postaci do siebie lub ich stosunku do otaczających przedmiotów.
Przeprowadzać badanie. Eksperyment przeprowadzany jest indywidualnie z dziećmi w wieku 3-6 lat. Dziecko pokazuje kolejno obrazki i prosi o rozmowę na ich temat. Jeśli trudno mu to opisać, zadaj pytania wiodące (przygotuj się wcześniej), aby dowiedzieć się, jak rozumie fabułę obrazu, stany emocjonalne bohaterów.
Przetwarzanie danych. Liczba poprawnych odpowiedzi jest liczona, gdy dzieci poprawnie zrozumiały fabułę i stan emocjonalny bohaterów. Liczenie odbywa się dla każdego zdjęcia. Wyniki zestawiono w tabeli według wieku: 3-4 lata, 4-5 lat, 5-6 lat, 6-7 lat.
Dowiadują się, które stany emocjonalne przedstawione na obrazkach są prawidłowo postrzegane przez dzieci iw jakim wieku. Jak postrzegają mimikę radości i złości, wyraz smutku i smutku, z czym przeżycie emocjonalnełączą jasne kolory obrazu, ponieważ rozumieją treść emocjonalną przekazywaną za pomocą postawy i gestów bohatera.
Badanie przejawów emocjonalnych dzieci podczas odgrywania scen fabularnych
Technika zaczerpnięta z książki: Rozwój emocjonalny przedszkolaka / wyd. A. D. Ko-sheleva. - M., 1985. - S. 100-102.
Przygotowanie do studiów. Wybierz sytuacje z życia dzieci, które są im bliskie i zrozumiałe, na przykład:
Dodatek 623
1. Chora matka leży w łóżku, najstarsza córka ( grupa przygotowawcza) przyprowadza brata (grupa przedszkolna).
2. Podczas obiadu w grupie chłopiec przypadkowo rozlewa zupę, wszystkie dzieci podskakują i śmieją się; chłopiec się boi, nauczycielka surowo tłumaczy, że trzeba bardziej uważać i że tu absolutnie nie ma się z czego śmiać.
3. Chłopiec zgubił rękawiczki, a podczas spaceru bardzo zmarzły mu ręce, ale nie chce pokazać innym, że jest mu bardzo zimno.
4. Dziewczynka nie została przyjęta do gry, poszła w kąt pokoju, nisko spuściła głowę i milczy, zaraz się rozpłacze.
5. Chłopiec (dziewczyna) cieszy się ze swojego przyjaciela (dziewczyny), którego rysunek okazał się najlepszy w grupie.
Przygotuj 2-3 dzieci do udramatyzowania tych historii. Przeprowadzać badanie. Badanie prowadzone jest z dziećmi w wieku 4-7 lat. Pierwszy odcinek. Przygotowane wcześniej dzieci odgrywają scenkę przed grupą, następnie eksperymentator pyta dzieci, jak czują się bohaterowie tej sceny. Druga seria. Eksperymentator opisuje sytuację i proponuje jej przedstawienie.
ja sytuacja - pokaż smutną, cierpiącą twarz matki, kapryśnego płaczącego chłopca i współczującą twarz dziewczynki.
II sytuacja - pokaż surową twarz nauczyciela, roześmiane, a potem zawstydzone dzieci, przestraszoną twarz chłopca.
III sytuacja - jak chłopak nie chce pokazać, że jest mu zimno.
IV sytuacja - pokaż obrażone dziewczyny.
V sytuacja - okazywać innym szczerą radość. Jeśli dzieci nie są wystarczająco wyraziste lub błędnie przedstawiają uczucia i emocje postaci, eksperymentator ponownie opisuje sytuacje i szczegółowo opowiada, czego doświadcza każda z postaci.
Przetwarzanie danych. Analizują, w jaki sposób dzieci ucieleśniają stany emocjonalne bohaterów scen. Wnioskują o wyrazistości i bogactwie ekspresyjno-mimicznych środków porozumiewania się oraz o rozwoju umiejętności wczuwania się w innych ludzi. Dane zestawiono w tabeli (Tabela 6).
Obecnie coraz więcej aspektów naszego życia poddawanych jest automatyzacji i przetwarzaniu matematycznemu, z których jednym jest główna część naszej pamięci – zdjęcia, które rejestrują nas, naszych przyjaciół, niezapomniane chwile i wiele więcej. Nie tak dawno Microsoft zrobił już pierwszy i dość interesujący krok w przetwarzaniu zdjęć - opracowano algorytm, który umożliwił określenie wieku schwytanych osób (). Ale czas nie stoi w miejscu, a dziś porozmawiamy o nowym algorytmie zaproponowanym przez Microsoft - rozpoznawaniu emocji ze zdjęcia.
Podświadomie wszyscy wiemy, jak określić, czy osoba na zdjęciu się śmieje, czy jest smutna, ale czy da się zmierzyć te uczucia? Okazuje się, że możesz! I od razu zobaczmy, co to za wymiar.
Aby rozpocząć, przejdź do strony projektu https://www.projectoxford.ai/demo/emotion#detection .
I od razu widzimy przykład działania algorytmu. Spróbujmy dowiedzieć się, co to jest, a następnie przeprowadzimy kilka eksperymentów.
Tak więc po lewej stronie znajduje się analizowany obraz, na którym podświetlone są twarze. Od razu staje się jasne, że algorytm jest w stanie wybrać wszystkie twarze na zdjęciach i każdą z nich przeanalizować.
Po prawej stronie (i po najechaniu na ramki na twarze) znajduje się obszar zawierający garść niezrozumiałego tekstu (podany tekst jest wynikiem działania algorytmu w specjalnym formacie), podzielmy go.
W pierwszym wierszu napis „wynik detekcji” – „wyniki analizy”.
"TwarzProstokąt" :(
Po lewej: 488
Góra: 263
Szerokość: 148
„Wzrost”: 148
"wyniki" :(
„Gniew”: 9.075572e-13,
"Pogarda": 7.048959e-9,
„Wstręt”: 1.02152783e-11,
„Strach”: 1.778957e-14,
„Szczęście”: 0,9999999,
„Neutralny”: 1.31694478e-7,
„Smutek”: 6.04054263e-12,
Niespodzianka: 3.92249462e-11
Co to wszystko oznacza?
Fragment „FaceRectangle” zawiera współrzędne rogów kadru każdej z twarzy, dzięki czemu wiadomo, na emocje której osoby będziemy patrzeć.
Fragment „Wyniki” przedstawia same wyniki. Ponieważ Algorytm był dotychczas udostępniany w trybie próbnym, wyniki nie były przetwarzane w postaci „ludzkiej” i prezentowane są w „surowej formie”. Ale nie bój się - wszystko jest bardzo proste! Istnieje lista ośmiu emocji:
Gniew - Gniew
Kontekst - Pogarda
Niesmak - Niesmak
Strach- Strach
Szczęście - Szczęście
Neutralny - Neutralny
Smutek - Smutek
Niespodzianka niespodzianka
A wkład każdej emocji w ogólny stan emocjonalny osoby na zdjęciu jest oznaczony od 0 do 1 – im większa liczba, tym bardziej znacząca jest dana emocja.
W rozważanym przykładzie widzimy, że pierwsza osoba na zdjęciu ma najbardziej wyraźną emocję - szczęście. Nie bój się niezrozumiałych wartości typu „3.92249462e-11” – to matematyczna forma zapisu liczby, gdzie „e-11” wskazuje, o ile znaków w lewo należy przesunąć przecinek, tj. w przykładzie otrzymamy liczbę „0.0000000000392249462”, która jest niesamowicie mała.
Teraz możesz fantazjować o zastosowaniu algorytmu rozpoznawania emocji ze zdjęcia. Na przykład widzę album ze zdjęciami na portalu społecznościowym, który w zależności od wybranego statusu użytkownika (smutek, radość lub nuda) automatycznie przestawia zdjęcia w zależności od nastroju. Lub inny przykład, zamierzasz obejrzeć zdjęcia w sieci, aparat twojego urządzenia robi ci zdjęcia, a nastrój jest określany przez określony algorytm, a następnie oferowane są do oglądania obrazy odpowiadające na przykład stanowi emocjonalnemu , jeśli jesteś smutny, obrazy będą kolorowe i pozytywne.
Jestem pewien, że algorytm znajdzie wiele zastosowań. Co więcej, Microsoft udostępnił API umożliwiające dostęp do algorytmu, co oznacza, że każdy może z niego korzystać i udostępniać wyniki przetwarzania na różne sposoby.
Na koniec pobawiłem się trochę z automatycznym rozpoznawaniem emocji i chcę pokazać co z tego wyszło.
Pierwszym zdjęciem, które sprawdziłem, był oczywiście słynny terminator Mr. Equanimity. A algorytm mnie wspierał - neutralność 0,89.
Dlaczego nie spróbować czegoś zabawnego? I kto jest najlepszy w krzywieniu się i zabawie – pierwsza myśl Muska. I jednogłośnie - twarz pełna "szczęścia".
Skoro filmy się skończyły, musimy spróbować hobbita. Tutaj sam nie potrafię określić całej gamy emocji na twarzy i algorytm się ze mną zgadza. Jednak w tym momencie nie przeszedłem przez ciekawą rzecz - jeśli najedziesz kursorem na ramkę na zdjęciu, pojawi się okno z wynikami, miły drobiazg, zwłaszcza gdy twarzy jest dużo.
I znowu Jim Carrey, cóż, wydaje mi się, że ma bardzo żywe emocje - i patrzymy na zdziwienie. Wydaje mi się, że się nie pomyliłem.
Zdjęcie przedstawia młodego mężczyznę, którego stan emocjonalny zidentyfikowaliśmy jako zły.
Skomplikujmy zadanie i dajmy algorytmowi gotowe zdjęcia emocji. Twarze z pewnością nie są do końca naturalne dla wyraźnego przekazania stanu, ale wszystko zostało określone z bardzo dużą dokładnością.
Cóż, jesteśmy trochę nieśmiali. Nie zdjęcie, a portret narysowany przez artystę z naszej strony () i myślę, że to też dobry wynik!
Oczywiście nie mogłem się oprzeć i próbowałem rozpoznać uczucia Czeburaszki i zostałem z niczym - algorytm odmówił przetworzenia postaci z kreskówki.
Podsumowując przegląd algorytmu rozpoznawania emocji ze zdjęć, wdrożonego przez firmę Microsoft, chciałbym zauważyć bardzo dobre wyniki jego praca i duża liczba trafne rozpoznania. Jak na początek demo, po prostu świetny wynik! Będziemy czekać na nowe ciekawe rozwiązania.
Instrukcja. Mam dla ciebie bardzo ciekawą grę. Wiesz, że wszyscy ludzie są czasami szczęśliwi, czasami zaskoczeni lub źli. Teraz pokażę wam kilka zdjęć, które przedstawiają osobę z jakimś rodzajem emocji na twarzy (na przykład radość, smutek, strach, zdziwienie, pogarda, wstręt, wstyd, zainteresowanie, złość). Oto lista tych emocji. Spróbuj określić, która emocja jest odzwierciedlona na każdym zdjęciu.
Eksperymentator pokazuje na przemian 9 fotografii i zapisuje odpowiedź dziecka na formularzu obok numeru fotografii.
Formularz rejestracji odpowiedzi
| Numer przedmiotu | Zdjęcie | Odpowiedź podmiotu | Notatka |
622 Zastosowanie
Bierze się pod uwagę liczbę poprawnych odpowiedzi, według których ocenia się ukształtowaną umiejętność określania znaku emocji na podstawie wyrazu twarzy.
Definicja emocji za pomocą pantomimy
Instrukcja. A teraz pokażę wam zdjęcia, które również przedstawiają osobę z jakimś doświadczeniem. Spróbuj określić, jakie emocje ma osoba na każdym zdjęciu.
Badanemu pokazano po kolei 8 obrazków i zapisuje swoje odpowiedzi na formularzu.
Formularz rejestracji odpowiedzi
| Numer przedmiotu | Zdjęcie | Odpowiedź podmiotu | Notatki |
| M + . + .IP--MM | |||
Pod uwagę brana jest liczba poprawnych odpowiedzi, które służą do oceny ukształtowanej umiejętności określania znaku emocji za pomocą pantomimy.
Badanie percepcji ekspresyjnej strony obrazu
Technika pochodzi z artykułu: Repina T.A. Postrzeganie ekspresyjnej strony rysunku przez przedszkolaki i jej wpływ na stosunek dzieci do bohatera książki // Pytania z psychologii. - 1960. - nr 5.
Przygotowanie do studiów. Podnieś 10-14 reprodukcji obrazów, w których treść emocjonalna jest przekazywana poprzez ukazanie mimiki i gestów, pozycji postaci, stosunku postaci do siebie lub ich stosunku do otaczających przedmiotów.
Przeprowadzać badanie. Eksperyment przeprowadzany jest indywidualnie z dziećmi w wieku 3-6 lat. Dziecko pokazuje kolejno obrazki i prosi o rozmowę na ich temat. Jeśli trudno mu to opisać, zadaj pytania wiodące (przygotuj się wcześniej), aby dowiedzieć się, jak rozumie fabułę obrazu, stany emocjonalne bohaterów.
Przetwarzanie danych. Liczba poprawnych odpowiedzi jest liczona, gdy dzieci poprawnie zrozumiały fabułę i stan emocjonalny bohaterów. Liczenie odbywa się dla każdego zdjęcia. Wyniki zestawiono w tabeli według wieku: 3-4 lata, 4-5 lat, 5-6 lat, 6-7 lat.
Dowiadują się, które stany emocjonalne przedstawione na obrazkach są prawidłowo postrzegane przez dzieci iw jakim wieku. Jak postrzegają mimikę radości i złości, wyraz smutku i smutku, z jakim przeżyciem emocjonalnym wiążą jasne kolory obrazu, jak rozumieją treści emocjonalne przekazywane przez postawę i gesty bohatera.
Badanie przejawów emocjonalnych dzieci podczas odgrywania scen fabularnych
Technika zaczerpnięta z książki: Rozwój emocjonalny przedszkolaka / wyd. A. D. Ko-sheleva. - M., 1985. - S. 100-102.
Przygotowanie do studiów. Wybierz sytuacje z życia dzieci, które są im bliskie i zrozumiałe, na przykład:
Dodatek 623
1. Chora mama leży w łóżku, najstarsza córka (grupa przygotowawcza) przyprowadza brata (grupa żłobkowa).
2. Podczas obiadu w grupie chłopiec przypadkowo rozlewa zupę, wszystkie dzieci podskakują i śmieją się; chłopiec się boi, nauczycielka surowo tłumaczy, że trzeba bardziej uważać i że tu absolutnie nie ma się z czego śmiać.
3. Chłopiec zgubił rękawiczki, a podczas spaceru bardzo zmarzły mu ręce, ale nie chce pokazać innym, że jest mu bardzo zimno.
4. Dziewczynka nie została przyjęta do gry, poszła w kąt pokoju, nisko spuściła głowę i milczy, zaraz się rozpłacze.
5. Chłopiec (dziewczyna) cieszy się ze swojego przyjaciela (dziewczyny), którego rysunek okazał się najlepszy w grupie.
Przygotuj 2-3 dzieci do udramatyzowania tych historii. Przeprowadzać badanie. Badanie prowadzone jest z dziećmi w wieku 4-7 lat. Pierwszy odcinek. Przygotowane wcześniej dzieci odgrywają scenkę przed grupą, następnie eksperymentator pyta dzieci, jak czują się bohaterowie tej sceny. Druga seria. Eksperymentator opisuje sytuację i proponuje jej przedstawienie.
ja sytuacja - pokaż smutną, cierpiącą twarz matki, kapryśnego płaczącego chłopca i współczującą twarz dziewczynki.
II sytuacja - pokaż surową twarz nauczyciela, roześmiane, a potem zawstydzone dzieci, przestraszoną twarz chłopca.
III sytuacja - jak chłopak nie chce pokazać, że jest mu zimno.
IV sytuacja - pokaż obrażone dziewczyny.
V sytuacja - okazywać innym szczerą radość. Jeśli dzieci nie są wystarczająco wyraziste lub błędnie przedstawiają uczucia i emocje postaci, eksperymentator ponownie opisuje sytuacje i szczegółowo opowiada, czego doświadcza każda z postaci.
Przetwarzanie danych. Analizują, w jaki sposób dzieci ucieleśniają stany emocjonalne bohaterów scen. Wnioskują o wyrazistości i bogactwie ekspresyjno-mimicznych środków porozumiewania się oraz o rozwoju umiejętności wczuwania się w innych ludzi. Dane zestawiono w tabeli (Tabela 6).
Materiał stymulujący: wykorzystuje się zestaw kolorowych kart z testu Luschera, oznaczonych cyframi: 0 – szary, 1 – niebieski, 2 – zielony, 3 – czerwony, 4 – żółty, 5 – fioletowy, 6 – brązowy, 7 – czarny.
Stosowana jest następująca lista:
1) moja mama,
2) mój tata,
3) brat lub siostra (jeśli dziecko je posiada),
4) mój nastrój w szkole,
5) mój nastrój w domu,
7) nauczyciel,
Porządek postępowania wygląda jak gra. Wszystkie 8 kart układa się losowo przed dzieckiem na białym tle.
Instrukcja: „Proszę, powiedz mi, jaki kolor najbardziej pasuje do twojej matki?” itp. zgodnie z listą. Następnie kolory są uszeregowane przez dziecko w kolejności preferencji, zaczynając od najbardziej „pięknej, przyjemnej” i kończąc na „najbardziej brzydkiej, nieprzyjemnej”. W ten sposób każda osoba z listy otrzymuje własne oznaczenie rangi.
Im wyższy poziom atrakcyjności emocjonalnej, bliskości, sympatii i mniej konfliktów w relacjach z kimś, tym bardziej preferowany kolor, z którym te osoby powinny być kojarzone przez dziecko. Wręcz przeciwnie, negatywny, wrogi stosunek do kogoś wskazuje przypisany mu kolor, który otrzymał najbardziej negatywną rangę w zestawieniu kolorystycznym.
ZAŁĄCZNIK 2
Metodologia „Badanie rozumienia stanów emocjonalnych osób przedstawionych na obrazie”
Materiał stymulujący: zdjęcia portretowe (fotografie) przedstawiające dzieci i dorosłych, którzy mają wyraźny stan emocjonalny zarówno głównych emocji (radość, strach, złość, smutek), jak i ich odcieni; fabularne obrazki przedstawiające pozytywne i negatywne działania dzieci i dorosłych.
Porządek postępowania. Dwie serie odbywają się indywidualnie z dziećmi w wieku szkolnym.
Pierwszy odcinek. Instrukcja: dziecku konsekwentnie pokazywane są portrety przedstawiające dzieci i dorosłych oraz zadawanie pytań: „Kto jest przedstawiony na obrazku? Co on robi? Jak on się czuje? Jak się tego domyśliłeś? Opisz, co widzisz na obrazku.
Druga seria. Instrukcja: dziecku konsekwentnie pokazywane są rysunki fabularne i zadawane pytania: „Co robią dzieci (dorośli)? Jak to robią (przyjaźnie, kłócą się, nie zwracają na siebie uwagi itp.)? Jak zgadłeś? Kto jest dobry, a kto zły? Jak zgadłeś?"
Przetwarzanie wyników i interpretacja. Liczba poprawnych odpowiedzi w poszczególnych grupach wiekowych liczona jest oddzielnie dla każdej serii i dla każdego obrazka. Ustal, czy dzieci rozumieją Stany emocjonalne dorosłych i rówieśników, jakimi znakami się kierują, kogo lepiej rozumieją – dorosłego czy rówieśnika. Określ zależność tych wskaźników od wieku dzieci.
ZAŁĄCZNIK 3
Metodyka „Identyfikacja emocji na podstawie fotografii”
Materiał stymulujący: zestaw 9 fotografii przedstawiających osobę, której twarz odzwierciedla jedną lub drugą emocję oraz listę emocji.
Porządek postępowania. Instrukcje: „Mam bardzo ciekawe zadanie. Wiesz, że wszyscy ludzie są czasami szczęśliwi, czasami zaskoczeni lub źli. Teraz pokażę kilka fotografii, które przedstawiają osobę w określonym stanie emocjonalnym (na przykład radość, smutek, strach, zaskoczenie, pogarda, wstręt, wstyd, zainteresowanie, złość). Oto lista tych emocji. Spróbuj określić, jaki rodzaj emocji odzwierciedla każde zdjęcie.
Eksperymentator pokazuje na przemian 9 fotografii i zapisuje odpowiedź dziecka na formularzu obok numeru fotografii.
Formularz rejestracji odpowiedzi
|
Odpowiedź podmiotu |
Notatka |
||
Przetwarzanie wyników i interpretacja. Bierze się pod uwagę liczbę poprawnych odpowiedzi, według których ocenia się kształtowanie umiejętności określania emocji osoby na podstawie wyrazu twarzy. 50% lub mniej poprawnych odpowiedzi wskazuje na bardzo niski poziom umiejętności rozróżniania emocji.