Inimesed kasutavad oma arvamuse jagamiseks foorumeid, suhtlusvõrgustikke, ajaveebe ja muid platvorme, luues seeläbi tohutu hulga andmed . Vahepeal soovivad kasutajad või tarbijad teada saada, millist toodet osta või millist filmi vaadata, nii et nad loevad ka arvustusi ja püüavad vastavalt oma otsuseid teha.

Kasutaja loodud andmete käsitsi kogumine on aeganõudev. Seetõttu on üha rohkem ettevõtteid ja organisatsioone huvitatud automaatse meeleoluanalüüsi meetoditest aidata neil seda mõista .

Mis on meeleolude analüüs?

Sentimentide analüüs on inimeste arvamuste ja emotsioonide uurimisprotsess, kasutades üldiselt keelseid vihjeid. Esmapilgul on see lihtsalt a teksti liigitus probleem, kuid kui sukeldume sügavamale, saame teada, et on palju väljakutsuvaid probleeme, mis tõsiselt mõjutavad meeleolude analüüsi täpsust. Allpool uurin mõningaid lõkse, millega näete silmitsi üldine meeleolude analüüsi probleem :

1. Iroonia ja sarkasm
2. Negatsioonide tüübid
3. Sõna ebaselgus
4. Mitmepolaarsus

Vaatame iga teema läbi ja püüame mõista, kuidas kirjeldatud probleemid mõjutavad meeleolude klassifikaatori kvaliteeti ja milliseid tehnoloogiaid saab nende lahendamiseks kasutada.

Sentimentide analüüsi väljakutse nr 1: sarkasmi tuvastamine

Sarkastilises tekstis väljendavad inimesed positiivseid sõnu kasutades oma negatiivseid tundeid. See asjaolu võimaldab sarkasmil hõlpsasti petma meeleoluanalüüsi mudeleid, välja arvatud juhul, kui need on spetsiaalselt välja töötatud selle võimalusega arvestamiseks.

Sarkasm esineb kõige sagedamini kasutajate loodud sisus, näiteks Facebooki kommentaarides, säutsud jne. Sarkasmi tuvastamist meeleoluanalüüsis on väga raske saavutada, ilma et oleksite hästi aru saanud olukorra kontekstist, konkreetsest teemast ja keskkonnast.

See võib olla raske mõista mitte ainult masina, vaid ka inimese jaoks. Sarkastilistes lausetes kasutatavate sõnade pidev varieerimine muudab meeleoluanalüüsi mudelite edukaks koolitamiseks raskeks. Sarkasmi kättesaadavaks tegemiseks tuleb kahe inimese vahel jagada ühiseid teemasid, huvisid ja ajaloolist teavet.

kuidas luua WordPressi pistikprogrammi

Kõigepealt vaatame sarkasmi selle vaatenurgast keeleteadus , kus sarkasmi uuritakse laialdaselt. Sisse üks selle valdkonna enim viidatud uurimistöid , autor Elisabeth Camp pakub välja järgmised neli tüüpi sarkasmi:

• Väide: sarkasm näib olevat mitte-sentimentaalne väide, kuid sellega on seotud kaudne meeleolu.
• Manustatud: sarkasmil on sõnade ja fraaside kujul sisemine vastuolu.
• Sarnane-eesliide: Sarnane fraas tähendab väidet kaudselt eitavat.
• Illokutsionäärne: sarkasmile aitavad kaasa mitte-kõne toimingud (kehakeel, žestid).

Laagri uurimus avaldati 2012. aastal. 2017. aastal teatasid Stanfordi ülikooli teadlased oma päris huvitavatest uuringutest '2 tundi töö kirjutamiseks on lõbus!': Sarkasmi tuvastamine teksti numbrilistes osades kus nad rääkisid teist tüüpi sarkasmidest arvuline sarkasm . Numbriline sarkasm on sotsiaalvõrgustikes väga sagedane. Selle idee on seotud arvväärtuste muutustega, mis seejärel mõjutavad teksti polaarsust. Näiteks:

1. 'Sellel telefonil on vinge akutagatis 38 tundi.' (Mitte sarkastiline)
2. 'Sellel telefonil on fantastiline varundamine 2 tundi.' (Sarkastiline)

1. 'Väljas on +25 ja mul on nii palav.' (Mitte sarkastiline)
2. 'Väljas on -25 ja mul on nii palav.' (Sarkastiline)

1. 'Sõitsime nii aeglaselt - ainult 20 km / h.' (Mitte sarkastiline)
2. 'Sõitsime nii aeglaselt - ainult 160 km / h.' (Sarkastiline)

Nagu näeme, erinevad need laused ainult kasutatud arvu poolest - seega arvuline sarkasm.

Automaatse sarkasmi tuvastamiseks on erinevaid lähenemisviise, sealhulgas:

1. Reeglipõhine
2. Statistiline
3. Masinõpe algoritmid
4. Sügav õppimine

Sügaval õppimisel põhinevad lähenemisviisid on üha populaarsemad. Kumar, Somani ja Bhattacharyya lõpetasid 2017. aastal et konkreetne süvaõppemudel (CNN-LSTM-FF arhitektuur) edestab varasemaid lähenemisviise, saavutades arvulise sarkasmi tuvastamise kõrgeima täpsuse taseme.

hankige praegune aeg javascriptis

Kuid sügavad närvivõrgud (DNN) ei olnud parimad ainult arvulise sarkasmi jaoks - need edestasid ka teisi sarkasmidetektori lähenemisviise üldiselt. Ghosh ja Veale oma 2016. aasta paberil kasutage konvolutsioonilise närvivõrgu, pikaajalise lühiajalise mälu (LSTM) võrgu ja DNN-i kombinatsiooni. Nad võrdlevad oma lähenemisviisi rekursiivsete tugivektorimasinatega (SVM-id) ja jõuavad järeldusele, et nende sügavõppearhitektuur on selliste lähenemisviiside jaoks parem.

Sentimentide analüüsi väljakutse nr 2: eituse tuvastamine

Keeleteaduses on eitus viis sõnade, fraaside ja isegi lausete polaarsuse ümberpööramiseks. Teadlased kasutavad eituse esinemise tuvastamiseks erinevaid keelereegleid, kuid samuti on oluline kindlaks määrata eitussõnade poolt mõjutatud sõnade vahemik.

Mõjutatud sõnade ulatus ei ole kindlaks määratud. Näiteks lauses “Saade ei olnud huvitav” on ulatus ainult järgmine sõna eitusõna järel. Kuid selliste lausete puhul nagu “Ma ei nimeta seda filmi komöödiafilmiks”, on eitussõna “mitte” mõju kuni lause lõpuni. Sõnade algne tähendus muutub, kui positiivne või negatiivne sõna jääb eituse piiridesse - sel juhul tagastatakse vastupidine polaarsus.

Lause eituse käsitlemisel on kõige lihtsam lähenemisviis, mida kasutatakse enamikus nüüdisaegsetes meeleoluanalüüsi tehnikates, kui kõigi sõnade märkimine eitusjoonest järgmise kirjavahemärgini. Eitusmudeli efektiivsust saab muuta keele konkreetse ülesehituse tõttu erinevates kontekstides.

Seal on negatiivse arvamuse avaldamiseks mitu vormi lausetes:

• Negatsioon võib olla morfoloogiline, kui seda tähistatakse kas eesliitega (“dis-”, “non-”) või sufiksiga (“-less”).
• Negatsioon võib olla kaudne, nagu näiteks 'selle teoga on see tema esimene ja viimane film' - see kannab negatiivset meelt, kuid negatiivseid sõnu ei kasutata.
• Negatsioon võib olla selgesõnaline, nagu väljaandes „see pole hea”.

Eri tüüpi kirjeldatud eitustega proovide olemasolu suurendab andmekogumi kvaliteeti eituse raames koolituse ja meeleolu klassifitseerimise mudelite testimiseks. Korduvate närvivõrkude (RNN) uusimate uuringute kohaselt võivad erinevad LSTM-i mudelite arhitektuurid ületavad kõiki muid lähenemisviise lausete eituste tüüpide tuvastamisel.

Paberis Negatsiooni mõju sentimentide analüüsimisel hindas sentimentide analüüsimudel 500 arvustust, mis koguti Amazonist ja Trustedreviews.com. Autorid näitavad mudelite võrdlust eitamise tuvastamisega ja ilma. Nende hinnang näitab, kuidas eituse kaalumine võib mudeli täpsust märkimisväärselt suurendada.

töötavad krediitkaardi numbrid 2017 koos rahaga

Sentimentide analüüsi väljakutse nr 3: sõnade ebaselgus

Sõnade mitmetähenduslikkus on veel üks lõks, millega silmitsi seisma jääva analüüsi probleemiga tegelete. Sõna mitmetähenduslikkuse probleemiks on võimatus polaarsust eelnevalt määratleda, kuna mõne sõna polaarsus sõltub tugevalt lause kontekstist.

Leksikonipõhised meeleolude analüüsi lähenemisviisid on populaarsed olemasolevate meetodite seas. Arvamusleksikon sisaldab arvamusõnu nende polaarsuse väärtusega. Internetis on mõned avaliku arvamuse leksikonid: teiste hulgas SentiWordNet, General Inquirer ja SenticNet. Kuna sõnade polaarsus on erinevates valdkondades erinev, on võimatu välja töötada universaalset arvamusleksikonit, millel oleks iga sõna jaoks polaarsus. Näiteks :

1. 'Lugu on ettearvamatu.'
2. 'Rool on ettearvamatu.'

Need kaks näidet näitavad, kuidas kontekst mõjutab arvamussõnade sentimenti. Esimeses näites ennustatakse sõna 'ettearvamatu' polaarsus positiivsena. Teises on sama sõna polaarsus negatiivne.

tarkvaraprojekti maksumuse kalkulatsiooni näide

Sentimentide analüüsi väljakutse nr 4: multipolaarsus

Mõnikord ilmutab antud lause või dokument - või ükskõik milline tekstiühik, mida me analüüsida sooviksime - polaarsust. Nendel juhtudel võib eksitav olla ainult analüüsi kogutulemuse olemasolu, mis sarnaneb sellega, kuidas keskmine suudab mõnikord varjata väärtuslikku teavet kõigi arvude kohta, mis sinna läksid.

Pilt, kui autorid räägivad artiklis või ülevaates erinevatest inimestest, toodetest või ettevõtetest (või nende aspektidest). On tavaline, et tekstiosas kritiseeritakse mõnda õppeainet ja kiidetakse.

Siin puudub kogu meelsuse polaarsusest põhiteave. Sellepärast on vaja eraldada lauses kõik üksused või aspektid määratud sentimentide siltidega ja arvutada kogu polaarsus ainult vajadusel.

Vaatleme näidet, mis koosneb mitmest polaarsusest: 'Minu uue sülearvuti helikvaliteet on nii lahe, kuid ekraanivärvid pole liiga head.'

Mõni sentimentanalüüsi mudel määrab sellele lausele negatiivse või neutraalse polaarsuse. Selliste olukordade lahendamiseks peab sentimentide analüüsimudel määrama lause igale aspektile polaarsuse; siin on 'heli' aspekt, millele on antud positiivne polaarsus, ja 'ekraan' on eraldi aspekt, millel on negatiivne polaarsus.

Selle lähenemisviisi põhjalikumaks kirjeldamiseks soovitan huvitavat ja kasulikku paberit Sügav õppimine aspektipõhise arvamuse analüüsi jaoks autorid Bo Wanf ja Min Liu Stanfordi ülikoolist.

Sentimentide analüüsi täpsuse parandamine: need pole serva juhtumid

Selles artiklis rääkisime meeleolude analüüsi klassifitseerimise populaarsetest probleemidest: sarkasm, eitused, sõna ebaselgus ja multipolaarsus. Kõigi nende kohta teadmine aitab teil võimalikke probleeme vältida: arutatud olukordade arvessevõtmine suurendab klassifitseerimismudeli tunde analüüsi täpsust. Loodan, et olete leidnud selle artikli kasuliku sissejuhatuse teemale.

Seotud: Eeltreenitud mudelitest maksimumi võtmine

Põhitõdede mõistmine

Mis on sentimentide analüüs?

Sentimentide analüüs on inimeste arvamuste ja emotsioonide uurimise protsess.

Mis kasu on sentimentide analüüsist?

Inimesed kasutavad oma arvamuse jagamiseks foorumeid, suhtlusvõrgustikke, ajaveebe ja muid platvorme, luues seeläbi tohutu hulga andmeid. Ettevõtted ja organisatsioonid on huvitatud kasutajate loodud andmete automaatsest analüüsimisest, et nende kohta tõhusalt teada saada.

kuidas saada veebis krediitkaarditeavet

Mis on subjektiivsus sentimentide analüüsimisel?

Subjektiivne lause väljendab isiklikke tundeid, vaateid või veendumusi.

Milleks kasutatakse leksikat?

Leksikon sisaldab arvamusõnu nende polaarsuse väärtusega. Leksikonipõhised sentimentide analüüsimudelid võtavad kokku lauses esinevate leksikonisõnade polaarsuse väärtused ja määratlevad sentimenti vastavalt kogu polaarsuse skoorile.

Mis on sentimentide klassifikatsioon?

Sentimentide klassifikatsioon on lause polaarsuse automaatne tuvastamine. Enamasti kasutatakse meeleolude klassifitseerimisel kolme võimalikku väljundit: positiivne, neutraalne või negatiivne.