Visar inlägg med etikett NP-fraser. Visa alla inlägg
Visar inlägg med etikett NP-fraser. Visa alla inlägg

All vs Most

2015-05-12

Det här var ju lite intressant givet att jag hållit lösning för att kvantifiera dessa typer av indikationer i NP öppen därför att trots i delar mycket vettig rangordning av dem från mitt viktsystem emotionell intensitet kombinerat med något vi kan jämföra med inverse-document-frequency (men ej skapat från just dokument alls) resp. Bluelight intensity ev. i kombination med ett till mått närmare en form av entropi) så avvek en del i toppen underligt. Bl.a. förutsätta jag att all ska vara ovanför most: Dels känns det ju spontant riktigt vidare är ju all i större utsträckning optimerad för användning (kortare så snabbare att processa).


"Indeed, the tendency for quantifiers to be recalled as generic was strongest for “most”, and weaker (though present) for 'all'. A possible explanation for why 'some' is treated differently is that adults understand “some” statements to express distinctly limited generalizations."

Från: Quantified Statements are Recalled as Generics: Evidence from Preschool Children and Adults.
Sarah-Jane Leslie och Susan A. Gelman.
Cogn Psychol. 2012 May; 64(3): 186–214.
doi: 10.1016/j.cogpsych.2011.12.001

Om det sedan för dessa uttryck har betydelse har två svar. För vanliga koncept likt all och most kan man lösa det regelbaserat. Emellertid innehåller själva filen som har alla kvantifierande ord oavsett typ som kan förekomma i dessa fras-typer med aktuell grammatiskt funktionalitet ett par tusen ord (och några 2-gram resp. en del fler-gram men de har mindre betydelse). Det är emellertid mycket lättare att försöka verifiera funktionalitet för numeriska beräknings-algoritmer för dom vanliga koncepten här eftersom det är dom forskning sker på. Jag har här egentligen inte sett över allt efter att lämnade just denna viktdel (det är i all verklighet en av de mindre kritiska delarna i övergripande beräkning av olika former av polaritet för ex. NP-fraser eller andra till noun-fras nära besläktade typer).


En sak jag kan lära här är att inte vara så brutalt försiktig rörande användning av denna grupp av viktlösningar jag använder. Att de fungerat relativt flera andra i andra områden exceptionellt bra är indikation på att man oftare kan chansa innan verifiering forskning om det inte är brutalt tidsödande kodning (vilket jag kanske för ofta avstår från för att inte riskera att få in senare atavistiska komponenter i subsystem).


Mycket uppmuntrande faktiskt.


Rörande some i citatet behöver jag läsa om det mer noggrant. Men möjligen har jag en jämförbar hantering redan här huvudsakligen dock funktionell i att exempelvis something bryts upp i analys till some thing tillfälligt i ett delsteg. Orsaken till det kanske är besläktad och om så ev. vad jag återkommer till (jag föredrar att diskutera sådant här när det fortfarande är unga lösningar ej testade djupt nog om det finns något att referera som tittat närmare på samma sak så att det inte blir fel för läsare underskattande betydelsen som djupare testning faktiskt har här: Även om det kanske inte är så himla många som sitter och implementerar human-like semantisk och emotionell analys av data).


Följande citat kanske jag tolkar lite fel rörande kontext men delvis håller jag ev. inte riktigt med om det:


"To express a generic generalization, however, we just ‘omit’ the quantifier: “tigers are striped”. There is no special linguistic marker (“gen”) that specifically signals a generic. Interestingly, this is not an isolated fact about English: no known language has a word or linguistic marker that specifically signals a generic (Dahl, 1985; Krifka et al., 1995). In this way, generics are less syntactically marked than quantified statements. Chomsky (2000) argues that less marked syntactic forms may be associated with default interpretations. Thus, if generics express cognitively default generalizations, this would explain why they are syntactically less marked than quantified statements."

Frågan är ju vad det är generiskt uttryck inducerat för vad typ. Här tar man nu tigrar som exempel men låt oss ta ett enklare exempel och betrakta typen Hans Husman. Kan vi göra ett generiskt uttryck för något typiskt för honom med ett särskilt ord:


Hans Husman is great.

Eller ej generiskt (om jag förstår meningen de lägger i det: Jag behöver verkligen egentligen läsa artikeln noggrannare):


Hans Husman is great during lent because he eat's enough to have energy.

Hans Husman is a great person to use for bread baking.

Eller varifrån inte:


Tigers has stripes.

Tigers is an animal with stripes.

Givetvis kan jag istället skriva:


All tigers has stripes.

All tigers is animals with stripes.

Eller ev. mer rätt eller mer fel (jag tror att alla renblodiga tigrar ej korsade med ex. lejon har stripes):


Most tigers has stripes.

Most tigers is animals with stripes.

Men för all varande den närmaste till att utelämna indikation helt behöver den egentligen inte. Även om jag egentligen behöver läsa artikeln noggrannare och ev. kan ha missuppfattat något kring generiskt här kändes det som en för mig väldigt relevant anteckning att göra rörande vad som tidigare kommenterades kring all. Reduktion redundans är ju en faktor nära relaterad komplexitet och tänkbart finns något i det som förklarar mitt tidigare feltänkt när jag tog all som vad som borde fått högre viktvärde än most. Det är emellertid lite för omfattande tror jag att försöka diskutera här.

Adverb och Adjektiv i NP

2015-04-07

En nästan men inte helt färdig lösning rörande vad diskuterat av och till här säg sista månaden är klart och stannar som klar tillsvidare. Vad den saknar som bör till senare är:


  • Hantering av polarity dimensioner KNOWN och UNKNOWN också från determiner och diverse annan information ej hanterad nu.
  • Ej "dum-viktning" av resp. koncept identifierad bland NN-delarna av frasen. Diskuteras längre ned.

Test meningen är (med part of speech med) är (ett ej hanterat ord p.g.a. POS-taggningen borttaget manuellt: Test meningar med bara för NP-fraserna den här längden såväl som "konstiga" kombinationerna ger av och till parsning ej meningsfull att hantera i lager högre upp som här därför att de för riktig text aldrig förekommer):


'phrase_pos' => 'DT RB JJ JJ NNP NNP',
'phrase_true_old' => 'the very cool extremly Winston Churchill'

Manuellt skrivet tillsammans: 'the/DT very/RB cool/JJ extremly/JJ Winston/NNP Churchill/NNP'

Med borttaget ord:

'phrase_pos' => 'DT RB JJ CC JJ NNP NNP',
'phrase_true_old' => 'the very cool less extremly Winston Churchill'

Varje möjligt ngram som också är ett koncept

Innan hanteringen av adverb och adjektiv för påverkan emotionell intensitet och polaritet för NN-delarna betraktas kan en del av minnes-dumpen för named entities i generell koncept-mening för varje möjlighet i frasen betraktas för jämförelse rörande vikterna. Detektionen av sådana koncept görs glidande över frasen och ngram med fler ord än tre detekteras tillsvidare inte. En "korrigering" för kontroll av första och sista ordet i frasen (ex. the horse från the cool black horse) lades nyligen till.



'ngram' => {
 'the' => {
     'CONCEPT_AS_GIVEN' => 'the',
     'CONCEPT_BASE' => 'the',
     'ME' => {
   '3' => 1
   },
     'TYPES' => {
    'type_marker_tmp' => {
        'DET' => 1
      },
    'type_marker' => {
      'SMALL_ONESELF_MEANING' => 1,
      'NGRAM' => 1
       }
    },
     '_NGRAM_STOP' => 1,
     'NOT_ME' => {
     '8' => 1,
     '6' => 1,
     '4' => 1,
     '7' => 1,
     '9' => 1,
     '5' => 1
     },
     'VALENCE_HH' => {
    'BLI' => '0.002973483730976',
    'WP' => '4.84713464804905e-05',
    'HH' => 0,
    'WE' => '0.0191927167310695',
    'EMI' => 0,
    'IDF' => '2.18494743528912'
    },
     'POS' => 'DT'
   },
 'winston churchill' => {
     'ME' => {
     '8' => 1,
     '9' => 1
      },
     'CONCEPT_AS_GIVEN' => 'Winston churchill',
     'CONCEPT_BASE' => 'winston churchill',
     'TYPES' => {
      'type_marker_tmp' => {
        'NOUN' => 1
        },
      'type_marker' => {
         'NOUN' => 1,
         'ADJ_DESC' => {
           'winston churchill' => {
            'WE' => '9.41410269104761e-05',
            'EMI' => '7.88779688846691e-05'
             }
           },
         'NGRAM' => 1
         }
       },
     'NOT_ME' => {
       '6' => 1,
       '4' => 1,
       '3' => 1,
       '7' => 1,
       '5' => 1
     },
     'VALENCE_HH' => {
      'BLI' => '0.00742533128386961',
      'WP' => '1.5034531069852e-07',
      'HH' => '8.751750971893e-09',
      'WE' => '9.41410269104761e-05',
      'EMI' => '7.88779688846691e-05',
      'IDF' => '16.1534531706533'
       },
     'POS' => 'NNP NNP'
     },
 'very' => {
    'ME' => {
    '4' => 1
     },
    'CONCEPT_AS_GIVEN' => 'very',
    'CONCEPT_BASE' => 'very',
    'TYPES' => {
     'type_marker_tmp' => {
       'ADVERB' => 1,
       'ADVERB__INTENSIFIER' => 1,
       'ADVERB__INTENSIFIER_UP' => 1
       },
     'type_marker' => {
     'ADVERB' => 1,
     'ADVERB__INTENSIFIER' => 1,
     'ADVERB__INTENSIFIER_UP' => 1,
     'ADJ_DESC' => {
       'very' => {
          'WE' => '0.508625270632673',
          'EMI' => '0.536390369778984'
          }
       },
     'NGRAM' => 1
     }
     },
    'NOT_ME' => {
   '8' => 1,
   '6' => 1,
   '3' => 1,
   '7' => 1,
   '9' => 1,
   '5' => 1
    },
    'VALENCE_HH' => {
     'BLI' => '0.0605634639161009',
     'WP' => '0.00206387302012249',
     'HH' => '0.536390369778984',
     'WE' => '0.508625270632673',
     'EMI' => '0.536390369778984',
     'IDF' => '4.2379447383781'
   },
    'POS' => 'RB'
    },
 'less' => {
    'ME' => {
    '6' => 1
     },
    'CONCEPT_AS_GIVEN' => 'less',
    'CONCEPT_BASE' => 'less',
    'TYPES' => {
     'type_marker_tmp' => {
       'ADVERB__MANNER' => 1,
       'PP' => 1,
       'DET' => 1
       },
     'type_marker' => {
     'PP' => 1,
     'SMALL_ONESELF_MEANING' => 1,
     'NGRAM' => 1
     }
     },
    'NOT_ME' => {
   '8' => 1,
   '4' => 1,
   '3' => 1,
   '7' => 1,
   '9' => 1,
   '5' => 1
    },
    'VALENCE_HH' => {
     'BLI' => '1.64203321501955e-05',
     'WP' => '3.95138316579442e-10',
     'HH' => '0.449313992677461',
     'WE' => '3.40993862350838e-07',
     'EMI' => '0.449313992677461',
     'IDF' => '16.6299837527714'
   },
    'POS' => 'CC'
    },
 'extremly' => {
   'VALENCE_HH' => {}
   },
 'churchill' => {
    'ME' => {
    '9' => 1
     },
    'CONCEPT_AS_GIVEN' => 'Churchill',
    'CONCEPT_BASE' => 'churchill',
    'TYPES' => {
     'type_marker_tmp' => {
       'NOUN' => 1
       },
     'type_marker' => {
        'NOUN' => 1,
        'ADJ_DESC' => {
       'churchill' => {
          'WE' => '0.00248742449395854',
          'EMI' => '0.000201714111080674'
           }
       },
        'NGRAM' => 1
        }
   },
    'NOT_ME' => {
      '8' => 1,
      '6' => 1,
      '4' => 1,
      '3' => 1,
      '7' => 1,
      '5' => 1
    },
    'VALENCE_HH' => {
     'BLI' => '0.00132495202850299',
     'WP' => '5.12314697575614e-06',
     'HH' => '0.000201714111080674',
     'WE' => '0.00248742449395854',
     'EMI' => '0.000201714111080674',
     'IDF' => '11.3813757695686'
      },
    'POS' => 'NNP'
    },
 'cool' => {
    'ME' => {
    '5' => 1
     },
    'CONCEPT_AS_GIVEN' => 'cool',
    'CONCEPT_BASE' => 'cool',
    'TYPES' => {
     'type_marker_tmp' => {
       'ADJECTIVE' => 1
       },
     'type_marker' => {
     'ADJECTIVE' => 1,
     'ADJ_DESC' => {
       'cool' => {
          'WE' => '0.0559318832441363',
          'EMI' => '0.845253554650459'
          }
       },
     'NGRAM' => 1
     }
     },
    'NOT_ME' => {
   '8' => 1,
   '6' => 1,
   '4' => 1,
   '3' => 1,
   '7' => 1,
   '9' => 1
    },
    'VALENCE_HH' => {
     'BLI' => '0.0150655364825916',
     'WP' => '0.000160628421289225',
     'HH' => '0.845253554650459',
     'WE' => '0.0559318832441363',
     'EMI' => '0.845253554650459',
     'IDF' => '6.6827273018918'
   },
    'POS' => 'JJ'
    },
 'winston' => {
    'ME' => {
     '8' => 1
     },
    'CONCEPT_AS_GIVEN' => 'Winston',
    'CONCEPT_BASE' => 'winston',
    'TYPES' => {
   'type_marker_tmp' => {
       'NOUN' => 1
        },
   'type_marker' => {
        'NOUN' => 1,
        'human_name' => 1,
        'ADJ_DESC' => {
       'winston' => {
           'WE' => '8.82010608683303e-05',
           'EMI' => '0.000177654641714373'
         }
        },
        'NGRAM' => 1
      }
   },
    'NOT_ME' => {
    '6' => 1,
    '4' => 1,
    '3' => 1,
    '7' => 1,
    '9' => 1,
    '5' => 1
    },
    'VALENCE_HH' => {
      'BLI' => '0.00132791134473617',
      'WP' => '1.40237814713836e-07',
      'HH' => '0.000177654641714373',
      'WE' => '8.82010608683303e-05',
      'EMI' => '0.000177654641714373',
      'IDF' => '12.7993113820127'
      },
    'POS' => 'NNP'
     }
 },
  'phrase' => 'the very cool less extremly winston churchill',
  'phrase_pos' => 'DT RB JJ CC JJ NNP NNP',
  'phrase_true_old' => 'the very cool less extremly Winston Churchill'
}


Adverb delarna

Adverb delarna detekteras och beräknas först. Om adjektiv följer direkt och är "naturligt" utvärderande avseende NN-delarna sätts adverb-delarna som verkande på dessa därför att det så vitt jag sett alltid är korrekt. P.s.s. senare om adjektiv har motsvarande egenskaper antas det verka avseende NN-delarna oavsett vad mer allmän preferens grammatik (som testkört lite olika andra parsers än mina tenderar att visa) därför att avseende detta är det regelmässigt korrekt när adjektiv följs av något mer property-indikerande (och om ej så ofta nog även om en viss liten extra kontroll görs).



'1' => {
     'WORD' => 'very',
     'BASE' => 'very',
     'W' => {
        'we' => '7.62195954462639',
        'we_nidf' => '1.87038423273255',
        'idf' => '0.351918445398088',
        'emi' => '0.536390369778984',
        'wp' => '0.44134228929289',
        'w_spread' => '0.129223128311843',
        'wc_1' => '0.188765665059126',
        'wc_2' => '1.21216152125221',
        'wc_3' => '1.40092718631134'
        },
     'SUB_PH' => {
           '1' => 1
           },
     'WORD_TARGET' => {
              'S_TYPE' => 'ADVMOD',
              'S_TARGET' => 2
            },
     'TYPES' => {
          'RB' => 1,
          'UP' => 1,
          'ADJECTIVE__OVER_STATEMENT' => 2,
          'JJ_RB' => 1,
          'JJ' => 1,
          'INTENSIFIER' => 2
          },
     'POS' => 'RB',
     'POS_LONG' => 'RB'
   },

Och adjektiv

Men nu att ev. adverb verkande på dem värderas in. Först resp. adjektiv utan pay-load från adverb:



$VAR3 = 'I';
$VAR4 = {
'4' => {
     'WORD' => 'extremly',
     'BASE' => 'extreme',
     'W' => {
        'we' => '2.88671852159224',
        'we_nidf' => '0.288570571860342',
        'idf' => '0.412774883806266',
        'emi' => '0.500394158940241',
        'wp' => '0.0436629985203084',
        'w_spread' => '0.0135792191974688',
        'wc_1' => '0.206550140813892',
        'wc_2' => '0.169455887590782',
        'wc_3' => '0.376006028404674'
        },
     'SUB_PH' => {
           '4' => 1
           },
     'WORD_TARGET' => {
              'S_TYPE' => 'AMOD',
              'S_TARGET' => 6
            },
     'TYPES' => {
          'UP' => 1,
          'ADJECTIVE__OVER_STATEMENT' => 1,
          'ADJECTIVE__PROPERTY_QUALITY' => 1
          },
     'POS' => 'JJ',
     'POS_LONG' => 'JJ'
   },


'2' => {
     'WORD' => 'cool',
     'BASE' => 'cool',
     'W' => {
        'we' => '2.44494729059667',
        'we_nidf' => '0.229545456026173',
        'idf' => '0.439066836519084',
        'emi' => '0.845253554650459',
        'wp' => '0.0343490682256616',
        'w_spread' => '0.0336672412914001',
        'wc_1' => '0.371122804296888',
        'wc_2' => '0.128759658811431',
        'wc_3' => '0.499882463108318'
        },
     'TYPES' => {
          'ADJECTIVE__EVALUATIVE_QUALITY' => 2,
          'JJ' => 1,
          'DOWN' => 1,
          'POSITIV' => 1
          },
     'WORD_TARGET' => {
              'S_TYPE' => 'DOBJ',
              'S_TARGET' => -1
            },
     'POS_LONG' => 'JJ',
     'POS' => 'JJ'
   }

Därefter dels resp. värderad med ev. adverb-pay-load samt vidare mellan-stegs-värden för adverb-subfras. Rörande polarity har genomgående använt engelska på allt förutom just "positiv" och "negativ" sedan år och fortsätter så.



$VAR5 = 'SUB_PH';
$VAR6 = {
'4' => {
     'W_JJ' => {
           'W_JJ' => '0.206550140813892',
           'W' => '0.206550140813892',
           'W_EMI' => '0.500394158940241'
         },
     'POLARITY_I' => 'UP',
     'MEMBERS' => {
            '4' => 'extremly'
          }
   },
'1' => {
     'TARGET' => {
           'S_TARGET' => 2
           },
     'POLARITY_I' => 'UP',
     'W_ADVERB' => {
             'I_ATYPE' => 'MONOLITHLY',
             'W' => '0.188765665059126',
             'W_2' => '0.536390369778984'
           },
     'MEMBERS' => {
            '1' => 'very'
          }
   },
'2' => {
     'W_JJ' => {
           'W_JJ' => '0.371122804296888',
           'I_ATYPE' => 'RB_UP',
           'W' => '0.455248839574356',
           'W_EMI' => '0.845253554650459',
           'W_EMI_BOTH' => '0.939636387180022',
           'q_emi' => '0.223324307860718',
           'q_e3' => '0.45335955809479'
         },
     'POLARITY_E' => 'POSITIV',
     'MEMBERS' => {
            '2' => 'cool'
          }
   }
    };

Effekt NN

Här ser vi "dum-viktning" av resp. ngram möjligt avseende Winston Churchill. Just Winston Churchill och mycket liknande kan man göra det enkelt för sig medan när det bl.a. gäller ämnesområden är det lämpligt att låta resp. detekterat att få vara med viktat därför att vi kan vetskap bland vissa ngram gynnsamt att värdera in medan få har nära nog ingenting för typiskt ett längre mer exakt ngram. Tillsvidare därför att jag inte har bestämt på någon generell lösning för detta (där jag på ungefär den "logik-nivå" vi är på här vill ha snabb och vettigt fungerande lösning vilket bl.a. gör en del lösningar för detta jag har ej användbara varande för långsamma). Vad som tillfälligt används är IDF vilket man kan förstå som jämförbar med Inverse document frequency (men ej tf-idf) även om den inte utnyttjar riktigt samma typ av data (snarare mer jämförbar med contextual diversity) eller riktigt samma formel.



$VAR7 = 'NN';
$VAR8 = {
'STR' => 'Winston Churchill',
'N_MEM' => 3,
'W' => {
     'UP' => {
         'emi' => '0.500394158940241'
         },
     'INTENSITY' => '1.34579259811542',
     'POSITIV' => {
            'emi' => '0.845253554650459'
          }
   },
'MEMBERS_ALL_POSSIBLE' => {
              'Winston Churchill' => 1,
              'Winston' => 1,
              'Churchill' => 1
            },
'MEMBERS' => {
       'the' => {
            'idf' => '2.18494743528912',
            'emi' => 0
            },
       'Winston Churchill' => {
                    'idf' => '16.1534531706533',
                    'emi' => '7.88779688846691e-05'
                  },
       'Winston' => {
              'idf' => '12.7993113820127',
              'emi' => '0.000177654641714373'
              },
       'Churchill' => {
                'idf' => '11.3813757695686',
                'emi' => '0.000201714111080674'
              }
       }
    };

Efternamn Churchill högre i ex. emotionell intensitet (emi ovan) än Winston är förövrigt indikation om att värdet med färre förväntade problem kan värderas tillsammans med Winston Churchill (men används ej ovan).


Upp - Upp eller Ner - Upp?

Hur vi nu värderar adverb när verkande på ett adjektiv har jag sett en del varianter av publicerande. Typiskt för dessa var att man utgick från mycket sämre effekt-vikter från första början (ex. hand-skattade enkla heltal eller liknande, eller i något fall viktsystem jag väl känner igen och som jämförliga på en lägre komplexitets nivå än var mina viktsystem befinner sig i det här steget). Jag prövade en del varianter i försök att få några stycken som såg rimliga ut och försökte därefter jämföra dem med kända samband för komplexitet för kombinationer av adjektiv-noun. Jämförelse komplexitet kom jag fram till inte gav någon tillförlitligt alls (huvudsakligen eller helt relaterat hur jag omvandlade det till något användbart här tror jag).


Algoritmen jag slutligen valde upplever jag känns mer tung att minnas än jag hade trott här. Så tillsvidare kanske vi får nöja oss med att mitt minne inte vill komma ihåg den fast jag trott att jag skulle så. Vi kan i alla fall i väntan på eventuell komplettering peka på att effekten av very från:



'1' => {
     'TARGET' => {
     'S_TARGET' => 2
     },
     'POLARITY_I' => 'UP',
     'W_ADVERB' => {
       'I_ATYPE' => 'MONOLITHLY',
       'W' => '0.188765665059126',
       'W_2' => '0.536390369778984'
     },
     'MEMBERS' => {
      '1' => 'very'
    }
   },

Viktas in via q_emi i två fall (förstärkande eller reducerande) och q_e3 nedan:



'2' => {
     'W_JJ' => {
           'W_JJ' => '0.371122804296888',
           'I_ATYPE' => 'RB_UP',
           'W' => '0.455248839574356',
           'W_EMI' => '0.845253554650459',
           'W_EMI_BOTH' => '0.939636387180022',
           'q_emi' => '0.223324307860718',
           'q_e3' => '0.45335955809479'
         },

Slutligen rörande polarity effekt av adjektiv mot NN-delarna om positiv eller negativ finns för adjektiv sätts ej ev. polarity för Up och Down. Detta för att underlätta sam-hanterande av resp. adjektiv. Om ett adjektiv indikerar intensitets-förstärkning via Up och efterföljande har ex. Positiv satt kan detta ibland hanteras som att föregående förstärker efterföljande istället för att verka på NN-delarna direkt men det är ingenting vi vill göra om Positiv eller Negativ är satt. Det går att göra via andra metoder men kanske ingen annan bra metod som ej fodrar hänsyn till ett större kontext vilket jag helt vill undvika här (ingenting större än motsvarande en mening d.v.s. en titel).

Tidsstabila adjektiv närmare NN-delarna av noun phrase: En förklaring motiverad från n-gram frekvenser för koncept

2015-04-01

Att vi har tidsstabila eller mer generellt stabilt specifierande adjektiv närmare noun delarna av en noun phrase är känt sedan länge. Ett exempel är färg (närmare NN-delarna) resp. en subjektiv bedömning av värde eller preferens kontextuellt beroende(Hans bought the more cool black horse).


Egentligen är jag inte helt road av sambanden för hur vi ser adjektiv här eftersom jag upplever det praktiskt mer funktionellt att hantera delar av de mer evaluativa tillsammans med vissa av adjektiven som en egen grupp men det bör inte påverka just här.


Varför vi föredrar - över många språk - temporalt mer stabila egenskaper närmare NN-delarna kan man föreslå åtminstone ett fåtal alla mer eller mindre troliga föreklaringar till utan koppling till någon metod att egentligen verifiera det men åtminstone med argument som tycks rimliga. Och här ger vi en till sådan jag ej sett tidigare.


En faktor predikterande ett antal faktorer relaterade intensitet som mätbar människa görande något med noun phrase är frekvenser. Och en grupp av frekvenser är frekvenserna för ord. Emellertid påverkar också fler-gram frekvenserna.


Betraktar vi en väldigt kort fras (och med därför inte mer otrolig):


[Something] VERB the black horse

Kan vi bilda relevanta 1-gram och fler-gram från högra frasen i den mån vi tidigare sett dem om vi ska bygga på ett värde känt d.v.s. potentiellt:


    the, black, horse, black horse, the black horse

Vidare är känt att vi inte otroligt också bildar the horse.


Komplettering: Antalet gram vi bildar ovan stämmer ej med hur jag tror att det sker. Jag vet inte riktigt varför jag missade ett fall som jag gör som ej förekommer - och ej är förväntat att märkas - för studier på människor rörande tre-gram (med eller utan att första ordet är determiner). Men ovan kom de som är känt predikterande samt de ofta använda 1-gram.

Saknad: the black.

Jag känner dock starkt för att the verkar lokalt. Kanske just mer relevant när det följs av property adjektiv enligt diskussion senare. Jämför gärna med följande ex. The Green Party vs The Green.

Sedan år gör jag ngram-detektion något annorlunda än vanligt. Tidigt mest därför att jag önskade en algoritm snabbt och saknade sannolikhet för koncept med många ord. Men kom senare representerande koncept mång-dimensionellt se flera poänger med detta. I den mån the green existerar som ett etablerat koncept åtminstone några stabila vikt-dimensioner finns för kommer jag ta ut det och räkna med det.

För människan inser vi självklart att vi arbetar upp koncept: Vi kan inte hålla hur mycket som helst i minnet. Men det är ett mindre problem för mig i alla fall än att testa the black och kasta eller behålla.

Förövrigt detekterar jag ej skip-gram: the horse. Men räknar dock med det rörande intensiteterna för frasen. Jag tror det är mindre rätt om vi utnyttjar the direkt för ex. horse eller green att ej detektera skip-gram åtminstone när avståndet i antal ord är så få som för 3-gram.



Bland dessa är black horse lite speciell därför att vid sidan om att black kan indikera en tidsstabil property (färg) kan det vara ett mer generellt concept. Svarta hästar kan givet ett kontext eller som vi ofta allmänt refererar ha en särskild mening.


Har vi aldrig sett black horse tidigare är frekvensen för antal gånger vi sett black horse 1. Om ej så blir det problematiskt (för mig i alla fall) hur inlärning av en ev. koncept-grupp enligt föregående stycke är möjlig.


Antar vi detta kan vi emellertid tänka oss diskriminering från relativ förekomst resp. skillnader i hur "betydelsen" av horse resp. black horse ser ut. Avses normalt bara att hästen är svart utan bredare mening bör vi få föga skillnad (och jag får här säga att även om jag längre bak tittat en hel del på detta från relationer definierande koncept är själva metoden för det jag använder annat än för för-beräknande värden alldeles för långsam för den typ av användning aktuell för enskilda meningar - trots nyligen en del försök att ta ner tiden kastande dimensioner utifrån 1-gram vikter - och jag har därför följt upp här men det tycks generellt rimligt med få undantag från direkt påverkan av corpus vi läser in alt. vad vi som person läser eller hör om jag inte helt tänker fel).


Problemet med att istället sätta våra "evaluativa" dimensioner närmare NN-delarna är dock att de alltid är ganska vanliga i den mån några individer känner sig engagerade. De är dock tämligen rörliga såväl som inte sällan vanliga för alla grova "få-antaliga" kategorier vi kan göra.


Sätter vi dessa direkt (och vi kan tänkbart ha fler alternativ här avtagande med avstånd även om jag inte upplever att det är helt trivialt att se från mätvärden eller vikter: Kanske håller preferensen helt enkelt från förväntad när fler man ev. kan vilja bilda fler-gram från finns?). Börjar vi bilda en mängd vanligt förekommande "koncept" likt: "good horse", "bad horse", "slow horse", "cool horse".


Sätter vi till dessa ett beskrivande koncept med ej försumbar intensitet donerande säg red (färger upplevde jag oroande tills jag verifierade det ligger gärna högt i flera typer av intensiteter) kan good horse kam kamrater börja kännas diskriminerande jämfört med horse. Just här givetvis men ändå bäst skrivet antar vi i egenskaper för hur detta sker varande en separat fråga: Utan detta har vi stora problem med resonemanget ovan för noun phraser när de ungefär består av endast bad + horse (men mindre så spekulerar vi utan närmare motivation för the bad horse: För vilken the bad horse och the horse är de viktigare intensitet byggande koncepten - och som jag gärna vill tvinga det till horse).


Bättre uttryckt: Stabila egenskaper kan indikera egna relaterade koncept. Oftare förekomst kan etablera dessa. Koncept vi ser som egna är just typiskt mer stabila. Sitta egenskaperna direkt före NN-delarna kan det upplevas som beteckning på det koncept som vi får värden för i resp. fall. Är detta nu evaluativt är oavsett hur föränderligt varierat månad för månad representationen återkommande ofta nog.


Man kan helt säkert göra lösningar för adjektivens påverkan på NN-delarna på flera sätt ungefär - eller väldigt nära varandra faktiskt - motsvarande varandra (även om en del kan vara långsammare, andra försökande utnyttja 1-gram eller fler-gram o.s.v.). Ett perspektiv på adjektiven rörande evaluativt (cool horse / cool car resp. property (tall people / heavy [lite både och varierat med kontext] people / yellow people) är att se de evaluerande reducerande till ett mindre antal intensity / polarity dimensioner vi också har etablerat i NN-delens koncept vi redan känner (ev. ganska generellt hårt-inlärt i en dominerande preferens ex. Nazigerman mer negativt / danger och Dalai Lama mer positiv / safe).


Vill vi kontextuellt "tillfälligt" förmå om ett koncept fungerar detta utmärkt. Vill vi kontextuellt uttrycka att någon egenskap hos Nazigerman var positivt räcker det bra att betrakta denna dimensionen och skatta effekten av det mot en målgrupp (enklast fungerande genomsnittet för approximativt allt språk: Medan hur positivt ökande Nazigerman egentligen blir för mindre grupper som redan mer ser det som positivt är svårare att göra bra eftersom vi har mindre data - relativ mängd data vi mätt tillsammans med själva själva distans-skillnaden är en ibland ej helt bra indikation: Relativt litet data indikerande stor distans pekar på problem utan att utesluta att ingen distans också kan vara problem medan om vi följer förändring dagligen varians rimligen borde fungera väl men praktiskt ofta inte adderar värde just här eftersom perioder normal förändring är att förvänta - vs. ingen aktivitet / spammande samma inlägg o.s.v. - fodrar att vi faktiskt har en acceptabelt god historisk bakåt vilket vi kan sakna för mindre sociala grupperingar och jämförbart).


Medan property stabilt indikerande diskriminerande egenskaper ev. pekande på ett eget koncept är vad vi kan se som påverka de relationer som definierar vad konceptet påverkar och påverkas av. Enkelt och mycket få-dimensionellt i påverkan ex. att horse har relation till color där vi ser påverkan av black. Populärt rörande sådant är hårt-dimensions-reducerande algoritmer där ett antal välkända finns. Diskriminerande ett troligt koncept black horse från horse tror jag säkert de alla klarar utmärkt med ett fåtal dimensioner (liksom för detta exempel förekomsten av black horse resp. black och horse klarar jämförbart bra) medan jag åtminstone ännu inte sett något publicerat som utnyttjar få-dimensionella reducerande dimensioner som klarar att uttrycka intensitet vi bygger upp jämförbart med kända samband för hur enkla kombinationer från ordet svart till häst och svart häst klarar. Gör man det mång-dimensionellt klaras detta av alldeles utmärkt men är alldeles för kostsamt för sådant här med relativt föga värde.


Ett alternativt perspektiv på ett nytt perspektiv bildas inkluderande möjligen att direkt utnyttja vikt-påverkan av ex. black till horse och det prospekterande konceptet black horse är initiering / förstärkning av just black utan att expandera ut black i dess inlärda och givna dimensioner.


Medan det mång-dimensionella gör detta samt expanderar ut black (för mig cirka 2000 dimensioner inkluderande sådana som alltid blir 0 och kastas direkt: Kandidater att avlägsnas permament - och säg 200 man får kvar filtrerande hårt för snabbare hantering) och för resp. sådan dimension (där color är en liksom noterade jag fire och human även om jag inte hann med att se vikterna innan de rann-förbi) och för resp. i den mån de är relevanta för horse påverkar dess representation ( p (dimension i | horse ) resp. similarity ( dimension i | horse )). D.v.s. för black kanske ett par hundra operationer (med resp. p (...) och sim(...)) istället för en mellan black och horse.


Söker vi positivt, negativt och liknande polarity är relationer ganska meningslösa. Givet mycket att mäta på nätet m.m. kan vi skatta detta direkt tidsberoende från uttrycka evaluativa komponenter. Emellertid vill vi skatta hur förändring i mer grundläggande egenskaper påverkar "storlek" (för NP som typiska mänskliga subjekt och objekt till verb om en egenskap gör endera starkare / mer kraftfull o.s.v. exempelvis samarbeten för länder), intensitet eller uttrycka ett besläktat koncept varande ett "underrum" (minns något matematiskt - fysisk- och matematisk PTSD är tungt - man en gång lärde sig jag emotionellt upplever kan passa här men där jag starkt betvivlar att jag kan riktigt förklara underrum på ett sätt som gör att vi kan avgöra om saker är det: Bättre uttryckt en mindre del som också finns i det större konceptet).


I någon mening är det också från detta troligt att för många property adjektiv saknande varje enkelt indikerad polarity ex. att blått ej ses som positivt eller negativt ej bra kan förenklas med detta rörande påverkan i intensitet till NN-delarna. Snarare att man behöver mäta upp deras uttryck av resp. brett förenklande över allt vi mäter på eller med kontext. Black kan vara upplevt positivt (och enligt diskussion tidigare också bilda fler-gram koncept Black Power) eller om än inte riktigt kännas negativt ändå väldigt oroande och intensitet-förstärkande om det i ett kontext är ovanligt som hudfärg samtidigt som det är mörkt: Åtminstone om man inte är färgad själv). Utan detta vet jag inte om jag vill se påverkan intensitet annat än att hantera komplexitet så att saker inte glider i väg åtminstone om vi inte har rätt typ av adverb eller adjektiv innan (men här har jag troligen lite fel men har dock lösningar för att samla intensitets-typerna över datum och tidsperioder så jag är inte helt över-motiverad när det så uppenbart fördummar ner andra värden till större mätosäkerhet).


Vill man ändå ta intensitet från property tycks kanske en vikt som funktion av P ( NN-delar bildande koncept | property-koncept ) vara mycket mer naturligt för dessa subjektivt (jag tittande på några värden prövande andra algoritmer) välfungerande jämfört med evaluativa adjektiv (med ev. förstärkande adverb sub-fras). Och därmed är vi tillbaka där vi börjande: Mer eller Mindre. ( P ( the black horse ) / P ( black horse ) m.fl. skattningar man kan pröva här).

Att skatta komplexitet för NP är svårare än ofta föreslaget

2015-03-27

Jag skulle behöva en bättre complexity gör godtyckliga noun phrases för att balansera upparbetning av ex. emotionell intensitet mot named entity eller andra noun compounds mot slutet. Detta förslag med en mängd liknande går dock inte att använda:


"Noun Phrase Complexity (Ravid & Berman, 2010)
1. Mean length of NP in words
2. Mean number of modifier tokens
3. Mean number of modifier types
4. Mean number of subordinated lexical nouns
5. Head noun concreteness (Coltheart, 1981; Nippold, et al. 1999)"

Från: Language Proficiency and Linguistic Complexity Craig Lambert, Ph.D. December 19th 2014 Vrije Universiteit, Brussel

Feltänket är antagandet att fler av resp. ökar komplexitet men det stämmer inte. Har vi en modifier av adjektiv-typ modifierande noun och till den lägger en modifier varande adverb modifierande adjektiv gäller att vi nu har en mening lättare att processa. Går vi ner i åldrarna hos barn (men inte uteslutande bedömt från vad känt från studier där) kan rent av adverb föregripande adjektiv modifierande den varan förutsättning för att förstå och klara ut adjektivet.


Av samma anledning är längden av NP i ord ej tillförlitlig att använda. Fler ord kan öka komplexitet men kan också minska ord för såväl tillägg av adverb, adjektiv och noun (noun berördes lite längre fram medan jag utelämnande adjektiv vara tämligen självklart: Direkt nära adjektiv kan vara förutsättning för att efterföljande noun compound alls kan tolkas medan tidigt evaluativt-adjektiv kan vara motivationen som gör att vi överhuvudtaget läser resten av meningen).


Vidare finns chunks intränade till välkända ofta sedda koncept i sig själv som ex. Carl Bildt eller Hans Husman är identifikationen av detta som chunk effektivt och kommer med lägre komplexitet för åtminstone vissa former av adjektiv och föregripande noun ej del av named entity helt enkelt därför att det inte blir förvirrat eller meningslöst hur de påverkar jämfört med om vi istället anger med säg efternamn och läsaren p.g.a. annan person nyligen förekommande i nyheter med samma namn behöver hålla divergent representation uppe för båda när han går framåt.


Av samma anledning är längden på orden - om än ibland - inte alltid heller bra för att skatta komplexitet. Förutom en del rent visuella egenskaper jag känner är korrekt att utelämna (men är heller inte vad jag någonsin betraktat i detalj utanför titlar, abstract, och taggar för journal-artiklar, news-artiklar och blog-postningar) eftersom vi nu ändå måste flytta ögonen eller huvudet förr eller senare (och idag med html-innehåll känns det inte alltid självklart att man kan skatta bra här under förutsättning att man endast ska ta hänsyn till text utan formatering).


Och tämligen spekulativt om propagerar vikt från adjektiv med indikerad kanske högre komplexitet från sannolikhet, idf, diskriminerbarhet m.fl. mer eller mindre jämförbara mått som kan kombineras samman för att uttrycka hur vana vid är vid en term resp. hur sannolikt den i sig själv är marked förekommande i ett dokument (very förekommande i många kontext, dokument, meningar är föga marked och kan ha viss inflation medan en udda term kan märkas ut mer men vara dyrare att processa) är det tänkbart att den kostnaden givet emotionell intensitet hos termen gör ett längre noun-compound lättare att processa därför att det blir emotionellt intensivt och spännande istället för väldigt tråkigt.


Vidare anknytande till vad jag skrev i Ej säkert att engelskan har ett positivt bias såg jag för ett par timmar sedan gående igenom vad publicerat i hopp om att slippa få ett överdrivet antal lingvistiska studier gjorda av lingvistiker mer önskande från andra områden faktiskt men också att jag hitta en del bra från dom också jag inte redan sett samma studie gjord förr av tio andra (lingvistik är låg-budget i forskning jämfört med ex. medicinsk grundforskning så när man rör sig mer i lingvistik i deras område är i min erfarenhet kvaliteten såväl som unikheten riktigt bra mycket bättre) en artikel intressant åtminstone i problemformuleringen där man bl.a. pekade på att recall av vissa former av koncept gynnas av konceptet är välkänt för oss (uppbearbetning till ungefär som frequency effect m.fl. likartade företeelser) medan diskriminerbarhet och att addera tid på konceptet kan gynnas av oväntade slumpmässiga kombinationer av bokstäver (minns jag rätt meningsfulla ljud). Det kändes tilltalande att någon mer noterat problematiken även om jag inte såg någon lösning där.


Och om vi har två adverb efter varandra fyllande samma funktioner gäller ibland att de mer än ska tolkas tillsammans också är en ofta förekommande kombination vi bäst ser som ett koncept i sig. Dels därför att vi kanske kan få korrektare värden genom att erkänna den som en gemensam koncept (jämför med Hans Husman istället för Hans + Husman) vidare relevant för komplexitet därför att det är möjligt att dessa är snabbare att processa än resp. ord var för sig om de ej konvergerar till ett gemensamt koncept.


Rörande ord med prefix gäller trots många studier demonstrerande korrelation rörande olika frekvenser för prefix, själva bas-konceptet, resp. ev. form på slutet (ex. ir + responsib + able eller som jag föredrar att skriva dem ir + responsible + able om nu responsible är begreppet närmast centralitet för besläktade koncept och om inte vad som nu visar sig vara det) i och för sig demonstrerande argument för eller emot olika idéer om hur hjärnan hanterar dessa koncept (ex. skattande vikter för ord vi aldrig tidigare sett men ändå förstår därför att vi ex. mått responsible tidigare om än irresponsible) att samband rörande frekvens ej på vettig nivå (med något jag prövade) approximerar frekvensen för hela ordet från base (när dessa faktiskt ej är ovanliga och trovärdiga värden finns). Approximationerna går att få mycket bättre inte överdrivet svårt men just frekvensen räcker inte: Men inte ens mycket bättre känns dom i all ärlighet bra i annan mening än jämfört med när beräknande endast från frekvenserna. Detta endast jämförande prefix + base d.v.s. utan att blanda in koncept som också varierade på slutet. Text längd gav heller inte särskilt bra approximationer.


Givetvis kan man införa en super-operator inkluderande bl.a. not såväl som alla prefix som praktiskt för en tillräckligt andel av ord de används för (och där antonym finns resp. om inte har kontrollerats förhand) vilket möjligen gör det enklare att approximera hur vikter för base ska modifieras (eller alternativt tvärtom gör det mycket svårare: Jag vet inte säkert).


Praktiskt tror jag emellertid att det tänkbart kommer ner till att dom den relevanta motivations-drivande vikten för base är tillräckligt hög kommer komplexitet som skattat för hela ordet skapa praktiskt större intensitet än endast base har: D.v.s. i någon mening att ordet har lägre komplexitet därför att det känns viktigare, intressantare, roligare o.s.v. att läsa. Det är fel att kalla sådana lösningar själv-plågande men jag ger visst erkännande till att det kanske felaktigt kan upplevas så att implementera dem och väntar med att göra dem innan en hel del annat prövats ty för att detta praktiskt ska gå är man direkt i en multidimensionell värd där man i värsta fall också kan behöva ta hänsyn till similarity (ex. har vi läst så långt som till koncept i tycks det troligt att om det har viss rimlig likhet med andra tidigare koncept i allmänhet krångliga och tråkiga om än mindre så i vissa ämnen att sådan kostnad ej avgör negativt: Men jag väldigt mycket så hoppas att det visar sig korrekt när jag skriver att jag absolut inte räknar med att behöva göra en sådan lösning).


Det låter som jag lärt mig en massa här och delvis stämmer det. Men det finns också alltid en viss risk att tänka för komplext. Samtidigt har jag åtminstone några stabila indikationer på att det svårt att komma undan med de typer av enklare lösningar man hellre skulle önska använda.


Energi att lägga på att skatta komplexitet över frasen resp. per ord är dock när rationellt driven vad anpassas från vad man tänker sig göra. Jag har mycket bra viktsystem potenta i projektioner från bag-of-word och nätverk av koncept, resp. redan för vissa kombinationer under parsning mellan olika delar av meningen som jag önskar ta längre. Det är tråkigt att förstöra ner dom värdena när många fler olika koncept av varierade sorter (olika adverb-typer, adjektiv-typer och "för-noun") ska kombineras innan de får verka på sista NN-konvergensen eller konvergenserna. Ofta när jag nu läst studier från den lingvistiska kulturen saknas en bra praktisk uppgift att verifiera teorin mot istället räknar man lite fram och tillbaka ofta på hand-markerat data eller tittar om man får liknande resultat på annat data som man fick på hand-pos-markerat data vilket inte direkt är trovärdigt får någon bredare mer krävande användning än kanske just träna en algoritm av deras typ på en begränsad mängd pos-lablat data. Jag såg ex. en studie som argumenterade för att modifiera intensitet av ett adverb verkande på ett adjektiv (av en särskild grupp de också infört: ev. kallad strong) med en multiplikativ faktor av 0.30. Och visst jag kan förstå att de fick 0.30 när de gick över adverben därför runt cirka 0.30 ligger för mig very såväl som most med flera vanliga när de viktats upp från bl.a. frekvens, IDF, och något till välkänt trivial mått (jag använder nu mest för att se hur andra kombinationer fungerar) och sedan normaliserats men jag tvivlar ju starkt på att 0.30 ens är i närheten av ex. ovanliga adverb förekommande i få chunk med anormal association till adjektivet. Med en praktisk domän att tillämpa det på hade man säkert uppmärksammat problematiken eftersom det där inte räcker med att hantera ett mindre antal adverb man sorterat upp i kategorierna utan att alla adverb ska hanteras.

Att räkna numeriskt med adverb intensifiers i NP-fraser

2015-03-20

Är praktiskt inte fullt så enkelt man kan förutsätta. Viss utmaning finns först från att det ej finns (jag har ej hittat) relevanta studier på människor. Vidare genom att vi kan se att potential finns från att utnyttja faktiska egenskaper utanför resp. adverb's vikt vilka dock tänkbart har "rest- / implicita- / flummiga- sidoeffekter" (jag kom att ofta kalla det "lingering" som också ska förstås havande en avtagande egenskap som funktion vad vi enklare här kan kalla tid) utanför själva principen.


Vi tänker oss att vi har en vikt existerande per ord med mycket hög kvalitet och för flergram med också god kvalitet med tråkigt nog ej riktigt jämförbara med 1-gram (p.g.a. hur generering skedde där 1-gram fick vikta in extra ursprungliga feedback vikter vilket som sidoverkan gav två skalor utan att jag då insåg det). För adverb räcker dock alltid 1-gram utanför specialistområden som medicin.


Antar vi först att vi ej bestraffar konstruktioner likt:


very very

Är det kanske ett bra första exempel ty meningen är förväntat exakt den samma för resp. very såväl som vikt.


Tar vi nu istället:


very decreasingly

Har vi istället att very har dimension UP indikerande att det pekar på förhöjd aktivitet medan decreasingly istället har dimension DOWN indikerande minskad aktivitet.


Hur konvergerar aktiviteten och till vad? Säg att konvergens först sker per ord vilket ger oss ordets aktivitet.


Är efterföljande ord identiskt för de förenklade menings-dimensioner (UP-DOWN, POSITIVE-NEGATIVE, KNOWN-UNKNOWN) vi nöjer oss att utnyttja kan vi se dem göra en särskild konvergens tillsammans i mening av att de endast viktas samman.


Skiljer sig efterföljande åt tycks vi normalt alltid ha motsvarande ett 2-gram (när betraktade ensamma) motsvarande sista exemplet. Konvergens kommer här (föreslår jag) ske på sista adverb's mening. Förstärkande aktivitet UP verkar vid konvergens på DOWN hos decreasingly.


Vi kan när adjective införs laborera med samma lösning med en slutgiltig konvergens för dessa. Emellertid precis som gränsdragning mellan adjective och noun är tämligen flytande får vi för adjektiv förutsätta att vi inte självklart kan propagera konvergensen framåt till ev. efterföljande adjektiv (lika lite som ev. via mellan-liggande adjektiv). Vad som avses i "känslokall egenskap" (de bruna löven) eller "känslo-nära bias evaluation" (den inkompetenta, flummiga och tråkiga Maria) och emellan det blandas inte perfekt med varandra.


Och vad som avsågs när implicita- och flummiga-utmaningar föreslogs eventuellt existerande är när intensifiers även har kända dimensioner rörande evaluation som positiv och negativ resp. implicit påverkan av ex. UP från very till DOWN i decreasingly. Vi exemplifierar med det sista:


  • Förstärkning av emotionell intensitet från very verkar i princip och huvudsakligen på DOWN för decreasingly.
  • Likväl har en UP egenskap aktiverats och kommer tänkbart ha efterverkande aktivitet från sitt första uttryck därför att nedbrytning ej behöver vara så snabb som färdig när konvergens nästa ord sker (mycket från hur vi tolkar ord i tal visar att så inte är fallet genom att möjlighet att tolka för ord i dess mening från såväl bakomliggande ord som framförvarande ord).
  • Vidare kanske bakomliggande ord avfyrar igen med den lägre toppen - eller igen med först stor topp - för att möjliggöra ev. konvergenser över större avstånd. Det krävs ju för att möjliggöra flera grammatiska mönster föga (om alls) aktuella för NP-fraser men för diverse verb-konstruktioner.

Så inte orimligt får vi dessutom en parallell UP som verkar på lägre nivå. Så har vi nu säg ett adjektiv efterföljande adverb två som innebär en fullständig slut-konvergens innan noun-delarna kommer möjligen båda dessa verka eventuellt praktiskt begränsat av tröskelvärden. Samtidigt anar jag att tröskelvärden huvudsakligen berör om vi alls kan konvergera för adjektiv medan eventuellt verkande såväl svag UP tillsammans med stark DOWN tillsammans nästan oavsett aktivitet kan påverka konvergensen för adjektivet därför att både verkar och når neurongrupper aktuella för konceptet och kan styra vinklarna får vägen till konvergens.


Samma sak (och här kan det börja bli lätt komplicerat) gäller allt vi har i frasen (såväl som generellt även om nu tror jag "rekursiva" steg ex. från en fras motsvarar ett ganska duktigt avstånd reducerande ner lingering svaga aktiviteter som mycket små jämfört med samlad konvergens / samlade konvergenser).


Närheten mellan adjektiv och noun är ej oviktig och faktiskt möjliggörande förenklingar. Epitet som tenderar att få part of speech som noun behandlas (åtminstone för mig för detta) enklast utan nackdel p.s.s. som adjektiv inkluderande exempelvis:


1. Följande ex. där jag normalt (men mer sällan för väldigt långa och varierade komplexa NP-fraser direkt otroliga utanför tester ibland adjektiv) får NNP för Spanish.


[... diverse adverb och adjektiv ...] Spanish woman.

Spanish är en egenskap stabilt associerad med kvinnan vi bredare för epitet allmänt kan ha positiva eller negativa egenskaper associerade till såväl som indikationer om aktivitet upp eller ner. Vet vi ex. att en yrkesroll kommer med regelbundet obligatorisk träning kan vi tänka oss högre UP indikation för en beskriven situation där man springer runt och gör krävande saker (ex. en hinderbana för en soldat).


2. Roller såväl som titlar är ett till exempel på epitet. De skiljer sig inte särskilt i användning från föregående. Exempel kan vara statsminister eller President. Vi inser att viss utmaning finns bl.a. för King eftersom det också är ett namn. Dessbättre (vilket jag inte är säker på att man ska räkna med för alla roll-titlar även om jag ännu inte känner till något undantag):


"The title of a king.

An English and Scottish surname​, originally a nickname for someone who either acted as if he were a king or had worked in the king's household.

(UK, rail transport) King class, a class of steam locomotives used on the GWR.

Även om nickname användningen tänkbart kan ställa till med problem varierat med hur det med kontext kan avvika från antaganden om positiv och negativ.


Komplexitet och Kostnad

Att läsa långa fraser är mer komplext. Att tolka ovanliga udda ord är mer komplext. Sådant kommer med aktivitet i hjärnan men det är ej motsvarande aktivitet som vi laborerat med tidigare.


Görande tolkning av det komplexa kommer med aktivitet divergerande mer när tolkningar söks och alternativa vägar för ett ögonblick öppnas.


Detta expanderar motsvarande tidigare egenskap lingering / flummig / implicit och gör fortsatta tolkningar lite svårare i varje steg därför att det hela tiden är lite mindre tydligt hur konvergensen sker.


Låt oss anta att lingering från allt sådant ej är vad vi låter verka på dimensioner i mening av att vi räknar upp på dimensioner. Jag tror det är rimligt antagande att vi om inte rena skyddsmekanismer från det lär oss att kasta allt som ej konvergerat minst en gång i mening av en efterföljande konvergens.


Kvarstår är att skatta kostnaden för detta och beroende på om vi antar att det trycker ner faktiskt aktivitet (tråkar ner den) hur vi beräknar det.


Säg att om vi konvergerar very bad har endast en eller ett par mycket tydliga toppar att välja mellan. Övriga ev. toppar är små och mycket mindre. Komplexiteten är låg.


Säg nu att vi gått igenom en mycket komplex NP-fras med alla möjliga ovanliga ord och underliga ordningar på adverb och adjektiv. När vi når en slutkonvergens för ett adjektiv eller noun har vi nu en mängd toppar förvisso kanske mindre än den korrekta konvergensen men ej tydligt mindre. Vi behöver kanske rent av stanna upp och "tänka efter" (vad vi kan kanske kan förstå som att lingering aktivitet som givit mindre men ej brutalt mindre toppar hinner minska ner något görande toppar från det tydligare lättare att diskriminera).


Egenskaper hos respektive ord vi kan tänka oss ökar komplexitet är:


  • Antalet dimensioner av sådana typer som är nära besläktade till aktivitet. Kanske just dom tidigare diskuterade.
  • Statistiska egenskaper hos ordet indikerande om det är ovanligt.

Egenskaper gemensamt över föregående ord vi kan tänka oss påverkar komplexitet är:


  • Upparbetat antal dimensioner aktiverade lingering orsakande dispergenser vi kan jämföra med "Festinger-egenskaper" (dissonanser): D.v.s. precis innan vi når vår närmaste slutkonvergens har vi resp. UP och DOWN båda med tämligen stark lingering activity kanske ej särskilt skilda i nivå heller (eller jämförbart för POSITIVE och NEGATIVE, eller KNOWN och UNKNOWN).
  • Att ordningen på orden och valda ord givet övriga valda ord är sådana att de är ovanliga eller mer eller mindre underliga. D.v.s. vad som normalt skattas via NGRAM-modeller. Här kanske - eftersom vi nu redan antaget att vi har en första konvergens för resp. ord snarare än för kombinationer av flera ord vilket givetvis blir mer aktuellt längre fram i frasen för noun ex. för en kombination av förnamn och efternamn - lösningar tagande för varje ord hänsyn till endast det föregående ordet.

Jag vet ej att den indikerande enkla NGRAM-modellen tillför värde om man har bra viktvärden för orden. Är man dock begränsad till sannolikhet för ett kontext tror jag nog att statistik på samförekomsten ordnings-känslig tillför värde. Annars kanske det egentligen inte adderar särskilt mycket därför att den typ av realisering av komplexitet vi normalt kan förvänta annat än åtminstone tämligen (kanske mycket) sällan har mindre att göra med ordningen så mycket som med enskilda ord ovanliga som en väsentlig andel läsare ej kan förväntas direkt rätt ta ut mening av utan en extra kostnad (fallet när de är obegripliga utan att slå-upp orden vet jag inte hur man skattar in kostnaden för).


En lösning för komplexitet (ev. även om den fortsatt visar sig fungerande / lovande kanske inte tillräcklig ensam) är att för varje ord beräkna:


KOSTNAD = ( 1 - WE )

WE är ett mått som i skala och magnituder är ungefär jämförbart med EMI men som ej beräknats från projektioner av emotionella vikter till koncept från kontext de befinner sig i. WE har beräknats av hur vanligt konceptet är i kontext av innehåll av typen titlar, taggar och för forskning eller jämförbart seriösare innehåll än nyheter även abstract samt för nyheter istället för abstract innehåll vi kan jämföra med snippets. Likheten mellan abstract och "snippets" är att de båda är kontextuellt beroende från ett givet övergripande koncept eller en kombination av koncept. För artiklar presenterande forskning övergripande ämne för artikel resp. journalen, medan för snippets de koncept man matade för att extrahera sammanfattningen utifrån (d.v.s. tagande ut och förande samman innehåll relevanta runt dessa koncept). Och från innehåll publicerat med början någon gång under 1500-talet (för artiklar från JSTORE vilket faktiskt går fint att ta ut via deras utpekade lösningar utan behov av särskild access eller att det slutar med - som för ett omtalat fall - att man tar livet av sig efter att JSTORE börjat förfölja en juridiskt och kanske också utanför det). WE är därför i formen för beräkningen lik annan sannolikhetsberoende beräkning men skiljer sig tydligare i kontext och sammanhanget på datat: Och slutberäkning görs genom att skalningen i hur beräkning sker jämförbar med hur entropi beräknas.


För en grupp av adverb intensifiers summerar vi resp. (1 - WE) för att få den samlade komplexiteten. Vi betraktar först en serie bestående av endast ett adverb.


(1 - WE) kommer för detta fall vara mindre än ett. Vi därför om man som jag gör dividerar med summan av komplexiteten för att skala värdet här få en förstärkning istället för reduktion.


Låter vi summan påverka fortlöpande från vad den står på kan man tillåta sig (tänka sig / argumentera) att vi ser något som talar för att detta ej är orimligt:


  • Första och sista ordet i vilken som helst serie av ord eller flergram vi lär oss utantill minns vi lättast.
  • Funktionalitet för att hantera upparbetad "lingering" / störande aktivitet finns troligen.
  • Samtidigt gäller ju att aktivitet spenderad på resp. ord lär påverka den faktiska konvergensen för det. Kanske (mycket troligt tänker jag mig men svårt att veta säkert) del av våra mekanismer för att lära oss resp. förstärka närhet till ord vi innan ej kunde eller som var nästan "borta" från vårt minne.
  • Så för ett ord kan vi gynnas av att ordet är ovanligt. Samtidigt som jag också vill argumentera att vi också har en aktivitets-förstärkning när vi laborerar med emotionell intensitet där ord vanligare gynnas något mot EMI: Emellertid kan det för mig vara delvis hanterat i genereringen av EMI (men jag behöver följa upp hela det området bättre).
  • Medan vi störs av upparbetat ovanligt hos föregående ord.

Önskar man göra detta ännu bättre kan man börja laborera med fler vikter vilka kan indikera andra egenskaper som resulterar i större eller mindre aktivitet föregripande och därför påverkande hur mycket lingering acitivity vi får som stör konvergenserna framför. Här börjar det emellertid bli minst sagt väldigt komplicerat även om det kanske från hur jag beskrivit kanske inte framgår bra.


Resp. kan man försöka förbättra skattning av lingering utifrån risk för spreading activity d.v.s. mer eller mindre att upparbetad lingering orkar tända upp samband och kontext runt omkring sig. Detta är ett koncept när man gör det över stora dimensionsrymder - d.v.s. känner och förstår ett stort antal relationer runt resp. koncept - närmast anmärkningsvärt kraftfullt för att ta ut associativ förståelse av relaterade frågeställningar, möjliga lösningar på problem som man annars svårligen ser (som lösningar inom problemområde A från ett helt annat problemområde), tolkning av upparbetat kontext m.m. Men här ser jag dessa lösningar som riktigt ordentligt dyra jämfört med värdet även när fungerande perfekt. En förenklad föga dyr lösning tänkbar är att utnyttja min BLI-vikt (bluelight intensity) förr diskuterad i andra inlägg. Emellertid är den välfungerande huvudsakligen för koncept som har att göra med kunskapsområden, kultur-områden, geografiska regioner, personer, forskning m.m. medan adjektiv och adverb inte hör till vad som ska förväntas ge stabila BLI värden jämförbara med substantiv eller flergram pekande ut koncept (men har ej tagits bort från Bluelight kuben därför att vissa algoritmer för beräkning av BLI tillåter dem för tänkbart värde som kopplingar mellan koncept besläktade med varandra därför att de delar likhet i adjektiv-rymd: Troligen vad som skärs bort förr eller senare men det är ännu inte klart för mig om de tillför värde därför att det är mycket tidsödande att jämföra resultaten med kostnad av även för reducerad kub i värsta fall många veckor för resp. genering - Att konvergens till BLI värden är entydig med resp. utan dessa kanske pekar på att de gör något ej bara underligt men det är kanske inte en tolkning helt lätt att känna bygger på att man verkligen förstår hur sådan här multidimensionell mång-epok implementerad algoritm egentligen fungerar i detaljer).


Dessbättre finns här faktiskt en hel del forskning på människor som tycks peka på att vi för tolkning av meningar - d.v.s. ännu i snabbt-arbetsminne - ej behöver ta hänsyn till tänkbar lingering activity som ökar upp sin komplexitet via fortsatt över orden spreading activity. Vid resp. ord kan koncept aktiveras upp kort men det är ej att förvänta att dessa aktivering ger tillräcklig lingering för att väsentligt tillsammans med annan lingering av sig själva väcka upp andra koncept. Utnyttjande BLI är därför ej aktuell för mig (vilket tilltalar mig förövrigt därför att BLI ej är på samma skala för adjektiv och adverb med WE och EMI).


Slutligen (här i alla fall) kan man även införa multi-dimensionella paradigm påverkande aktivitet lingering såväl som för resp. konvergens utifrån hur multi-modal konceptet är. Exempelvis om det är tydligt visuellt såväl som ett normalt ord. Eller om det är vad vi nästan helt bara hör och aldrig ser, såväl som knappast läser som ett "vanligt" ord, eller om det som vanligt ord beskriver vad som låter (katten i trädet fräser åt fåglarna medan hunden skäller nere på marken). Det finns resultat i forskning talande för eller mot för ev. effekt. Huvudsakligen som jag vill minnas det (utan att kontrollerat det relaterat detta eller överhuvudtaget näraliggande i tiden) gäller att vad som talar för är föga aktuellt för vad vi här gör algoritmer för att efterlikna. Ej heller jämförbart om det handlar om "motoriska" ord.


Dock som tidigare åtminstone kort indikerat gäller att grova övergripande grupper av typer för adjektiv (och "noun-epitet jag anar normalt alltid är en slutkonvergens som dessa normalt används när också 1-gram) ungefär (jag tror man kan dra ner antalet till ännu grövre grupper) motsvarande de som går att se har preferenser för positionering i frasen är vad som kommer påverka. De ger avslutande konvergenser åtminstone när de växlar från en till en annan resp. går från adjektiv till adverb (medan om vi har två eller flera efter varandra är det eventuellt inte så: Jag har ej experimenterat dessa klara bra men det tycks troligt att vi ej växlar men ändå för att kunna förstå det gör någon form av konvergens p.s.s. som tidigare men ev. med något särskilt för den ändå).


När dessa slutligen propageras till vad frasen pratar om (exempelvis en person eller kanske en djurart) gäller att fler kostnader för komplexitet i all rimlighet är nödvändiga. Om dissonanser uttrycks där en propagering uttrycker något med viss preferens övergripande positivt såväl som negativt (för att ta ett ej gender-politiskt perfekt exempel: Kanske vi ser positivt värde med en kvinna från att hon är vacker men tycker att hon klagar en massa om att behöva laga mat och göra andra "traditionellt kvinnliga" arbetsuppgifter). Om vi nu hade samlat egenskaper uttryckta med tillhörande indikationer som ex. positivt och negativt är det argumenterat ej ett problem men om vi som här propagerar intensitet som indirekt kommer från adverb intensifiers är det när vi också samlat endast vill ha ett mått på intensitet ej självklart att resp. dimension ska adderas eller ens komma utan kostnad på det slutliga uttrycket. Detta är dock en minst sagt komplex fråga som jag tror normalt mycket styrs av hur vi tänker oss använda måttet. Och önskar vi bara efterlikna hjärnan krävs en del mindre säkra antaganden om hur detta fungerar vilka åtminstone till stora delar också tror jag styrs av hur vi antar att aktiviteten ska användas d.v.s. propagerar vidare "uppåt" i hierarki till sammanhang (det kanske ej är aktivitet relevanta att hon lagar mat därför att mannen i exemplet ej antar att hon kommer stanna kvar och laga mat eller ens kommer medverka till att det är möjligt därför att han "vet" att vackra kvinnor aldrig är bra på att laga mat annat än på teve där han tror att fula kvinnor eller manliga kokar hjälper till när kameran inte är på).


Fotnot: Varför är Hans inte alltid lika föredömligt gender-politiskt korrekt numera när han gör exempel?

Svaret är inte så enkelt att jag inte upplevt mig få tillräcklig positiv feedback tillbaka från det ex. via trevliga möten med kvinnor som attraheras av det. Utan faktiskt har det mer med annat att göra (också). Även om nu annan påverkan säkert mer än väl kan kompenseras via reward learning belönande mig när jag är gender-politiskt korrekt.


Jag har börjat så smått förbereda för QA-arbeta och komplettera diverse relaterat stereotyper kring könen vilket möjligen förklarar varför jag nu av och till börjat gå ifrån gender-politiskt korrekta exempel till mer av relaterat kvinnoförtryck eller vad man ska kalla det. Att sådant arbete när det görs mer intensivt för större frågor än dessa (större i mening att de kan vara mer främmande för en: Kvinnligt och manligt har vi ju alla viss erfarenhet av medan andra stereotyp-områden kan vara helt främmande för ens egna kultur) kan tydligt märkas på en och jag tror det samma gäller men mindre märkbart områden mer hemmavana för en. Det demonstrerar indirekt tror jag också hur övergripande kontext i en kultur konkret fortsatt påverkar resp. individ.


Jag märker ex. fortfarande viss påverkan av ett par områden jag gick över noggrant under ett par månader med några timmar per vecka. Propaganda, fördomar m.m. påverkar när man väljer att ta perspektiv från dem och fodrar bäst att vi är medvetna om det. Och det är i särklass det mest osmakliga i allt relaterat detta analyssystem relaterat manuellt arbete runt dess vetande. Även i allt väsentligt perfekt moraliskt såväl som i vetande preferenser man haft får viss störning ibland efter det gjorts: Jag förväntar mig att det ska reduceras helt bort med tiden men det irriterar mig. Också testbart efter att man själv ej märker det för att senare kontrollera för "lingering" påverkan ändå via implicita tester av attityder vilka jag har tror jag tillräcklig generell statistik från studier människor samlat såväl kunskap om för att ta fram (om jag ids). P.s.s. påverkas vi självklart av det urval nyheter vi ser dagligen. Är en mindre grupp problematisk dominerande ex. alla nyheter från de arabiskt dominerande kulturområdena påverkar de oss generellt med bias för hela kulturerna oavsett ev. andra sidor vi ej ser eller märker och det oavsett om vi själva märker det eller inte (att "enkelt" om man kan det visa med samma implicita tester av attityder).