Ett alternativt förhållande relaterat distans mellan vektorer

2016-09-03

Ett alternativt mått relaterat similarity och distans för vikter eller semantiska vektorer jag ej minns jag sett tidigare. Möjligen av rent marginellt värde (men ej helt uteslutet kanske av större intresse för sådant som att relatera kulturellt avstånd / likhet mot påverkan upplevt avstånd där och till att agera från arousal).


Vi representationen vektor som konvergerad position över samplat data d.v.s. ett mean i någon mening som motsvarande E. Och som konstaterat av mig experimenterande med co-variance och correlationen kan de ge lite mer men ej mer än att det saknar mening kontra beräkningskostnad d.v.s. såväl cosinus som själva L2-normen kan vi praktiskt i alla fall se som lite jämförbara (när vi ej blandar i alla fall mellan olika världar).


Så tänker vi första momentet i statistiken eller bättre / korrektare enkla välkända formler för klassificering och hypotesprövning, och betraktar först endast distansen mellan våra "medelvärlden" d.v.s. L1 distans för vektorerna. Har vi ännu ej värderat in vår varians / korrelation / co-varians hur vi nu vill se det indirekt eller direkt:


  • Cosinus - lämnande frågan om vi egentligen ska normalisera där - ger oss närmast correlationen. Medan vi snarst söker osäkerheten via vad jag jämförde och kallade "co-varians" för L1-avståndet.
  • Desto mer korrelerade de är desto mer kan vi välja att värdera ner L1-distansen.
  • Ofta gör man ju sådant genom division (ex. just dividerande med varians) vilket jag dock gärna när så är möjligt (ev. genom någon förändring innan) hellre för värden [0,1[ gör som multiplikation (1 - värdet).

Och vi får:


Y (X,Y) = L1-distansen / (1 - inre-produkten ) = Summan ( || Xi - Yi || / ( 1 - Xi Yi )

Ett förhållande vi kan betrakta från värdet L1-normen mer sällan (för mig i alla fall men av och till) jämfört med L3. Där L1 ibland snabbt detekterar problematiska outliers när satt i kontrast L2.


Emellertid önskar vi utan att ge oss in i det mer subkulturella (sekteristiska) matematiken, och istället fortsätta utnyttja form-likhet, kan vi också göra detta vidare med ett flera mått på "information". Och här med en variant av signal-to-noise som vi definierar som kvoten mellan vårt medelvärde för L1 (som vi ju om vi ska motivera den form-likhet i matematiken kan se som vad vi närmar oss om det data vi samplat för att bilda vektorerna växer fortsatt: Ungefär som medelvärdet i signal-to-noise för Imaging men här att vi ser kontext motsvarande "bildens bakgrund" definierat av endast X och Y motsvarande säg viktning med similarity för vektorer skapade addition av vektorer för ord till ngram även om vi givetvis kan ha ett annat kontext som upparbetat i en mening eller artikel) och det säg sample-deviation vi kanske kan se vår (1 - similarity) som (lämpligt normaliserat eller ej normaliserat beroende vad korrektare här) motsvarande Alternative definition i Wikipedia.


Och vi tar (se Information theory and neural coding - nästan unikt pedagogisk och som jag gärna av och till över åren läst igen - för en excellent genomgång av hela den här familjen av mått ofta använda för avbildning aktivitet ex. i hjärna):


(1/2) ln ( 1 + Y )

Det hade kanske varit trevligt att skriva om uttrycket för gränsvärdet mutual information mot noise ovan med dom trigometriska funktionerna (Logarithm | Wikipedia) så hade man kanske hamnat slutligen i något med viss form likhet cosinus igen även om det känns mer osäkert (normalisering kanske spelar stor roll hår var vi väljer att tro oss vara) om vi är på den här föreställda enhets-cirkeln (tror jag det kallas - medan jag själv vägrar givet approximationsnivåerna sampling-språk, avrundningar m.m. se sådana resonemang som annat än just här viss meningsfullhet ibland men egentligen som softmax m.m. bara praktiska funktioner med de egenskaper sökta på approximationsnivån vi ligger).


Likväl hade jag egentligen önskat mig hamna där jag fått en kanske bakåt 1960-talet oftare diskuterad inom psykologi runt inkongruens-konceptet. Lite som ett mjukt V för förhållande inkongruens och arousal. En egenskap i människa om vi tillämpar teorin något av vad sökt här om ej just vad som diskuterades teorin är att vi kan se avståndet till något - det är främmande för dig - är stort vid inkongruens och detta i en rent kognitiv-dimension där avståndet kan reduceras efter lång tid om du vänjer dig vid något eller lär dig det - Men det finns också (säkert praktiskt ofta för överlevnad) en snabb eller om vi så vill kortare väg genom att öka upp arousal - D.v.s. bli väldigt arg eller väldigt flykt-benägen.


Det var min tanke i alla fall. Men detta kanske inte visar sig riktigt vara rätt väg för vad jag vill göra alls. Annars kanske jag avslutar det här framöver här också.


Det bästa vore egentligen en riktigt arektypiskt matematiker för sådant här hellre än att utnyttja min mer visuella resonemangsförmåga även om den ibland likt arousal vid incongruens kan med lite tur ta en långt ganska snabbt genom att utnyttja en annan uppsättning dimensioner (ovan form-likheter i språkkulturen aktuell inom matematiken). Typiskt för när jag gör sådant kommer informationsteorin in varande det lilla stycke matematik jag minns mer av medan mycket annat kan kräva plågsamma ej på något sätt direkta (om vi ska ge en snäll tolkning av vad man någonsin kunde) återupplivande av kunskap.