Zipf law, Heaps law, skalfria neuroner, Stevens power law m.m. Dimensioner i scenen, vad som sker och inlärningen

2015-11-08

Jag har så väldiga (i "normaliserad" mening till något ändå avgränsat) problem relaterat området av kurvor för frekvens-rank, glömska, inlärning m.m. så egentligen kan jag uppleva att jag borde avstå från att skriva det här. Men det är ett fungerande sätt för mig att efter-tänka lite och ha saker kvar (och om så existerar har jag också mindre behov av det: D.v.s. minns bättre).


1. Kostnad


1.1. Perspektivet åtminstone som diskuterat runt kostnad för att förklara Zipf-lag m.m. har jag lite svårt för. Det känns för praktiska lösningar ganska distansierat från det hela. Emellertid kanske vi förenklat kan se det besläktat med en "optimering" / "förenkling" hjärnan kan (antagligen lite samma sak men med en visuell bild vi kan göra här):


  • För känt koncept eller för något representerat konvergerar hjärnan till en neuron eller en neuron-grupp.
  • Dendrit-trädens komplexitet och därigenom mängden information de kan uttrycka är minst omfångsrik.

Antag, nu att vi vill ha kvar en neuron för en sådan konvergens men hålla öppet för olika skalor på vad som konvergerar. Enklast att se som ex. en stol vi ser på olika avstånd men ändå kanske rent av samma stol.


När jag gjorde detta förhand med papper ritande upp "ett perfekt dendrit-träd" (helt olikt något verkligt) gjorde jag det för att passa 2 som en faktor. Mest självklara skala varande träffande perfekt i mitten av trädet (som sträckt sig där mot dig i inlärningen) säger vi är ett. Träffande förgrening en nivå tidigare och ett steg åt sidan blir en halv. o.s.v. Struntar vi i normalt avdrift i vad vi signalerar och säger att allt sändande kommer perfekt rakt hamnar vi på resp. nästa steg med en "neuron" åt sidan (eller egentligen tror jag ofta del av neuron så här nära sista konvergensen men jag är för visuell perception inte säker).


1.2. Det här med kostnad som skulle besparas av rank i sig relaterat värdena - sparade mer effektivt - tvivlar jag lite på. Vill hjärnan göra en approximation av en double istället för integer växer dendrit-träden närmare lite mot vad som nu uttrycker det. Medan heltal eller som ovan sido neuroner sändande lika gärna är en mer funktionell / strukturell kostnad (man vet att dendrit-träden gör en mängd saker men osäkerhet råder kring stora delar av det emellertid vet vi dock att de gör bl.a. just booleanska operationer).


Det skulle här snarast vara formed som motiverar och motsvarar men där tycker jag hela kostnadsperspektivet falerar i varför vi just skulle se en poäng med rankdistributionen?


2. Här kommer vi nu in på det jag nog bättre skulle låta bli att skriva något om. Särskilt som nog inte bra klarar att motivera eller förklara det.


2.1 Likväl:


  • Säg att du slår på samma punkt med jämn takt mot huden.
  • Detta är nu en rate av en typ händelse.
  • Händelsen inträffar i en "rymd" hjärnan har en default approximation av inklusive dess dimensioner: Din hud och dina kroppsdelar. Du kan bl.a. lokalisera var det sker.

2.2. Emellertid kan du också dofta något. Du kan höra ett utsträckande ljud. Detta är sådant som har stor frihet i hur de förehåller sig till befintliga rum. Rummet kan definieras om efter dem. Medan om vi luktar på maten rör vi oss i en känd rymd: Vi förväntar oss vissa dofter och har vissa varningar. Doftens källa är förstådd och tydlig för oss.


2.3. Vidare och kanske ofta när det kommer till språk intressantare har vi också vad som närmast från hur väldefinierat det är uttrycker nära approximationer av dimensioner som för den typ av data som här avses uttrycker föga förändring.


2.2.ii. Detta kan vi se som "inlärning". Inlärning kan vara kort i tiden. Fortfarande kan dendriterna förändra sitt relativa avstånd men det förfaller i dessa fall snabbt. Ett till i tid kort exempel är när vi fölljer ett föremål över himlen. Om föremålet plötsligt dyker ner - vi kanske trodde det var en bit stjärna som föll långt borta vilken vi romantiskt kunde önska något om med alla dimensioner det kan föranleda - ljutande för att sprida explosioner runt om kring har vi det samma - samtidigt som det bör vara uppenbart att dimensions-rummet tidigare i mycket är brutet. Parabel-rörelsen (om vi antar sådan innan) har fallit, romantiska-dimensioner är borta, flykt kanske är aktiverat, eller kanske hämta vår "long-range-Tesla-charger"-beteende-aktiveras.


2.4 Nu blir det tydligare otydligt. Innan kan man nog se det mesta som möjligt här i två i alla fall även om det är svårt att veta egentligen. Ty jag säger att vi har exponenter i distributionerna som för 2.3 motsvarar i världen av Steven's powerlaw (och vi ska se det som uttryck där vi kan gå ner och få ut Feschner-laws utnyttjande Webber's konstant) av 1/2. Och för 2.1. 1, medan vi för inlärningen klättrar upp. Vi har högre världen.


All inlärning är i något steg synkronicitet. Det bästa sådana för inlärning snabbt är - menar jag - när motor cortex och prefrontal cortex kan ligga y synkronicitet utnyttjande resp. pathway för dopamin. Dimensionen är icke-trivial: Den är föränderlig. Men vi har en jordnära bild av nu och kan resonera (om än ofta nog tror jag bortom intellektuellt riktigt medvetna tankar när tiden är snabb) via motor cortex: Prefrontal cortex har en mängd spännande funktioner som ger möjlighet att jämföra över tiden, värdera risk såväl som värde (d.v.s. möjlighet att acceptera kanske rent av ganska medvetet förstådda osannolika modeller av världen för att undvika en stor eller vinna en stor vinst: Vi spelar ju också alla rationellt i black jack: Vi visar pengar, spelar lite, går iväg som vi har något att göra, ölar i baren så det syns mot bordet, och kommer tillbaka och får en god vinst och går därifrån: Finlands-färje spelande som jag kallar det - Ger alltid 600 kr om man inte gör som förväntat och återvänder / fortsätter spela).


Så låt oss ta några värden som exempel. Rörande denna typ av värden ska man i all ärlighet säga att som de normalt beskrivs i sammanfattande böcker, Wikipedia m.m. kan det mer eller mindre vara vad som helst (om man inte nå går in och verkligen smärtsamt detalj-studerar varenda bakomliggande studie till dem vilket jag heller inte gjort för annat än enstaka mer kända typer). Jag hoppas här att Wikipedia har några bra så jag slipper hämta mina Perception Psychology böcker


Följande två nära toppen i Wikipedia är så perfekta exempel på 2.1 vi kan räkna med (bättre än jag hade innan). Inträffar i en spatiell rymd modell (skal-fri) existerar för.


Brightness 0.5 Point source
Brightness 0.5 Brief flash

Fler närmare 0.5:


Vibrationer är ev. kanske likt exemplet jag gjorde (men det går att göra vibrations-försök som bör gå upp till att mer rate i rörelse över rymden):


[Red. Jag förstår ej försöket] Loudness 0.67 Sound pressure of 3000 Hz tone
Vibration 0.6 Amplitude of 250 Hz on finger

Bör i all rimlighet som uttryckt vara väldigt entydigt (man smakar på en sockerart - man luktar på heptan (klor-väte)) d.v.s. dimensionsrymd given med rent av associerade händelser för åtminstone heptan (man ryggar tillbaka).


Taste 0.8 Saccharin
Smell 0.6 Heptane


Ev. detta (men jag vet verkligen inte för beskrivningarna är så kort: Lika gärna att det är två exempel ej visande principen utan tvärtom):


Endast befintliga dimensioner kan användas för att bedöma ljus-källan (därav diverse välkända fenomen i perception psychology):


Brightness 1 Point source briefly flashed


Dubbel-socker-molekyler resp. salt. Båda ger oss något av inlärningen (de är dopamin-pådrivande redan i smaken): Därav att framgångsrika restauranger bäst maximerar reward learning genom att utnyttja dessa så högt man kan utan att annan smak blir "fel" eller att risk för hälsoproblem blir för uppenbara.


Taste 1.3 Sucrose
Taste 1.4 Salt

Bättre än ovna passande här. Lite av båda sidorna. Vad vi kan se komma in är vad som definierar rymden. Men vi behöver reflektionen för att få en bild av den i sin tur. Troligen vad vi normalt automatiserat höftar till med något som brukar fungera på vettig nivå (det är ju sällan rent av stora fel här betyder något).


Lightness 1.2 Reflectance of gray papers

Bryter befintlig världsbild. Stor förändring radikalt annorlunda. Inlärning.


Warmth 1.6 Metal contact on arm
Warmth 1.3 Irradiation of skin, small area
Discomfort, cold 1.7 Whole body irradiation


Men hur kan vi bedöma om något är annorlunda nedan:


Warmth 0.7 Irradiation of skin, large area

I en skalfri värld? Kommer det "kallt regn" välkomnar jag det med båda armarna omfamnande det. 10 s senare fryser man inte av det.



Och så motor cortex och mer synkronisring än så stabilt utan något särskilt får vi troligen inte. Både i prefrontal cortex göra något av en bedömning och så göra med motor cortex ofta i studier med dynamometer (så efterfrågat eller inte kommer bedömningen naturligt av hur mycket vi orkar när ombedd att ta i).


Muscle force 1.7 Static contractions
Heaviness 1.45 Lifted weights


Acceleeration: Själva rörelsen förändras. Potentiellt avvikande ut från själva modellen av scenen vi bedömer den ifrån. Oavsett hur elegant passande in med hemvanda domäner för vem som helst som läst fysik: Återigen dessa världen utan att tittat på vad dom egentligen gjort säger så lite.


Angular acceleration 1.4 5 s rotation


2.3 neuronal avalanches. I min handritade skiss över dendrit-träden med föregående neuroner och från det direkt 1-1 skattat till neuronal avalanches blir skal-parameter: roten-ur 2 d.v.s. 1.41421356237 (ev. kan man argumentera att en livärdig eller ev. mer korrekt lösning hade varit den harmoniska serien upp till 2 d.v.s. ((1 + 1/2) = 1.5 (1 är här den perfekta träffen neuronen precis framför antas göra alltid givet antagande avdrift 0) medan summan upp till tre skulle indikera en till sido gren mer distansierad både i djup och i bredd relativt den sändare som är perfekt i mitten mot själva toppen av dendrit träden. Dock under antagande att själva motsvarigheten vidare över flera neuroner beter sig egentligen bara som en neuron med ett ännu större dendrit-träd - hierarkiskt så att säga...


Medan jag nyligen läste att man fått 1.5 skattat (tycks för mig ett ganska gediget arbete sammanfattande och jämförande med referenser till tidigare arbeten här: Fler ganska nyligen föregripande finns också att hitta). Notera också vad man pekar på rörande korrelation krävande ett större "steg" i tid och rum (jag argumenterar hjärna att tid och rum är samma sak: avstånd i aktivitet mellan neuroner uttryckande just dessa egenskaper i skala - Vi kan rent av från RT-data roa oss med att försöka givet en noll-punkt resonera om hur mycket mer tid ett objekt är relativt ett annat eller hur mycket distans visualiserad som en tid vi tänker oss motsvarar):


Klaus A, Yu S, Plenz D (2011) Statistical Analyses Support Power Law Distributions Found in Neuronal Avalanches. PLoS ONE 6(5): e19779. doi:10.1371/journal.pone.0019779

När vi är i höga värden (enligt min tidigare diskussion: ej särskilt anknytande artikel citerad ovan) kan vi som en likhet att se mellan objektet som förändras över scenen (snarare än ex. trumma punkt formigt) till ny inlärning se fallet när den är på väg eller just bryter mot kända dimensioner (ex. med den fallande stjärnan som transformerades till en tysk stört-bombare).


Emedan 1.5 medan den harmoniska serien kan tyckas bättre ska man ej förakta vilken som helst lösning som innebär att man har 1/2 * något som grund-operation. Ex. (upparbetat värde + nytt värde) / 2 istället för att behålla hålla hela historien av tal lagrade för att få resp. nya medelvärde eller dyligt.



Hur blir det för språket?

Har vi någon power-law där språket typiskt ligger på exponent 1/2? Och hur mycket har den lagen med antagande om grundläggande upparbetad vetskap om "språkets bas-dimensioner" att göra?


Antal_typer / ( Antal_token )1/2 ) = K

Och är språket oföränderligt är antalet typer konstanta (ex. konstanta i meningen alla typer: ord exempelvis - vi förstår betydelsen av och inte bara hoppar över) medan antalet token d.v.s. ord som kommer oavsett typ är föränderligt så:

1 / antal_token1/2 = K'

Heap's law håller sig bättre än någon annan "språk-lag".


Det är trivialt att inse att ju fler typer vi behärskar desto lättare och mer korrekt kan vi identifiera en för oss okänd typ som mer eller mindre troligt en typ också ny för många fler (ex. ett nytt begrepp). Resp. från sammanhanget den förekommer resonera oss fram till automatiserat eller i hjärna via statistik och förståelse av grammatik, syntax m.fl. andra "funktions-dimensioner" vi kan hålla konstant om vad begreppet kan betyda. Kunskap är om vi så vill grund-dimensionen underliggande varje seriöst försök till att görligt kunna detektera emergence (likväl i ett QA-projekt inför en krävande generering snart skar jag ner cirka 75 000 koncept från min representation jag bedömde som föga inverkande för den och från diverse "samples" bland dem av och till defekta ner till cirka 29 000 000).


Medan vi för Zipf-law utnyttjar och använder dimensioner uttryckande något lokalt med en "skala" ovanpå denna. Där exponenten d.v.s. skalan så att säga är 1.


Mycket i övrigt bland allt vi jämfört här för uttrycken är ju tämligen varierande i konstanter o.s.v. Men jag tror de genomgående håller likhet i att de uttrycker en skal-fri egenskap där exponenten är den vi här höll oss till (jag tror sådant resonemang som här och normalt skrivet förutsätter att andra är konstanta men är inte säker: Jag har haft sådana rent numeriska små-problem i den här domänen att jag verkligen är väldigt osäker på vad i "vetande" som är ej i emergence: Jag tog rent av fram Scientific Computing and Differential Equations, Golub, Ortega, för första gången efter TDB: Precis som väntat ej ett bra praktiskt verktyg uppenbart tillgängligt för mig trots att jag minns konceptet av att göra ett Euler-steg först):


Hur som helst:


Neuron rakt framför skjuter ej alls. Vi har två på vardera sida omedelbart närmast lite bekåt och åt sidan. De kan ge ett om båda träffas av andra (eller den rakt framför om vi tillåter avdrift efter någon fördelning):


2 *1/2

Alt denna och den som är en 1/3...


1/2 + 1/3
0.83333333333

Och vi har fler exempel nedan som kommer på ett och går förbi. Men poängen är ju kanske inte alls för vad vi diskuterat här just att "nå över något form av sigmoid-värde" som får neuronen att avrfyra. Vi diskuterar ju och gör antagande och logik i dendrit-trädet. Så poängen är som jag ville se det här istället för att resonera om kostnads-effektioner och rank-frekvens-förhållanden att vi kan uttrycka olika skala för samma objekt. Objektet vara neuronen vi går in i konvergens till (och om ej ett objekt vad vi synkroniserar oss vidare med ex. pyramid-neuron för kontextuellt byte).


1/2 + 1/3 + 1/4
1.08333333333

1/2 + 1/3 + 1/4 + 1/5
1.28333333333

1/2 + 1/3 + 1/4 + 1/5 + 1/6
1.45

1/2 + 1/3 + 1/4 + 1/5 + 1/6 + 1/7
1.59285714286

Det vore ju ytterst elegant att ta dom harmoniska små serierna ovan (eller för den delen trädstrukturerna med sannolikheter jag också gjorde) enkelt direkt till något som ger oss 1.5 som en skalfaktor för neuronal avalanches. Emellertid avstår jag från det inte minst därför att jag tycker man har tillräckligt värde att ta över resonemang population av individer om man ska gå i detalj-data för hjärnan redan i en neuron. Jag tycker de kan säga mer än kabelekvationer, speak-trains o.s.v. som jag aldrig fullt greppat vad de egentligen rent generellt kan berätta för oss. Samma sak med lateral inhibition: Kraftfullt koncept och ytterst lokalt. Går saker mer övergripande i hjärnan finns ju vanligen data från tester på personer från mitt perspektiv bra mycket mer rakt på sak att använda (RT-data, reaktioner av rädsla associerat bildkoncept som kan översättas till ord o.s.v.). Därmed inte sagt att jag är säker på att det för den delen går att göra argumneterat vettigt eller om så att jag skulle göra det vettigt.


Här tycker jag också allmänt rörande dendrit-träden att man gärna ska välkomna om man ska gå "statistisk" istället för att göra talserier och enkla sannolikhetsträd att tänka sig ett idealt dendrit-träd i tre-dimensioner följande formen av normalfördelningen i tre dimensioner. Toppen i mitten för medelvärde är själva mitten mot en neuron rakt framför.