SOM: En intressant egenskap

Vi utgår från vektorer ord skapade bl.a. via latent semantic indexing (en del mer för att försöka få in mer information: men för själva representationens inverkan från hur information "sätter" sig var för sig och samverkande över vektorernas positioner troligen allt relevant). Dimensionsreducerar dem vidare från 400 föregående till 300 via SOM skapande höggradigt ämnes-indikerande dimensioner över vektorn.

Tar nu SUBTLEX-UK (text från filmskript) 2-gram och för en bunt identifierande manuellt intressantare ord-operatorer (som on, in, of, is m.m.) och några adjektiv, och skapar gemensamma vektorer dels positions oberoende relativt operator (inkl. JJ) samt för resp. vänster och höger för varje förekomst ord. Förekomsterna varierar för resp. OP (operator) varierar i antal ordentligt (de minst enstaka för något bedömt intressant rent av nedanför 50 utan att kastats).

Dessa går i SOM var för sig oberoende av övriga OP till cirka 8 - 10 dim prospekterande. Med tämligen hög påverkan grannskap. I antal epoker varierande men mer förutom en del ej ut filtrerade rätt troligt snarare vad vi utan grannskap skulle se risk för för-skarpa formation p.g.a. av för mycket för nära förstärkt över epoker bredare mening överträning (men det känns som ett dåligt ord för operator vilka likt is m.m. just i sig själva är övertränande naturligt i språket sägande föga än just is - inget topic m.m.).

Resultaten körs nu tillsammans mot 40 dimensioner SOM. Varje OP med resp. varje dimension egen-träning blir ett koncept d.v.s. varje OP blir nu åtta gånger tre stycken koncept motsvarande typiska grupper av ord det förekommer med. Påverkan låg i träning innan från resp. OP och resp. ord i direkt närhet (där förstärkande lämpligt för 300 dim för orden ofta välfungerande när vi önskar förstärka det tydligaste en kvadrat, vidare multiplikation mellan vad som kommer från OP resp. ord med för resp. ev. kvadrat - aktuell för en inkl. en del andra små-saker - principen är att ta ner information som rimligt faller utanför vad operatorn kan tänkas påverka på mätbart i mening av ren "flyttals" avrundning såväl som ganska basal mätosäkerhet - två förutom mer än så ganska grundläggande koncept i områden som är funktionella verktyg i en mängd områden såväl som rent mänskligt konstruerade så de är rimligen som ofta verifierat tämligen funktionella språk när motsvarande grova omfång är aktuella - mätosäkerhetens preferens enkla mått är för en del tycker jag bättre fungerande än motsvarande preferens information science. 0.1 * 0.1 = 0.01 medan 0.9 * 0.9 vilket ej är ganska vanligt för högsta dimensioner är 0.81. I kontrast ex. softmax är det svårare att där kvantifiera operationen i påverkan informationens olika relevanta mått d.v.s. jag vet ej bra vad jag kastar bort resp. får kvar vilket är svårt när sådant här i andra sammanhang vanligare tar väldigt lång tid innan jag vettigt kan testa det med överlägsna metoden "praktiskt" - om man sedan kan summera dimensionen till ett säger mig föga annat än att det är en normalisering jag ej heller kan kvantifiera mängden information som kastas när given total magnitud förstörs). Liggande ungefär 0.001 - 0.001 reduktion typisk motsvarande descent gående lägre på faktorn manuellt ganska stora steg när de verkar gått ett par hundra tusen (nu är vi ju i ganska få data punkter som körs in: Från totalt i början väldigt många ej totalt räknade men ej passerande 500 000, är vi snarare i 10 - 12 tusen för alla tre).

För att se om det filtrerar bort OP samlade lägre till väsentligt lägre (ex. avbrutna tidigt RESPEKTIVE sådana som gått lika länge som något annat men haft få förekomster SUBTLEX) sätter jag en similarity gräns SOM. Under körs de förvisso normalt (ändrar tillstånd - så att det alltid omstart typiskt lägre tränings-konstant tar in lite föga använt resp. kontrollerande implicit om de börjar ligga över ev. - Praktiskt typiskt två omstarter efter varandra och några varv för att ej särbehandla de aktuella som slumpas tidigt vs de senare om samband ligger mellan dem) sätter jag igen på grannskap efter att kört någon miljon kanske utan.

Stegvis här med en ej tillräckligt hög gräns similarity är förväntat att vi filtrerar bort växande med större grannskap och börjande utan grannskap växande med antal operationer i grannskap gjorda. Emellertid är det de låg-samplade som kommer ut dominerande. Efter att kört uppåt cirka 0 tar jag igen ner grannskap och låter dem gå bort (enklare än alternativ för att få ut dem bra men verifierbara oavsett det). På 40 st. trots ganska stort data från början ligger saker här så att rimlig gräns detta är mer närmare 0.8 än 0.6 (med 0.6 från kanske mer normala data-rymder som ganska högt).

Det intressanta är att just någon skillnad i steget när vi fortfarande har 400 dimensioner om vi clustrar från närmaste grannar eller betraktar bara distanser till någon normalitet användbar för att ta ut dessa låg-samplade ges inte för mig som jag ser.

Väldigt udda kvalitet verkligen detta. Ytterst oväntat även om det nu kom till mig att jag borde pröva det. Verkligen inte att något ej inkluderande att just operator-orden är vad vi kombinerar kan tänkas göra detta så här data quality tydligt. Dock att komma ihåg här att också ett mindre antal adjektiv jag generellt betraktar som att ha mycket också förutom en del annat oftare än mer typiska operatorer också inkluderade och presterade vad jag såg varken bättre eller sämre än sådana verkligt typiska som for, while, because, inside, m.m. Också definierade jag här mitt OP-konceptet något annorlunda så det även inkluderade he, she, it, them m.m. D.v.s. vad vi samlat kan se som att vi börjar på ofta använda stopp-ord och därefter fyller på med mer över några kategorier.

Resultatet tänkte jag ev. först försöka testa med this, that och those. D.v.s. peka-kvalitet med implicit avstånds preferens i vad man avser i discourse. This närmare än that. Those har lämnande grammatiken likaledes en tids-aspekt som gör den bra jämförande this och that: Kanske lättast att förstå abstrakt om vi tänker oss något mer nostalgiskt: Those XX. Samtidigt lär väl vilket jag ej betänkte tidigt lite mer merarbete där för tidig prospektering krävas givet att vi också har närmare tekniska discourse konstruktioner aktuella vilka nog förekommer nog i filmskript. Those NN went on to. Lite mer bibliskt som Google tycks bekräfta för mig: Nor did I go up to Jerusalem to consult with those who were apostles before I was.. Sådant är ju en ibland använd konstruktion i film oavsett om citerande eller skapande specifikt som lokalt kan ge mer text än annars normalt för filmen eller film allmänt (jfr Pulp Fiction citerande bibeln). Men kan notera särskilt bigram märkbart strö-betraktande processen av och till en del liknande (i kontrast mot tror jag säkert ett tänkt corpus dagligt tal tekniskt arbete mellan medarbetare en normal dag på något företag).

Överraskande.

Överraskande imponerad av NYU Department of Psychology som dock skulle gynnas av riktad finansiering med NLP-praktiskt "mål"

Rörande sökning rörande mindre mitt defekta i Determiners vs Stopp-ord så mycket som runt det allmänna området imponerades jag överraskande mycket i mängd artiklar lästa av samma person:

• Liina Pylkkanen | NYU Department of Psychology

För artiklar är oavsett författare eller bredare runt samma ämnen följande sida bättre:

• www.psych.nyu.edu/pylkkanen/lab/publications.html

Vi hittar bl.a. diskussion rörande determiners som indikation specifikt avsett rörande del i hjärnan jag åtminstone innan troligen inte kände till (det var ett tag sedan jag läste forskning väldigt nära delar i hjärnan och ibland känns fenomen som helt nya för mig för att någon dag sedan vara vad jag inser att jag redan läst när jag ej läst allmänt inom området ett tag): LATL. Vi såg besläktat samma fenomen rörande adjektiv begränsande vad avses. Liksom en tolkning avseende effekt av adjektiv varande kanske design fixation eller frame bias (ibland kan sådant också vet jag påverkas av intern-funding men det är nog inte fallet här) hos författarna rörande adjektiv man såg mindre som property likt ex. färg och istället när ej så discourse viktiga medan jag skulle säga att resp. kanske aktiverar enligt samma princip (jämför med att vi säger my deadly sick mother därför att sick ligger närmare property hos mother i mening av troligare tidsstabil aktivering av dess representation över relationer eller tänkbart via adderandet av sick medan vi förstår deadly från detta likaväl som att parsning och intensitet av deadly kan ses avslutad i mening av dess vikt kan få verka som given till vad sick ger utan särskild hänsyn till noun representationen: Varande en av få saker jag åtminstone ännu har någon form predikterbarhet från min djupare noun phrase parsning till data utanför det - Och om jag istället säger deadly red mother skiljer det sig inte - men varande också renare i effekten - medan deadly bad skiljer sig tydligare - om jag minns rätt här).

Följande bedömde jag som kanske inte intressantare än en del annat jag sparade ner men mer relevanta den första interna länken (av ett större antal ned-sparade medan jag fortfarande utgick från närhet till första artikeln i listan jag nådde först):

• The LATL as locus of composition: MEG evidence from English and Arabic
• Restrictive vs. non-restrictive composition: a magnetoencephalography study
• Building phrases in language production: An MEG study
  of simple composition
• Mismatching Meanings in Brain and Behavior

I såg också (troligen inte länkad ovan - ev. annan författare) såg också en studie jämförande en skattning av komplexitet mellan subjekt-bias och objekt-bias för "psykologiska verb-koncept" likt (a loves / hates b: subjekt bias, a annoyes / angers b: objekt bias) där man noterande en tänkt större complexitet för objekt bias. Rörande objekt bias gäller tycker jag mig minnas från bakåt relaterade skapandet av ämnes-kategorier med tillhörande verb-argument en del (två åtminstone) exempel på kan hittas nu till ett par månader bakåt att vi har tämligen stor andel verb med argumenterat negativ eller farligt kontext (i sig inte helt ovanligt för just verb rörande antal unika utan hänsyn till deras frekvenser). Oavsett det med högst eventuell påverkan har vi för objekt-bias vad som i linjär-ord-ordning för objekt-bias vad som inte enormt skiljer sig från den typ av noun-fras jag gör just nu och diskuterar också tidigare. För subjekt bias ges a som given och en egenskap av den förklaras och något behov av att manipulera a för att förstå intensiteten (likt sick mother tidigare) finns inte p.s.s. medan vi för objekt-bias just gör något jämförbart med detta. Att vi får samma likhet som här mellan objekt-bias och noun phrase för alla typer av verb betvivlar jag dock: Tänkbart ska det vara adjektiv-nära verb (absolut inte running där det hela fortfarande pågår och dess eventuella påverkan till en varaktig förståelse och representation ej är klar - jag har lite svårt för stative och state som verb-typer men det är väl vad man kan kalla vad vi ex. vill avse här men om värden för något annat visar på jämförbar effekt så vill jag inte utesluta dom heller).

Vi har också denna utnyttjande få-dimensionella feature representationer av koncept mer i tradition av natural language processing som man mycket föredömligt kombinerat med mätningar och tester vanligare inom avbildning av aktivitet i hjärna:

• Building phrases in language production: An MEG study of simple composition
• Corpora and Cognition: The Semantic Composition of Adjectives and Nouns in the Human Brain

Generellt känner jag relativt andra författare tydligt över-läst frän New York University (får en att minnas mitt var tredje- till var fjärde år återkommande sökning efter en artikel rörande en algoritm jag aldrig - ej heller nu - riktigt minns namnet på men först läste hos Nyu.edu ungefär kallad multi-dimensionell-entropy eller liknande för att ta ut intressant korrelation).

Samtidigt nära liggande vad jag sökte - bättre än så samlat kraftfullt lokaliserat ännu någon annanstans - men ändå inte riktigt exakt ändå. Utmärkt exempel på vad som skulle vinna på tydlig finansiering där man i finansieringen också har ett praktiskt perspektiv på den cross-topic dimension som är svagast som normalt förväntad. Cross-topic i mening av att man föredömligt i flera studierna söker förstå området från psycholinguistic, avbildning aktivitet och lingvistik - resp. svagare än lingvistik natural language processing driven statistisk. D.v.s. boost funding med praktiskt perspektiv på det sista. En del kanske felaktigt tolkad rörande såväl som någon till var att det förvisso nog var finansierat utan större problem men ändå kändes lite intern-gemensam-budget finansierat vilket har som sido-effekt att smalare mål som kan utvecklas vidare inte alltid får samma tyngd.

Saknande gemensam tagg för vad jag gör just nu och av och till kommenterat tog jag några av de sista inläggen runt det:

• RT: "Frekvens" vs "emotionell intensitet" för adverb och adjektiv i NP modifierande intensitet
• Att skatta komplexitet för NP är svårare än ofta föreslaget
• Är "man" verkligen större än "woman"?
• Ej säkert att engelskan har ett positivt bias

Länkar bakåt i dem lär peka ut fler tror jag.

Snabb och mycket acceptabel smoothing för särskilda användningsområden inom natural language processing

I NLP görs tror jag smoothing nästan huvudsakligen när P ( A givet B ) utifrån relativa frekvenser skattas. Antag emellertid att vi önskar betrakta P ( A,B) där vi vill se "A,B" som en symbol i sig och där utan att ordning har betydelse.

Antag vidare att vi skattar förekomst från olika corpus varierade i storlek, varierade i exakt vad vi samplar (jfr samförekomst i titel rörande detektion av fler-gram och/eller ord respektive samförekomst i taggar för artiklar i journaler).

Vidare gäller att vi ej vill se varje sample som vad vi sparar särskilt för enskild användning men samtidigt heller inte vill kasta bort den expertis det kan representera. Korrekt praktiskt har varje sample gjorts utvalt för att förstärkta där det ses meningsfullt i en övergripande grundläggande språkmodell i meningen hur språk speglas ner ex. i similarity-operationer eller när stöd där saknas rörande nya relationer (vi antar att vad vi här skapar byggs kontinuerligt vidare men smalare i typdokument som skattas: endast gårdagens nyheter fortlöpande vi uppdaterar med).

Vi har endast från resp. sample sannolikheterna att utgå från - därför att dessa filer är elegant samlat i en katalog på en snabb-hårddisk medan filer med själva antalen ligger spridda över tre eller fyra hårddiskar och skulle ta ej trivial tid att kopiera över till snabb-hårddisk - och önskar ej att mycket stora sample ex. från alla artiklars titlar i BMC och NIH eller United Nations dokument avseende olika rubriker skattat sekundär ej ska bestraffas för mängden typer oavsett per värde eller ngram ska reduceras abnormt (ca 8 - 16 GB styck) - eller internt Wikipedia-refererar-annan-artikel på antagligen cirka 40 GB eller mer (ej sammanfört en fil så det enkelt att räkna ut). Samtidigt vill vi ge erkännande åt att sample typiskt när optimalt rörande denna faktor ungefär 40 - 80 MB, och med medvetenhet om att vissa små-sample i mycket är mycket sämre värt än allt annat men just i sina unika områden kan addera visst värde.

Smoothing-målet här skiljer sig inte bara rörande detta från mer traditionell tillämpning där diverse mer eller mindre acceptabla algoritmer finns (vanligen med inte bättre koppling till distribution av typerna, token-antalet, eller informationsteori än grovt tumskattande på nivå med vad man själv kan komma fram till ex. lite linjärt skattande mellan antalen för saknande värde-antals-räknande och därefter beräkna lutning igen mellan resp. antal och humpa till något som oavsett hur föga optimalt med all trolighet är bättre fungerande än vad man "naturligt" får om man gör tämligen små samples), utan också genom därför att vi vill göra smoothing effektivt d.v.s. helst göra maximalt än beräkning per värde fortlöpande från givna värden snarare än att tröskla igenom varje rank eller kolumn.

Själva koncepten bakom tror jag alla vanliga smoothing algoritmer för traditionell användning ger oss att det rimligen är möjligt (jfr exemplet ovan för Good-Turing humpande med linjära log-skattningar i varje bak - rimligen görligt samlat ungeäfär lika bra som funktion av resp. faktiskt värde för resp. ngram-symbol).

Jag hade stora problem att se en bra lösning på det. En tyckte jag säre lösning jag annars använt fler år är att skatta från bl.a. max-värdet vilket när resp. mängd förekommande typer varierar relativt lite är funktionellt.

Efter reflekterande detta av och till flera veckor faktiskt där jag fått förkasta två lösningar jag var trygg nog i från små-tester att beräkna in (d.v.s. får räkna bort igen) hittade jag en vikt relativt funktionell rörande egentligen allt tycks det också om jag räknar med att behöva efter sammanförande av värde normalisera så att sannolikheterna summerar "rätt", förutom kanske 50 - 70 sample corpus behöva införa en extra där sannolikheterna för resp. PAB beräknas av PA * PB på hela, för att trycka ner outliers i små-corpus ej förekommande i övriga, samt ev. någon mer viktoperation (inte otroligt funktion av types avseende värden snarare än ngram-kombinationerna).

Vi börjar med att beräkna Hans-Faktor vilken är:

( 2 * ln ( ln ( types_ngram_kombination ) / ln 2 ) / ln 2 ) / ( ln ( types_ngram_kombination ) / ln ) )

Där vad vi dividerar med möjligen - även om jag ej tror det för Hans-faktor - kan vara kopplat en tidigare vikt (exakt samma) som tas bort fortlöpande på värden efteråt (lätt att tänka fel kring sådant tycker jag praktiskt och jag brukar få pröva upplever jag). Men jag tror divisionen ska vara där.

Detta ger ett värde som ungefär börjar på 0.39 för samples i storlek av cirka 300 - 400 MB (och om jag minns rätt neråt 0.32 för riktigt stora sample men som nu är utelämnade då jag ej är säker på att alla fått sina värden sammanförda vilka möjligen ställer skattningen av types ifråga vilket jag ej kontrollerat). Och cirka 0.52830 för det minsta samplet på endast 2.2 MB.

Hans-faktor utnyttjar vi därefter som smoothing-faktor. Önskar vi att kombinera väldigt få samples är det vettigare att använda den på detta sätt genom att styra hur mycket vi låter själva anpassningen av värdet vs. ursprungligt värde påverka. Här är emellertid utifrån våra särskilda krav viktigare att vi först (innan de indikerade senare operationer jag utgår från att behöva göra) att saker ligger i jämförbar magnitud utan att abnormt nervärdera stora samples (jfr Google 5-gram, NIH, UN m.fl. större) eller kasta bort expertkunskapen i mindre riktade sample (ex. Citeseer-X, DOE, NAP (alltid värd ett besök och givet samspel finanserande beställarroller d.v.s. the Congress, kvalitativt-oberoende och budget oavsett hur liten många andra datakällor rörande rå-dokument-storlek ett bra värde för långsamma faktorer vi kan önska få med kombinationer runt), Reuters välkända sample avseende endast titel- men ej ett parallellt jag gjorde själv spindlande som snarast hör till de stora om ej i närheten av UN m.m. - avseende endast titel medan om vi jag tagit ingress eller brödtext där hade de varit abnormt stora så klart - eller ännu mindre Google 5-gram men endast avseende rader uttryckta endast med stora bokstäver eller Eurostat's definitions-system avseende rubriker, underrubriker resp. varje stycke för resp. definition oberoende för resp.).

Vi gör nu brutalt hård - mycket mycket hårdare än jag hade tänkt och absolut egentligen inte gärna vill göra därför viss användning förlorar på det för övrigt lika gärna kan göras vid användning - filtrering på stopp-ord. Detta därför att en faktor jag tar in är min gamla vana att låta max-värdet påverka. Givet att datakällornas typ varierar mellan rubriker, ingress, brödtext, taggar, interna referenser Wikipedia, referenser science-articles m.m. varierar naturlig förekomst av stopp-ord ordentligt. De flesta stoppord ex. is, for m.m. är i vissa av dess typer av datakällor abnormt vanliga vs. ex. i taggar. Skalar vi som funktion av maximalt värde fas-förskjuter det brutalt out-of-sync mellan dessa d.v.s. stopp-filtrering på några hundra ord.

Därefter blir ev. kvarvarande naturliga out-liers missade under sample synliga (ex. emerican + ämnesområde för yrkesorganisation inom subområde i medicin vars journaler vi samplat). De bör väl bäst hanteras om man inte som jag tänker pröva om om PAB * PAB hanterar det nedtryckt men ändå speglande den samhällspåverkan och i kunskapsförvaltning dessa organisationer när värda att sampla kan argumenteras ha.

För implicit-etablerande för-smoothing finns också samples speglande de viktigare användningsområden det hela förbereds för. Ex. är en av alla sample ett falskt sample utnyttjande samförekomst i vänner i Blue light d.v.s. just där de färdiga värdena hanteras. Bättre hade jag egentligen antagligen där viktigast med Blue light intensity men eftersom Blue light precis uppdaterats från optimerat tämligen liten till stor (kanske 100 000 typer tlll för första två värdesiffror 11 miljoner) var det ej gjort och praktiskt tämligen tidsödande om en ej på nivå med detta. Det gör nu små-värden på alla kombinationer som förekommer där och trots att varje relation oviktat förekommer exakt en gång varierar de något därför att det är samförekomsten mellan vänner resp. nod har (indirekt en väldigt förenklad similarity-operation).

Blue light sample får Hans-faktor på 0.409666347738257 vilket eftersom endast beroende av typer - ej summa - endast speglar antalet kombinationer beaktade. Det avviker från hur jag egentligen hade önskat det med kanske större bestraffning neråt naturligt från början förväntat både av den och kanske 4 - 6 andra "smoothing-samples" där vikt av förekomst-antal är mindre viktigt än att relationen skapande ett PAB sample faktiskt förekommer verksamhets-, forsknings-, eller dyligt styrande i något ekonomiskt kostande eller predikterande sammanhang även om vi ej kan ge det ett viktvärde.

Kanske kan vi kalla denna implicit-etablerande smoothing för modern-fast-internet-smoothin? Mer styrt av övriga smoothing sample än just Blue light. De gör ju ett avsevärt bättre uttryck över en tänkt fördelning än mycket annat när vi för varje sådant kan se att det är en värde med "kontinuerlig-värde-vikt-mening" vettigt styrande tillämpningsområdets fördelningsfunktioner (ex. information retrivial givande en preferens större än rent skattade kombinationer därför att vi vet att det är tydligt samhällsinverkande faktorer och som därför förr eller senare ger avtryck i ex. nyheter - när något gått fel där - ex. dataregister lagar för myndigheter).

För varje sample identifierar vi nu max-värdet. För varje värde vi önskar vikta - till korrekt samarbetsgemensamt magnitud-språk - dividerar vi med max-värdet. Eftersom vi vill ge viss - i alla fall lätt grovt skattad - preferens till mindre sample därför att dessa typiskt bär större vetskap (jämför gärna med hur vi för samma bl.a. behöver reducera antalet tydligare ör ej uttryckt per relativ-frekvens i närmare traditioell användning därför att symboler / typer ej är resp. kombination: mycket enklare men mindre flexibelt användbart) multiplicerar vi med (1 - Hans-faktor) d.v.s.

(1 - Hans-faktor) P (nuvarande kombination ) / P (största sannolikhet över i resp. sample förekommande samples)

Notera ovan skillnaden mot om vi snarare görande det för färre sample-grupper och utan pre-sample-smoothing-filerna låter det värdera mot original-värde eller om vi så vill i distans från ett. Hade vi gjort så hade antagligen något del-moment efterföljande reducerats men hade kanske - tycks så för mig - minskat värdet av vår implicita-smoothing genom att sample stora kombinationsrymder inkluderande ex. i nyheter oftare mindre vanliga kombinationer men i själva samhällsstrukturens kunskapsbevarande representerande en viktig faktor fortlöpande påverkande nyheter vi ser givande bättre fördelning på smoothing ovanliga kombinationer mellan ovanliga A och B.

Och oavsett hur praktiskt tycks det elegant fungerande utgångspunkt bör vi räkna och utgå från att en faktor funktion av värde-förekomsterna (d.v.s. närmare entropi som funktionellt mer "core-human" än som indirekt approximerat via dess uttryck i vårt språk via ordens samförekomst) krävs.

Samt no doubt at all en vid sidan om totala antalet samples värdering med varandra till ett värde - bland dessa ej mer värderat än något annat - skattat PA * PB för att få bort abnorma out-liers topp 10 - 50 000 (givetvis oerhört beroende på sample-storlek: det tycks för mig att det praktiskt från att små-tittat manuellt i några mindre filer normalt snarast slutar att vara problem egentligen snarare topp tio till 20 bland de minsta och kanske aldrig är det när vi går över 40 - 60 MB men vi förlorar ej något om jag ej tänker fel på att anta att det sträcker sig ner åt 5% för genomsnittlig storlek på filerna d.v.s. 500 MB ungefär och topp 10 000 - 50 000) för resp. sample,

Hur som helst bra värden och mycket snabbt jämfört med de alt. genom att kombinera flera smoothing och back-tracking algoritmer mer anpassade ex. statistiska parsers för språk.

Sådant här bökigt brukar jag vara jag genom svagheter i min personlighet finna svårt att dela när jag löst när så konkret. Men här upplever jag vis av erfarenhet att en hel del för-viktande jag plockar bort antagligen påverkat en del i viktfunktionerna vilket korrekt utvecklande för ev. person att lösa samma sak bör ge åtminstone rätt utgångspunkt för en del personliga utmaningen hoppas jag. Problemlösning är endast korrekt samhällsbyggande långsiktigt när en sund utmaning och arbetsinsats finns och här finns helt säkert mycket lokalt beroende misstänker jag färdigt att explodera för mig nästa gång jag gör det såväl tillämpning här.