Googles problem är Talanalysens möjligheter

System för att tolka tal har jag av och till varit road av testa. Längre tillbaka konsultade jag dessutom åt Phoneticom och området berörde om än inte exakt i tekniken också i konsultuppdrag på TeliaSonera, Ericsson och åt ett till svenskt teknikföretag inom området (inte samma inriktning som Phoneticom dock). Speech and Language Processing av Jurafsky, Martin, hör till vad jag läser nästan dagligen trots sliten den blivit och föredrar den oftast som referens inom en rad områden relaterat språkanalys även mer i language än speech processing förvisso och håller den för ett nödvändigt och ibland smidigre alternativ till Manning.

Ett av och till särskilt intresse är upptagning och tolkning av ljud under förhållanden med utmaningar. Ex. från en pratande och ropande folkgrupp i rörelse eller för dokumentation i samband med att utrustningen behöver vara täckt. I Sverige kan du lagligt spela in alla samtal du själv deltar tar i. Därmed inte sagt att det är vad man bör lättsamt. I andra länder behöver lagarna inte tillåta det men en del kan ändå ha intresse av det ex. för att dokumentera övergrepp de tror att de kommer utsättas för. Jag kan dock inte påstå att jag nådde någon särskilt djup kunskap och området beroende på hur situationen ser ut kan vara svårt om du just behöver acceptera åtminstone att det är en möjlighet att dataanalys behöver vara ett lager.

Givet Google's:

• Intensiva teknikintresse för allt relaterat språk.
• Representation av mening i kompakta uttryck givet historik via sökresultat och omvänt tolka sidor d.v.s. motsvarar troligt i min modell vad som i nyhetsanalysen sker genom describe till do-projektionen där värden över cirka 10 till 30 dimensioner relaterat intensitet, känslor och riktningar samlas till do-symboler över nyhetskällor där do-symboler för webbsökning skulle motsvara sökorden folk skriver in.
• Deras andra satsningar runt språk vid sidan om text: bilder, film m.m.
• Och deras fantastiska framgångar i att utveckla utmärkt fungerande statistiskt-baserad översättningsverktyg mellan en mängd språk. Mycket imponerande!
• Och de har dessutom stora mängder utmärkt språkstatistik att bygga a priori modeller från som är ohörda för oss vanligt folk utan enorma datahallar utspridda i världen.
• Och förutom mångt intressantare statistik relaterat bl.a. översättning och uttryckens trolighet relativt vad vi skrivit och sökt på tidigare under dagen och normalt liksom den statistik översättningsverktygen byggt upp finns ju Google Ngram där de verkligen satsat på corpus i big-data-storlek:
  

• Ny Google Ngram annoterad: Klassbaserad prediktion i n-gram tycks möjlig | Google Ngrams: Om senaste uppdateringen
• Avtrycken av Google och Harvard i böcker, nyheter och på internet | Google Ngram: Lättläst introduktion till möjligheterna datat ger dig
• Datasetsv2 | Google Ngrams: data att ladda ner

Med allt data och så mycket nära besläktat som fungerat bra var det med stor våning jag endast klarade att få deras röststyrning av sökresultat att fungera en gång. Jag blev dessutom illa berörd av att den på något sätt tycks uttrycka ett underligt bias mot termer relaterat kiss och bajs-humor. Man vill dock inte tro att Google för översiktigt suger en sökstatistik som bekräftelse givet kanske en hel del barn som roar sig med funktionen. information science klarade den bra.

Nu när jag skulle visa misslyckandena klarade den faktiskt direkt av entropy. Förklaringen är inte otroligt Googles allt mer märkbara quality assurance system som gissningsvis ganska automatiserat hanterar misslyckanden. distributed topological maps misslyckades dock och det verkar inte otroligt att vi i felet ser en statistisk bedömning byggd på sökstatistik: distributed buffalo chicken map.

Lämnar man teknik-nära välkända referensboken för speech processing är Neurolinguistics av Ingram acceptabel men en aning för tunn och vad jag kommer behöver komplettera för att slippa ifrån en massa utskrifter i bokhyllan. Den indikerar viktiga saker med annorlunda prioritet än de tekniska böckerna och vill inte utesluta att den kan vara bra indata till den som försöker få ordning på den där tjänsten.

Något mer värt att tänka på är roller. Vilken är min roll? Jo jag söker på ungefär samma sak dagligen i försvarlig mängd. Forskningsstudier om språk, kognition, algoritmer, informationsteori och grafer. Vidare fundera kring tema i mening med eller utan tidigare information som stöd.

För Google requires Yahoo blev första förslaget Google retire show och Google requires Yahoo som tredje förslag uppifrån och först andra gången jag prövade.

Gissningsvis har Google inlärningen här väldigt avgränsad till ljuden och definierar beslutsnäten och deras som ofta tror jag bayesianska logik kring vad det prdikterar och vilken reaktion användaren ger efteråt.

Det är inte nödvändigt någon dum strategi. Man ska ha respekt för att sannolikhetsfördelningar rörande ord inte särskilt lätt översätter till den här typen av lösningar som för när sökorden blir inskrivna. Även om användarna söker på exakt samma ord börjar problemet här långt innan man kan väga in sannolikheten för hela ordet eller orden, och låter man denna påverka för tidigt tycks för mig det som oerhört troligt att algoritmen oftare än vettigt kommer dra fel slutsatser. I detta fall tenderar problemet vara talanalysens möjligheter som blir för många där statistiken för de Markov-valen inte bra använder den information given i användarens ljudande.

Däremot med försiktighet när man redan fattat ett beslut om ett antal ord vad man kan jämföra med vad bayesiansk information, Kullberg-Lever-divergens, selectional association, mutual information, T-test eller vilket mått nu Google använder i övrigt runt sökorden förutom Markov-modellerna mellan sökordsförslag.

Jag blev som sagt lite förvånad över att det inte fungerade direkt. Första gången på säkert ett år det hänt med något liknande sådant här. Jag ska fråga Fredrik (deras teknikchef) på Phoneticom om han har någon idé eller bild av ungefär hur väl han tycker att den fungerar.

Det kan ju trots allt också tänkas vara någon tillfällig störning här runt tempest för skärmen eller vad som helst.

Eller att Googles PR-avdelning i analys kommit fram till att Google behöver några inte viktiga tjänster men väl synliga runt viktigt som inte ska fungera kalasbra från början så det märks att Google får slita med saker och ting dom också, och vi vanliga informationssökare får något att hånle åt. Den sista förklaringen vill jag inte alls uteslut därför att det är mycket tänkbart att just det vore bra för Google.

Föga värde av räntesänkningen

Inte direkt förvånande tycker jag har knappast någon positiv effekt av räntesänkningen visat sig. Det har ju inte tillfört nämnvärt värde för andra ekonomier i tydligare problem färskt relaterat de sista åren.

Däremot är det mycket möjligt att mängden kapital som investeras kommande utifrån minskar liksom valutans värde. Svag valuta gynnar skogsindustri och diverse konceptuellt liknande 1970-talets teco-industri och varvsindustri. Statliga stöd och lågt värderad valuta räddade inte varvsindustri vilket däremot mer troligt ett relativt andra länder intensivare teknikutveckling framtvingat och det i tid istället genom framförhållning i industri såväl som politiska verksamhetssystem.

Jag håller det inte otroligt att vi förutom de politiskt styrda (på båda sidor) riktade lånen från Kina till diverse ekonomier att flöde i investeringar från en mängd aktörer utanför landet kommer fortsätta. Jämför gärna med nyheten som nyligen uppmärksammade det i Sun Herald:

• Study: Flood of money leaving China

En just nu lite högre ränta med en färsk historik av god valuta-värdering - rent av lite ökande - är ytterst tilltalande för aktörer som medierar ut större summor därför att det ger en viss default-grund även om kanske inte omedelbart har lust att detalj-engagera sig i särskilda investeringar (jfr för det senare köpet av Volvo där vi tidigare när aktuellt de risker ännu realiserade diskuterades här och ett par som återstår att visa sig men säkert kommer troligt innan året är slut, och för det första köp av företagsobligationer helt klart underutnyttjat bland svenska företag för finansiering just nu vilket också skulle ge bank-oligpolen välbehövlig konkurrens).

Betänk att en överåterkommande komponent hos länder som drabbats i denna upplevda "kris" är kapitalbrist och ingen väsentlig effekt av räntesänkning. Det första verkar därför inte dumt att försöka undvika.

Visuell uppmärksamhet kanske påverkas av religion

Med visuell uppmärksamhet avser vi här magnituden på omfattningen av vår uppmärksamhet vi vägar in. Grovt om hela Sverige-konceptet påverkar åtminstone lite eller om endast det lokala perspektivet styr.

Möjligheterna följande studie i Plosone, 2008, kan ha värde långt utanför de kalvinister som studerades:

• Losing the Big Picture: How Religion May Control Visual Attention
(Jämför gärna vad man såg för kalvinister i Nederländerna med vad som gäller den politiska organisationen i Schweiz med dess fokus på tydligt lokalt bestämmande relativt för landet gemensamma politiska funktioner.)

Tolkar vi fenomenet bredare kanske vi snarare vill se det som att vi tenderar att tränas till vilket perspektiv på omvärlden vi för olika frågor tenderar att utgå från. Låt oss ta reaktionen nyligen i arabvärlden på en uppfattat arab-muslin-fientlig video publicerad på internet (antagligen var den just fientlig men eftersom jag inte tittat på den själv eller läst någon analys av innehållet väljer vi det neutralare begreppet uppfattat vilket uppenbart inte är felaktigt oavsett vad som är det troligare genomsnittliga uppfattade i kulturen Sverige) kan vi ta konceptet till att konstatera:

• Hur man uppfattar global-förändring och globala händelser är oerhört påverkat av den information man får.
• Den muslimska tron är tämligen fokuserad på ett globalt perspektiv.
• I många regioner representerar information relaterat den muslimska trosföreställningen en stor del av den globala information man tar in.
• Troligt delvis kan vi förklara den arabiska våren med mer varierad information om omvärlden vilken sätter den egna situationen i relation till andra delar av världen.

Arab-muslim-fientliga videor tvivlar jag inte på publiceras väldigt ofta på nätet och jag skulle bli lätt förvånad om någon egentlig kompetens i skapandet av denna gjorde den mer "effektiv". Snarare handlar det om att informationen nådde ut till breda massor vilket kanske var en effekt styrd med syfte just till protester.

Propaganda-effekten ger oss att människan för händelser som dessa tenderar att reagera mycket mer när stimulansen är ny. Ökad tillgång till information - eller rått uttryckt att folk nås av mycket mer liknande och därmed vänjer sig vid det och liksom alla vi med internet sedan många år lär sig att filtrera bort det. Här gäller att uttrycket av ett mycket begränsat antal personer kom att tolkas som symboliskt för närmare hela USA än en person. Det är vad propaganda-effekten med tiden kommer förändra.

Vi inser - eller väljer att anta det som sant från studien - att både skillnad och stor likhet föreligger mellan när vi besöker en bergsby i Schweiz resp. Afganistan.

I båda fallen är den lokala effekten viktig som relativt den normala nivån av händelser. Också finns likhet i den globala internationella kopplingen men där vi intressantare kan spekulera om en skillnad. I det senare fallet är det naturliga från inlärd tidigare möte av information om omvärlden att tolka globalt från trosföreställningen medan det för Schweiz är mindre troligt därför att deras kristna "anpassning" varken är speciellt vanlig internationellt, särskilt präglad av samarbete mellan kalvinister i olika delar av världen och vidare har som uttryckt i studien ett ganska tydligt lokalt fokus. Det är på så sätt ganska naturligt att Schweiz valt att prioritera internationellt-oberoende och trots bl.a. genom det en hel del internationellt engagemang genom den moderna historien själva i sådant är föga uttryckta på sätt där man spontant associerar eller tänker på den "inställningen Schweiz hade" eller deras förslag.

Ny Google Ngram annoterad: Klassbaserad prediktion i n-gram tycks möjlig

När jag behövde ersätta 2-gram filer jag råkat radera idag såg jag att Google Ngram uppdaterats. Dels har av allt att döma mängden data om ngram co-occurance (viss risk att jag bedömde fel från antal och storlek givet övriga uppdateringar) men viktigare finns nu information om de viktigaste ordklasserna (ex. markörer för adjektiv och verb).

Den fördel jag ser (egentligen den enda jag ser för egen del och gissar för de flesta om metoden är mer allmän känd) är att det går att förbättra prediktion i ngram-modell ganska tydligt samtidigt som problematik med att vissa co-occurance kombinationer saknas lättare kan hanteras.

Tänker vi oss enklaste möjliga n-gram modell predikterar vi nästa ord från föregåendes "sannolikhet" och jag sätter citationstecken därför att det mindre är sannolikhet och mer en ganska dålig approximation via ett s.k. Markov-antagande.

För ngram-modeller som gör prediktioner som bygger på fler ord bakåt blir det ganska snabbt bättre. Ofta uppges att förbättringen når "praktiskt" bästa värde vid 5-grammen varefter värdet föga ökar medan givetvis minnes- och beräkningskostnad ökar desto mer för varje steg. Det gäller vanliga ngram-modeller men med varianter går det visst att nå bättre resultat med mer data än 5-gram beroende på vad du vill göra. För att bara prediktera orden framför räcker det dock säkert utmärkt medan andra slutsatser vinner på mer data bakåt.

Kan vi öka värdet av prediktionen från n-gram modell som bygger på n stycken ord bakåt genom att utnyttja statistik rörande sambanden ex. mellan ordklasser som adjektiv och verb vinner vi normalt alltid på det rätt gjort därför att medan vi expanderar antalet ord bakåt vi använder ökar beräknings- och minneskostnad ordentligt i varje steg medan semantiskt information fint går att lägga med en "linjär-kostnad" billigare (detta är dock något beroende av hur tillämpningen exakt är rörande vad som är möjligt där tillämpningar för mig mindre har att göra med språkrader och mer grupper av aktiverade koncept relaterade med varandra i komplexa grafer).

Förutsättningen för att det ska vara meningsfullt är så klart att bra algoritmer med faktiskt värde utan att vara plågsamt slöa. IBM publicerade några stycken tidigt (någon gång under 1990-talet) och även om jag är säker på att många varianter publicerats - och inte otroligt bättre - tror jag att för normala applikationer ger de ungefär det värde man rimligt kan förvänta sig.

Utan hänsyn till kunskap från ordklassen skulle enklaste tänkbara n-gram modell prediktera med approximationen:

P ( nästa ord vi söker GIVET alla föregående ord i texten ) = P ( nästa ord vi söker GIVET föregående ord )

När vi lägger till kunskap om ordklassen är enklaste tänkbara modell under Markov-antagande som både utnyttjar föregående ord och en viss ordklass:

P ( nästa ord vi söker GIVET alla föregående ord i texten ) = P ( ordklass för ordet vi söker GIVET ordklass för föregående ord) * P ( ordet vi söker GIVET ordklass )

Jag tror varianten ovan stämmer med hur IBM uttryckte den ena av modellerna. Praktiskt är just denna man kanske hellre inte väljer. Den gör en del antagande rörande antalet ordklasser eller kategorier vi anser möjliga för ordet som sällan är enkla att få att fungera. Tänker och minns jag rätt hamnar man i att man bäst behöver ha en kategori per ord.

Den andra varianten är bättre och har kanske mindre kända värden för situationer där vi gör operationer vi kan jämföra med översättning. Tänkbart relevant för att ta dokument, nyheter, webbsidor, databas-information m.m. för att sammanfatta ner till ett meta-språk för vidare analys eller för att skapa en behändig sammanfattning till sökresultat eller annat (samma forskare vid IBM har förövrigt publicerat en del om översättning men minns jag rätt rörande andra algoritmer).

Ett värde troligt intressantare för fler är att det är möjligt att hantera brist på statistik om sam-förekomst på ett till sätt. Oavsett hur mycket testdata man samlar på sig är det aldrig nog. Laplace-smoothing, Good turing m.m. är ju vad många använder men har begränsningar och i vissa applikationer där fel just nära noll får stort avtryck olämpliga (kanske är rent av att kasta situationer där avsaknaden av datat inträffar att föredra för att hämta ett nytt sample hellre än att riskera modellernas korrekthet för vad som är mycket troligare). Genom att utnyttja markeringarna för ordklasser för att skapa kluster passande vad vi vill ha ngram-modellen till (själv skulle jag tänkbart ex. acceptera taggen för verb varande ett verb och sedan ta ut dess subklass för att beräkna dess nivå i concretness och abstract, och göra en liknande operation med adjektiv, men ev. strunta i resten).

En till möjlighet är att utnyttja att Google Ngram just sträcker sig långt tillbaka i tiden rörande indata och innehåller en försvarlig andel felstavningar genom att utnyttja ordklasserna tillsammans med annan statistik och så långt det går givetvis ev. strikt kunskap man har för att samla ord med likartad betydelse oavsett stavfel eller genom åren ändrad stavning i kluster för att därigenom hantera ex. ovanliga felstavningar. Det senare är mindre intressant för mig men troligt en bra möjlighet för många applikationer och IT-system som behöver hantera varierat språk som kommer in.

Vidare är det lättare att ta ngram-statistiken för engelskan och kombinera ex. med den för japanska för att i mötet ta ut mer kunskap om orden. Det är dock troligt enklare med ev. också större värde att göra via enklare vägar som Wikipedia. Men det är möjligt via varianter här också.

Möjlighet för studenter som vill komma före i karriären

Oavsett copyright hade jag för det här datat gärna sett en rimligt prissatt kommersiell lösning innebärande att någon annan sparar ner alla filerna, med alla artiklar, och allt annat intressant på en lite mobil-hårddisk som sedan kom hemskickad. Det är tidsödande att ladda ner och sedan ska det packas upp och extraheras till internt-format. Och sedan i värsta fall upptäcker man att en fil råkat komma två gånger utan feldetektion och så får man börja om med extraktionen.

Däremot ett passande projekt för t.ex. en datastudent för att få erfarenhet av att arbeta mot kravspecifikation av datarepresentation (den verklighetsförankring arbetsgivare alltid tittar efter). Dessutom är det big data... Det enda inom data som är manligt.

Jag skulle här rent av om tjänsten kommer med bevakning av nya uppdateringar förutom 500 - 1500 kr mobil-hårddisk kunna tänka mig en ersättning av rent av 200 kr + porta (eller kostnad bussbiljett för hit-resan) vilket verkligen är mer än vad det bör ta i tid för någon yngre och mindre disträ än vad jag är. En verkligt fin möjlighet både för att tjäna extra pengar och bygga upp ett kraftfullt CV redan innan universitet är klart!

Inför presidentvalet: Starkare krafter än musik sätter lyriken i brand

Kanske kan vi se på mötet mellan musik och lyrik som att musiken höjer emotionell potens där lyrik vi annars troligen inte hade lyssnat på nu databehandlas adderande värde till musiken. Och tas emot i en värld där där ovanligt emotionellt laddade symboler inte bara kan tas med i hög och varierad densitet utan ofta upprepats gång på gång.

Utan musik krävs verkligen att motivation byggs upp från annan kraft om "lyriken" rör annat än konkret nära vårt eget liv. Du kan prata ofta och regelbundet med en gammal vän även om de upprepar sig (lite som musik-lyrikens verser) men det är mindre troligt att du tycker att det är annat än fel att du skulle lyssna på en kommunpolitiker som vecka efter vecka säger samma sak.

För det kommande presidentval gäller att motivation finns och många som sällan annars följer politiska debatter att låta hjärnan databehandla debatt-lyriken: Nu blir [Red. av Hans nu efter uppföljning mätningar: blev] Romney omtyckt: Obama-operation gick fel.

Det är kanske ett dåligt tankeexperiment att för ett tag välja att betrakta politisk-debatt från detta perspektiv.

Idéen att män mer sannolikt skriver poesi utan tidigare intresse relaterat kvinnor är inte otroligt. Där adderar den romantiska möjligheten motivation till insatsen och kan inducera motsvarande tyngd musiken ger hos kvinnan. Lika lite som sånglyrik krävs något högre konstnärligt värde där lyriken bärs upp av underliggande bärande kraft.

"Sweat baby sweat baby sex is a Texas drought
Me and you do the kind of stuff that only Prince would sing about
So put your hands down my pants and I'll bet you'll feel nuts
Yes I'm Siskel, yes I'm Ebert and you're getting two thumbs up"