DNA: Markov-modell

"This work proposes a markovian memoryless model for the DNA that simplifies enormously the complexity of it. We encode nucleotide sequences into symbolic sequences, called words, from which we establish meaningful length of words and group of words that share symbolic similarities. Interpreting a node to represent a group of similar words and edges to represent their functional connectivity allows us to construct a network of the grammatical rules governing the appearance of group of words in the DNA. Our model allows to predict the transition between group of words in the DNA with unprecedented accuracy, and to easily calculate many informational quantities to better characterize the DNA. In addition, we reduce the DNA of known bacteria to a network of only tens of nodes, show how our model can be used to detect similar (or dissimilar) genes in different organisms, and which sequences of symbols are responsible for the most of the information content of the DNA. Therefore, the DNA can indeed be treated as a language, a markovian language, where a ”word” is an element of a group, and its grammar represents the rules behind the probability of transitions between any two groups."

Markovian language model of the DNA and its information content
S. Srivastava 1 and M. S. Baptista 1
1 Institute for Complex Systems and Mathematical Biology, SUPA, University of Aberdeen, Aberdeen, AB24 3UE, United Kingdom

Tidigare relaterat DNA och RNA som språk (och/eller SP-nätverk):

Minnesanteckningarna: "Extra" DNA information (Juni 2010) (2012-03-29)

Musik i en generell modell för språket (2010-06-23)

Ny modell för Evolutionen (2010-06-24)

Minnesanteckning - Lateralt tänkande: Evolutionen, virus och "kulturellt avstånd" (2010-06-28)

Information och Energi: Arv och organisation av våra ärvda tillstånd (2013-12-09)

Genetisk kod bär information (för kontextuell realisering i cellerna) via tidigare okänd princip (2013-12-15)

Så byter vi dörr: Att vingla till där vi faller heller än att ligga utslagen

Förutom snart nog klassiska beviset för Monte Hall problemets tilltalande förklaring av vår verklighet - kanske längre ifrån vad vi spontant gärna vill se också är en del av det mänskliga - med dess utgångspunkt statistiken och sannolikhetsläran roade jag mig med ett mer "abstrakt" än strikt eller noga i härledningar m.m. från informationsteorin (finns från 2010 eller 2011 tror jag):

• Monty Hall problemet (Bayes.27_theorem) | Wikipedia

En tredje väg att förklara närmare intition i en tänkt mång-dimensionell värld är att vi behöver definiera dom dimensioner vi utgår från både för att göra vägen verklig för oss och "världen" (d.v.s. vi definierar verkande dimensioner som vad därmed definierande vägen). P.s.s. innan en population, subkultur, företag eller vad som helst väljer att gå vägen och faktiskt konkret lyckas med den finns den sällan för oss.

Väljer vi nu att definiera om världens dimensioner till att inkludera möjligheten kan vi visst se det tidigt. Mer än så kan vi kanske ibland göra väg farbar för dem. I en större värld vad som inte behöver vara mer än att vi ser vägen och går den liksom många andra.

Har dörr två brunnit upp är det bästa om vi redan tagit oss en titt på den tredje dörren. Och vem vet? Kanske är den vägen bättre än den väg vi redan nästan börjat vandra ned för? Byter vi dörr är det förändring och i människans värld med så kraftfullt fungerande modeller baserade på markov-antaganden vad vi i flock och person tenderar att skatta från världen där vi står. Så om vi rör oss i den mångdimensionella världen av flockar av människor varför skulle vi inte byta? Mer en språklig-visualitet än ett bevis eller ens matematiskt argument men inte utan värde att reflektera över.

Praktiskt konkret verkligt många gånger oftare innebär att vi definierar om världen att vi ser vad vi innan inte såg d.v.s. vi stirrar oss inte blind på den värld som dog.

Jämför gärna med hur många (relativt vad man tycker är vettigt för mentalt sunda personer i övrigt) i Sverige definierat en flock-tillhörighet och fört emotionell kraft och pay-load från det så brett att vi fortfarande tills för ett fåtal år sedan av och till kunde se ganska seriösa försvar av den Nordkoreanska diktaturen.

Med mindre än de får någon form av ekonomiskt ersättning därifrån vilket verkligen är att betvivla är det svårt att se vilken värde det ger personen och om man vågar ifrågasätta det inlärda vad de heller inte han se att utgångspunkten ger någon annan. Möjligen rent av lite skada för ganska många om än försvinnande liten jämfört med det mer konkreta där som att kommentera ut tusentals till att dö i lerjorden krävande med mankraft för att förstöra jorden ytterligare eller värre.

Det finns en kognitiv kostnad att förändra vårt perspektiv. Att flytta kostnad för att ta in den information som ger oss indikationer och hellre läsa och tycka vad vi har lust tills där indikerat är en delvis funktionell väg. I den organiserade gruppen föreligger givetvis sedan av och till en pedagogisk utmaning. I ett demokratiskt system är det senare vad vi inte ska stressa upp oss över som problem. Den större gruppen tenderar om än benägen att hålla kvar perspektiv till att komma mer rätt än det mesta i övrigt om man ger det lite tid (jämför t.ex. 1900-talets utveckling i Europa och Nordamerika med övriga världen).

I kroppen kan det ofta växla approximativt binärt eller vad vi upplever som det (emergence). En upparbetad potential som orkar till att växla fler och fler mer märkbart i kollektivt språk och därigenom om vi så vill utlösande förändringen i övrigt. Att se andra göra eller tycka är väldigt starkt när det är nytt, i relativ ögonblicket innan diskret steg för steg växande, och intensivt är potent.

Ett cyniskt kanske lite pessmimistiskt sätt att uttrycka det på är att vi står där vi faller: . Tills vi går därifrån eller står kvar.

Menade jag 朔州? Eller Suzhou?

Blev lätt förvirrad när jag flyttade u och o felordning när jag ville hitta Shuozhou på Google.com för att få den indikerad på kartan där jag inte såg den. Först föreslog Google.com suzhou som alternativ men det var någon helt annan ort. Därefter när jag fick den "korrekt" enligt något av antagligen en bunt system för hur orten inte sällan stavas med våra bokstäver föreslog Google:

Jag blev lite förvånad faktiskt. Kanske har vi några - det är ju ett stort land - orter med troligare samma stavning men ev. lite troligare mer avgränsat med de kinesiska tecknen?

Lyfter vi blicken framåt för att sträcka ut en hjälpande hand till framtidens mer intensivt än tänkande snickrande idag på vår framtid med förhoppning om färre irriterande vardagsdefekter eller fel arkitektur i allt från politik till livsmedelsbutiker är ett i mycket påverkande område unicode.

Med all respekt för svenskan med dess å, ä och ö liksom alla kineser, iranier, greker m.m. - unicode-idiotin. Unicode kostar enorma enorma mängder cpu-tid, minne, utvecklingskostnad m.m. bör vi istället alla våga stå upp för ett rationellt alfabet: 7-bitars ASCII. En skapelse från en tid när USA och Europa var rikt och det var naturligt för medarbetarna på dom stora industriföretagen att bränna iväg miljarder på ett ständigt växande antal redundanta standarder till stora andelar berörande hur bokstäver och siffror ska representeras (någonstans efter ASN.1 respektive den förenklade grunkan för webben som blev vanlig kunde det ha räckt där oavsett hur komplext folk tyckte ASN.1 var då är det ingenting med flera - kan det vara hundra - unicode-standarder och unicode-mimicking "standarder" för mer än alla språk en bunt datorkulturer och generationer ( =~ s/[A-Za-z0-9 \t]// ).

Tar vi bort å, ö och ö från bokstäverna och siffrorna vi har i den här bloggpostningen (oräknat titel och bild) är det nära nog alla tecken jag tycker vi behöver. Krävs något extra för särskilda tecken kan folk gott och väl göra en liten bild för sådant. Det är verkligen att jag tvivlar på att de över-komplexa ordbehandlare som inte gör mycket mer än för 15 år sedan är mycket snabbare via gränssnittet att få dit rätt tecken (Google Docs är ju dock i det området mer nöjd med än mycket annat: få-funktioner och litet gränssnitt).

Praktiskt i representationer - om man nu skulle börja kasta bort alla onödiga otäcka nationalistiska språkliga forsar svenskar, ryssar, kineser m.m. spärrande en värld som söker ett enkelt språk med ett fåtal bokstäver från att mötas via enkelt data. För en kollision / tvetydighet när så uppstår får man ju också fråga sig hur troligt det är att den härrör till att du ex. reducerat bort å, ä och ö oavsett hur brutalt och hur troligt det är att det snarast härrör från ett mer svårtolkat kontext. I sådant gäller ju att själva indatat vi reducerar och jämför med en representation nu ju faktiskt bär informationen vilket räcker en bit till. Jämför trivialt egennamn om vi tänker oss att vi också skär bort stora bokstäver alt. små vilka jag nog tillsammans med punkt m.m. också känner är vad vi egentligen inte behöver. Visst att det blir svårläst och irriterande utan små och stora bokstäver men det är bara vanesak. Informationen det bär är försvinnande liten jämfört med hela ord-symbolen resp. lokalt och globalt kontext.

Den trosföreställningen är dock huvudsakligen formad från praktisk programmering och datorns begränsade minne och cpu:er. Rent personligt har jag mycket lättare för att lära mig språk som i den visuella representationer uttrycker högre redundans med större uttryck av absoluta tecken snarare än som ex. svenskan relativa övergångar och relativa skillnader mellan ljud, ord, meningsbyggnad o.s.v. Jag upptäckte det av en slump för några år sedan när jag surfade japanska webben via Google Translate och upptäckte att jag av mig själv lärde mig tecknen (av "kinesisk" typ). Glömmer dem tämligen snabbt igen om jag låter det gå men ingenting i språk är jämförbart med hur lätt dom väcks upp. Andra språk som engelskan, tyskan m.m. jag lärt har jag vänligen haft större problem med. Swahili upplevde jag dock i ljudformen som väldigt naturligt och på sätt jag inte riktigt förstår passande mig bättre och lite jämförbart med de japanska tecknen lättare att lära utan just något märkbart av dyslexin.

Jag tittade en del på hieroglyfer i vintras och under sommaren. Intressant på många sätt men jag upplevde inte samma egenskap med dom som för de japanska tecknen. Jag tror verkligen att det för japanskan är en fråga om visuell redundans i information relativt hur benägen man är att flacka med bilden.

Om vad som gör tecknen i japanskan speciellt har viss funktionell relation till andra språkliga skillnader som har att göra med mängden information relativt t.ex. visuell uppmärksamhet och koncentrationsförmåga som hur vi tolkar ansiktsuttryck - och var i ansiktet vårt fokus konvergerar - med ev. motsvarighet resp. skillnad med hur vi läser relativ resp. absolut information i ex. engelskan resp. de japanska tecknen vore nog att tolka in ganska mycket (jämför ex. Perception of emotion is culture-specific i brist på en intressantare som mer specifikt tittat just visuell uppmärksamhet och ansiktsuttryck jämförande en japansk försöksgrupp med andra).

Tänker man sig lite vågat ändå en förklaring närmare min spekulation här är det kanske mycket naturligt att låta den relativa representationen av språkets ljud behålla användningen av tecken för att ge förstärkt "visuellt-koncentrerad" redundans kanske lite jämförbart med bilder och illustrationer. Ungefär som de japanska skriftskråken har där vi huvudsakligt numera har två system: ett med tecken konceptuellt jämförliga med kinesiska tecken (men också väldigt olika) och sedan ett tecken-system som uttrycker relativa förändringar i ljud ungefär som vårt.

Möjligen är det konceptet inte helt olikt som mellan en i andra sammanhang uppfattad t.ex. mer "kollektivt" synsätt kanske egentligen ingen större skillnad mer relaterat om vi tenderar att vara lite mer visuell gestalt tolkande hellre eller är mer Markov ljudande tolkande från ljudet eller orden innan där ju Markov-kedjor helt säkert lär tendera att kräva en visuell och annan uppmärksamhet just optimerad mot en längre temporal utsträckning med färre synkroniseringar mot globalt kontext per tidsenhet - om det nu verkligen är så att det kommer med och innebär ökad behov av synkronisering globalt är det ju just inte helt olika vad vi i andra sammanhang kanske vill uttrycka som visuell gestalt eller kollektivt tänkande, eller koncentrationssvårigheter i vissa andra situationer.

Mycket i vår kultur och hur vi tolkar och talar märks och bor i språket. Och varför inte? Finns det inte där kan man svårligen mäta det energieffektivt och i dagens globala intensivt kommunicerande värld är tryggt att ofta försumma allt annat: finns det ej uttryckt i en kulturs kollektiva språk är det direkt otroligt att någon viktigt eller oviktigt finns att hitta någon annanstans (undantaget rena flow-processer ex. trafik detekterad via satellit bevakning utan just det kulturella, hur vi tänker och hur vi resonerar med likheter och skillnader mellan folk och språk).

Det är med visst nöje man av och till kan roa sig med att låta flera för många tråkiga ämnen kollidera och ändå känns viss tillfredsställelse av att det faktiskt ändå som konsekvens av några ämnen som råkade komma med lär bli läst av några stycken i alla fall.

hans husman

Ny Google Ngram annoterad: Klassbaserad prediktion i n-gram tycks möjlig

När jag behövde ersätta 2-gram filer jag råkat radera idag såg jag att Google Ngram uppdaterats. Dels har av allt att döma mängden data om ngram co-occurance (viss risk att jag bedömde fel från antal och storlek givet övriga uppdateringar) men viktigare finns nu information om de viktigaste ordklasserna (ex. markörer för adjektiv och verb).

Den fördel jag ser (egentligen den enda jag ser för egen del och gissar för de flesta om metoden är mer allmän känd) är att det går att förbättra prediktion i ngram-modell ganska tydligt samtidigt som problematik med att vissa co-occurance kombinationer saknas lättare kan hanteras.

Tänker vi oss enklaste möjliga n-gram modell predikterar vi nästa ord från föregåendes "sannolikhet" och jag sätter citationstecken därför att det mindre är sannolikhet och mer en ganska dålig approximation via ett s.k. Markov-antagande.

För ngram-modeller som gör prediktioner som bygger på fler ord bakåt blir det ganska snabbt bättre. Ofta uppges att förbättringen når "praktiskt" bästa värde vid 5-grammen varefter värdet föga ökar medan givetvis minnes- och beräkningskostnad ökar desto mer för varje steg. Det gäller vanliga ngram-modeller men med varianter går det visst att nå bättre resultat med mer data än 5-gram beroende på vad du vill göra. För att bara prediktera orden framför räcker det dock säkert utmärkt medan andra slutsatser vinner på mer data bakåt.

Kan vi öka värdet av prediktionen från n-gram modell som bygger på n stycken ord bakåt genom att utnyttja statistik rörande sambanden ex. mellan ordklasser som adjektiv och verb vinner vi normalt alltid på det rätt gjort därför att medan vi expanderar antalet ord bakåt vi använder ökar beräknings- och minneskostnad ordentligt i varje steg medan semantiskt information fint går att lägga med en "linjär-kostnad" billigare (detta är dock något beroende av hur tillämpningen exakt är rörande vad som är möjligt där tillämpningar för mig mindre har att göra med språkrader och mer grupper av aktiverade koncept relaterade med varandra i komplexa grafer).

Förutsättningen för att det ska vara meningsfullt är så klart att bra algoritmer med faktiskt värde utan att vara plågsamt slöa. IBM publicerade några stycken tidigt (någon gång under 1990-talet) och även om jag är säker på att många varianter publicerats - och inte otroligt bättre - tror jag att för normala applikationer ger de ungefär det värde man rimligt kan förvänta sig.

Utan hänsyn till kunskap från ordklassen skulle enklaste tänkbara n-gram modell prediktera med approximationen:

P ( nästa ord vi söker GIVET alla föregående ord i texten ) = P ( nästa ord vi söker GIVET föregående ord )

När vi lägger till kunskap om ordklassen är enklaste tänkbara modell under Markov-antagande som både utnyttjar föregående ord och en viss ordklass:

P ( nästa ord vi söker GIVET alla föregående ord i texten ) = P ( ordklass för ordet vi söker GIVET ordklass för föregående ord) * P ( ordet vi söker GIVET ordklass )

Jag tror varianten ovan stämmer med hur IBM uttryckte den ena av modellerna. Praktiskt är just denna man kanske hellre inte väljer. Den gör en del antagande rörande antalet ordklasser eller kategorier vi anser möjliga för ordet som sällan är enkla att få att fungera. Tänker och minns jag rätt hamnar man i att man bäst behöver ha en kategori per ord.

Den andra varianten är bättre och har kanske mindre kända värden för situationer där vi gör operationer vi kan jämföra med översättning. Tänkbart relevant för att ta dokument, nyheter, webbsidor, databas-information m.m. för att sammanfatta ner till ett meta-språk för vidare analys eller för att skapa en behändig sammanfattning till sökresultat eller annat (samma forskare vid IBM har förövrigt publicerat en del om översättning men minns jag rätt rörande andra algoritmer).

Ett värde troligt intressantare för fler är att det är möjligt att hantera brist på statistik om sam-förekomst på ett till sätt. Oavsett hur mycket testdata man samlar på sig är det aldrig nog. Laplace-smoothing, Good turing m.m. är ju vad många använder men har begränsningar och i vissa applikationer där fel just nära noll får stort avtryck olämpliga (kanske är rent av att kasta situationer där avsaknaden av datat inträffar att föredra för att hämta ett nytt sample hellre än att riskera modellernas korrekthet för vad som är mycket troligare). Genom att utnyttja markeringarna för ordklasser för att skapa kluster passande vad vi vill ha ngram-modellen till (själv skulle jag tänkbart ex. acceptera taggen för verb varande ett verb och sedan ta ut dess subklass för att beräkna dess nivå i concretness och abstract, och göra en liknande operation med adjektiv, men ev. strunta i resten).

En till möjlighet är att utnyttja att Google Ngram just sträcker sig långt tillbaka i tiden rörande indata och innehåller en försvarlig andel felstavningar genom att utnyttja ordklasserna tillsammans med annan statistik och så långt det går givetvis ev. strikt kunskap man har för att samla ord med likartad betydelse oavsett stavfel eller genom åren ändrad stavning i kluster för att därigenom hantera ex. ovanliga felstavningar. Det senare är mindre intressant för mig men troligt en bra möjlighet för många applikationer och IT-system som behöver hantera varierat språk som kommer in.

Vidare är det lättare att ta ngram-statistiken för engelskan och kombinera ex. med den för japanska för att i mötet ta ut mer kunskap om orden. Det är dock troligt enklare med ev. också större värde att göra via enklare vägar som Wikipedia. Men det är möjligt via varianter här också.

Möjlighet för studenter som vill komma före i karriären

Oavsett copyright hade jag för det här datat gärna sett en rimligt prissatt kommersiell lösning innebärande att någon annan sparar ner alla filerna, med alla artiklar, och allt annat intressant på en lite mobil-hårddisk som sedan kom hemskickad. Det är tidsödande att ladda ner och sedan ska det packas upp och extraheras till internt-format. Och sedan i värsta fall upptäcker man att en fil råkat komma två gånger utan feldetektion och så får man börja om med extraktionen.

Däremot ett passande projekt för t.ex. en datastudent för att få erfarenhet av att arbeta mot kravspecifikation av datarepresentation (den verklighetsförankring arbetsgivare alltid tittar efter). Dessutom är det big data... Det enda inom data som är manligt.

Jag skulle här rent av om tjänsten kommer med bevakning av nya uppdateringar förutom 500 - 1500 kr mobil-hårddisk kunna tänka mig en ersättning av rent av 200 kr + porta (eller kostnad bussbiljett för hit-resan) vilket verkligen är mer än vad det bör ta i tid för någon yngre och mindre disträ än vad jag är. En verkligt fin möjlighet både för att tjäna extra pengar och bygga upp ett kraftfullt CV redan innan universitet är klart!