MEDLINE N-gram och ny version av The Specialist Lexicon II

National Institutes of Healths The Specialist nya version var som jag trodde en typisk uppdatering där det inte är något märkbart annorlunda jag spontant ser utan att söka efter det:

• MEDLINE N-gram och ny version av The Specialist Lexicon

Emellertid ett sedan år upparbetad till en mycket gedigen och praktiskt resurs för just vad den tagit på sig att försöka representera (medan den inte ger sämre eller mer begränsade försök i nya områden eller övergivna områden som ändå behållits).

Fortsatt föredömligt få defekter också. Också om de finns i enstaka antal med några exempel nedan från just adjektiv på "färg-positionen" varande mer avgränsad och så samt som intresserade mig att titta lite på (där jag avstår att tycka kring de vi har ovanför som o.s.v. vilka jag inte minns att jag kontrollerat någon gång: Men jag har inte motsvarande för denna adjektiv-kategori utan sorterar det i ganska annorlunda för RGB som tillskriven egenskapen varande så pass tekniskt) med accident prone vilket viktigare än att avvika från en lätt uppfattad kategori inte är vad vi om vi betraktar bigram som en under-adjektiv-fras till NP naturligt placerar sig på "färg-adjektiv" positionen närmast NN.

Accident prone är normalt en subjektiv bedömning mer föränderlig för vad vi tillskriver den och med större variation för de entiteter vi tillskriver det relativt varandra och kommer tendera att markeras ut mot vänster relativt mer tidsstabila egenskaper (bl.a. färg). Det är också det särskilda vi dessutom gärna markerar ut i betoning p.s.s. (där man kanske enklare förstår vad jag menar om man provar resp. variant av dessa antagande båda kommande naturligt: the big African lion resp. the African big lion - vi kan ex. tänka oss någon form av typisk kategori för big lion ev. konverterande mot en NGRAM typ för en art ex. Big Lion).

Och awe inspiring p.s.s.

MEDLINE N-gram och ny version av The Specialist Lexicon

Med sista version 2015 här och tycks ha kommit i första version 2014.

• The MEDLINE N-gram Set Specifications | lexsrv3.nlm.nih.gov

Givetvis kan man tänka sig några olika andra metoder och vägar för att skaffa sådant här data där jag själv prövat och använt minst sagt ganska olika. Generellt med ett visst fokus mot motsvarande titel, abstract / snippet, kategorier (troligare människogivna), och för vissa data-områden mer så där forskning bredare runt medicin och biologi är ett sådant område (utnyttjande XML-formatet hos open-data journalerna för under-rubriker m.m.).

Det finns mycket bra data att hämta allmänt utanför det här hos National Institute of Health där jag oavsett diverse andra lösningar och datasamlingar fortfarande använder The Specialist för grundläggande om resp. ord delvis därför att den har bättre uttryck för ämnesspecifika ord inom medicin vilka andra källor är sämre på samtidigt som jag använt mig använda deras notation rörande särskilt verb.

Jag tror säkert om man ska döma av allt annat jag använt dem relaterat språk och lingvistik att datat's kommer hålla mycket hög kvalitet. Dom har alltid förr varit tilltalande också i format på filer (csv-filer), svårighet att hitta fel (kring fel är de närmast unika vilket har att göra med tror jag att det The Specialist funnits länge och är tämligen tydlig i vad den representerar hållande sig till vissa saker). Så det här känns ganska lovande.

Säkert tjusigt energieffektivt och kvalitativt data att använda: Nere på hårddisk på några minuter del-klart. Snabbare än andra metoder för rådata samplande själva datarepresentationen.

Vad jag kommer ihåg har jag inte sett det här tidigare men jag hade en längre period under 2014 där jag inte alls surfade på diverse delar av National Institute of Health (mer relaterat begränsningar hos mig än dom egentligen och tror jag berört löst förra året någon gång).

Och N-Gram antal lär jag säkert använda det här och hade oavsett det troligen inte samplat dem med via alla metoder jag använde tidigare här för kanske ett år sedan. Grundrepresentation av potens för koncept kräver dock en del rörande ämnen och koncept men det var alltid mitt ledord att vara noggrann kring robots.txt letande rätt på missad subdomän i värsta fall kring ett bibliotek (vad jag minns i alla fall) men ibland kan ju saker gå defekt i någon komponent i det abstrakta eller konkreta.

Dessutom har The Specialist kommit i ny version. Jag har inte kontrollerat vad som är nytt. Det brukar emellertid inte vara några enorma förändringar.

• Lexicon 2015 Releases | lexsrv3.nlm.nih.gov

Det är en försvarlig andel - fler än man först kan tro - lingvistiska databaser av olika slag som har sitt ursprung i finansiering eller projekt bland de amerikanska myndigheterna även om det ofta nu ligger några år bakåt kring sådant jämförbart The Specialist (mer av ett problem väsentligt delvis kvar att lösa då än idag rörande "lexikon-data"). Ett till exempel är Wordnet som började hos Department of Defence i de första projekten innan det blev legendariskt använd i allt förvaltat och fortsatt utvecklat hos Princeton: wordnet.princeton.edu. Och bl.a. en del projekt och representationer relaterat verb och roller finns att hitta också nu för många år sedan.

Obamacare stärker upp engelskan: Standardiserad i engelska grammatiken

Det känns så hemtrevligt svenskt att upptäcka att U.S. National Library of Medicine, National Institutes of Health, inte bara rusar in i Obamacare utan att först grundligt etablerat vad det är och vad det betyder. Här ser vi att men nordisk exakthet börjat i själva den engelska grammatiken redan avspeglat i The Specialist Lexicon (del av Unified Medical Language System® (UMLS®)):

Jag tror nog också de flesta kan hålla med om att det är för det bästa att försöka komma ifrån alla gamla latinska termer. Och åtminstone som här när man för in regeringen i grammatiken finns ju ingen anledning att välja något annat än ett engelskt namn.

Biomedicin och medicin har ju också varit kanske lite före i analys, tolkning och förståelse av språk. Bara för Plosone får vi något över 800 träffar indexerade Google på site:plosone.org+ontology+semantic (just relaterat The Specialist Lexicon finns bl.a. Enhancing Biomedical Text Summarization Using Semantic Relation Extraction från 2011) och i PLOS Computational Biology ca 350 (ex. Assessing Drug Target Association Using Semantic Linked Data).

Delvis givetvis därför att det är ett område som har budget för den typen av forskning och det har snabbt blivit ett redan ganska viktigt närmare den kommersiella forskningen och av allt att döma i snabb tillväxt relaterat organisation och hantering av dom gigantiska informationsmängderna där ständigt ny kunskap publiceras allt snabbare. Problematik att organisera och dra nytta av informationen bromsar i fenomen vi känner igen från alla större organisationer takten relativt investeringarna värde skapas med (inkl. med absolut inte uteslutande allt mer redundant forskning som ej ens behöver vara medvetna om varandra). Illustrerande för det har vi på samma sökord endast en träff i PLOS Medicine (A Research Agenda for Malaria Eradication: Modeling) som ju i publicerad forskning ligger närmare kliniskt medicin än det mer grundläggande och som ligger den kommersiellt gigantiska läkemedelsforskningen.

Emellertid är jag ganska säker på att det befintliga arbete som fanns inte minst i The Specialist Lexicon var viktigare. Vi har ju flera andra områden med högt värde i detta segment utan särskilda tecken på att man dels lättare uppmärksammat värdet genom ett etablerat arbete som runt UMLS, och på det har något trevligt bra organiserat och noggrant att börja med för det grundläggande. Åtminstone i segment kan man också fortfarande se att man nog är lite före också branscher som starkt prioritet området (och närmare sådana segment särskilt sista två åren) som indexering och sökning av internet.

Mycket möjligt kan kunskapen som etableras i dom här segmenten och var ge oss en indikation om var kommersiell tillväxt inom medicin och läkemedel kommer ta större utrymme åren som kommer. Både USA och Tyskland har goda möjligheter genom att ha prioriterat det både bland företag (och i lite olika branscher viket alltid kan tillföra lite extra värde) och universitet såväl som entiteter associerat stat (för Tyskland åtminstone näraliggande det militära).

Ett par (av fler att hitta bakåt i bloggen) skämtteckningar på temat ontologier och information från myndigheter.

Från Att besegra Tyskland: Kunskapsdriven militär-innovation (2012-12-30).

Skatteverket är viktigt för demokrati och ekonomi (2012-08-17) men publicerad tidigare längre tillbaka.

Skämtteckning jag gjorde i samband med att jag skrev om Sveriges och United Kingdsoms samarbete runt open data vilket var samma dag som tågtrafiken stod still p.g.a. snö.

Och Konkret lösning på "the frame problem" öppnar dörren till den rationella världen (2012-12-30).