Visar inlägg med etikett Concept net. Visa alla inlägg
Visar inlägg med etikett Concept net. Visa alla inlägg

Från utredning till tillämpning i tre enkla steg efter inte mer än två års funderande

2013-09-30


Förståelse snart nog tillämpad i konsten att skriva pressmeddelanden (där förmågan vuxit till sig sista fem åren bland universiteten snart nog på nivå med kommersiell verksamhet i segment med större vana: Hunger efter Obama-pengar m.m. liknande har lyft dem allt högre i fantasifullt skapande):


"For instance, in an online review for a product, people may use cultural references, analogies and words with multiple meanings — such as “awesome” or “cool.” Humans, of course, can pick up on these linguistic tricks to decipher the overall meaning of the review, but software can’t."

Från: Bringing 'common sense' to text analytics | MIT

Givet etablerad kunskap sedan idag väldigt lång tid i det mesta teoretiska där vi haft i allt praktiskt förutom storlek och prestanda och möjlighet till att ta in och representera stora datamängder lösningar i nivå med vad vi ser idag bland de öppet publicerade (ex. Concetpnet, Yago, DBPedia) sedan 1990-talet. Och blickar vi bakåt i forskningen kan vi se samma koncept man idag oftare publicerar rörande mätningar m.m. runt algoritmer föreslagna eller genomförda av och till redan på 1960-talet på mer begränsat data (ex. i militär-forskning eller inköpta utredning senare publicerad öppet: en del exempel finns för den som letar bakåt här).


Idag är färdighet snarast när det ej som ex. går utanför det välkända det praktiska (ex. nära associerat vad i pressmeddelandet diskuterat Concept net) ligger i dess värde som filtrerad datakälla och orka hålla vettig tillväxt över tiden. Idag sedan ganska lång tid - kanske speglande blivande kommersialisering eller nedprioritet av universitet - hör det knappast till vad som är annat än bakgrundsinkludering du gör en gång vid behov utan att oroa dig för vilken version. Sista versionen var ju i huvudsakligen ett tydliggörande av hur stora datamängder som kommer från ett fåtal datakällor i sig ungefär det samma (ex. som i bilden nedan DBPedia) men med mycket av den kontextuella informationen tappa.


Filerna sorterade med de största överst. Den mer intresserad Concept net med övriga idag gamla trotjänare hittar mer om resp. sökande bakåt här eller användande taggarna längst ner. Normalt har jag ju om något lite osund naturlig preferens för att lyfta fram värden och positivt försöka peka på värde i saker och ting så det finns säkert diskuterat för dessa system (där inte något är särskilt bättre än annat rörande själva datat av de större) torde finnas diskuterade).

Vad vi ser ex. på i diskussionen nedan är den överhuvudtaget oavsett common sense lösning mycket vanliga rundgången i data. De tar gärna in relationer mellan koncept från varandra men för det normalt inte med något adderat värde. Förvirring notation, automatisk import m.m. är vad man ibland misstänker ger en del konstigheter även om jag inte vågar påstå att samma data via omvägar ibland återkommer till samma common sense system lätt defekt så att det nu kommer in på troligare felaktig plats. Spårbarhet är inte alltid etablerat enkelt om alls.



I år har jag med mindre förundran notterande det redan långt innan men med adderat en växande nöjdhet med mycket av gillande. En som i detta segment där vi har vad vi kan kalla över-konvergerande kommersialisering av ganska mycket väldigt lika ej särskilt annorlunda från vad vi har sedan länge kan ibland vara värde. Trötthet i finansiering och hur kompetens samlas kan göra det enklare för ett kompetensområde som i mycket varit stilla ganska länge i hur innovation (för att låna begrepp från MIT's utredning) realiseras när det handlar om nyare möjligheter. Fokus hamnar så lätt på paketering finansiering runt om egentligen samma sak eller egentligen samma fenomen hur det översätter till och skapar möjligheter när koncept närmare slutanvändare av typen surfare snarare än industriköpare tillämpar det.


Det gör känner jag åren som kommer lättare för oss att se vad nytt som kanske kommer genom en sund kontrast. Jämför med hur Microsofts kvalitetsproblem (jag blev uppriktigt förvånad när jag efter många år utan Microsoft's OS insåg att det OS som kom med min Laptop led av samma i vardagen dagligen irriterande problem kring ditt och datt) skapade utrymme för Linux (välkänt men vi kan se samma fenomen oavsett område och oavsett mellan flera uteslutande komersiella lösningar). Lämnar man smalare personliga intressen kanske man kan se en mer problematisk koppling mellan fenomenet som sådant bredare och den långsiktiga förmågan för USA att ekonomiskt orka bidra till världsekonomin som trots nuvarande problem ändå är normalt förväntat.

Att skapa svenskt värde för teknik-företag via särskilda internationella informationskanaler (fallstudie Technology Review)

2013-06-18

För svenska aktörer och inte minst mindre tekniskt kompetens drivna är kraft att kunna identifiera samarbetspartners av kvalitet internationellt kostnadseffektivt. Ett problem vi många gånger sett är ju att:


  • Dessa aktörer tappar tempo ut i världen. Jämför t.ex. med samtliga svenska produktutvecklande företag inom IT-säkerhet som jag tror samtliga jag recenserade eller skrev om åt IDG dom åren ca 2000 - 2007 - ett mindre urval också publicerade webben som särtryckt eller helgläsning hittas via Recenserade säkerhetsprodukter av Hans Husman på IDG - är antingen nedlagda i ambition (kanske kvarstående avstannat Sverige utan särskild marknadsutveckling alls i positiv-riktning eller sugits in också mycket mer avgränsat i svenska konsultleverantörer rörande ev. befintliga kunder) d.v.s. av om jag minns rätt åtta till 12 vid tiden ungefär jämförliga med liknande som klarat sig bättre ex. från asiatiska företag där nytta av ett större konglomerat givit kraft eller för jämförbara företag helt enkelt tror jag mer av lokalt tillgängligt i kunder och samarbetsparters aktuellt för en del amerikanska företag.
  • Åtgärder man initierar drivna av riskkapital eller via statliga satsningar är minst sagt kostsamma och mycket inriktade på att addera mantimmar. Det kan ha värde men man måste ju också inse att energieffektivitet oavsett mätetal är brutalt sämre jämfört med ett företag lokaliserat i ex. Kalifornien, Soul eller Tokyo. En månad behöver gissar jag inte motsvara mer än vad man kan ta ut på en dag arbetande väldigt fokuserat i direkt geo-närhet.

Enkla lösningar på det finns kanske inte. Att vara beredd att addera större värde för att kompensera är antagligen nödvändigt men behöver inte självklart vara ett problem lika lite som att en låg kronkurs nödvändigtvis stärker svensk innovation.


Förutom att försöka skapa infrastruktur och ramverk via de svenska aktörer som når utåt och de internationella företag med närhet lokalt är det troligt av stort värde att försöka nå ut via media-kanaler av vad vi här väljer att kalla särskild kvalitet.


Särskild kvalitet är mindre dina vanliga tidningar inriktade mot affärs- och teknikhändelser på lite ytligare nivå. Det värde de kan addera är ju konkurrerande mycket annat ofiltrerat d.v.s. kommer uttrycka samma bias mot vad du har i din närhet.


Särskild kvalitet ligger närmare kanaler som når särskilda intressanta målgrupper och där vi har dels en tydlig filtrering, förtroende för aktörer men samtidigt inte en allt för hög tröskel för att ta till sig informationen. Värde här kan dels vara primärt via kanalens normala läsare ex. för vårt fallexempel Technology review (MIT) deras tryckta utgåva tämligen välspridd både i USA, Europa och Asien (finns att handlaa i Sverige t.ex. pressbyrån t-centralen eller senast inhandlad på resa Berlin, Amsterdam och Londom på liknande försäljningsställen) och givetvis regelbundna läsare av webbutgåva.


Vi kan jämföra särskild kvalitet med den utmaning och investering som fodras för att etablera god maskinell-förståelse av naturligt språk och koncept i specialist områden som särskilda forskningsgrenar jämfört med de jämförbart trivialare standard-koncept för vanligt ej kunskaps-djupt språk.


Jämför vi webbutgåva Technology review med numera dominerande idé för IDG.se har vi kanske mindre visuell och funktionell resp. mängd ambition på Technology review men deras koncept genomgående ligger mycket närmare den helgläsning IDG förr publicerade med längre artiklar tagna från de tryckta tidningarna. Medan IDG just är kortare information om enskilda händelser relaterat företag. Lite av tidningsvärldens Twitter-koncept ganska vanligt bland teknik-tidningar.


IDG och liknande är givetvis kanaler av värde men man måste också inse att de är mycket mer av en mängd fråga. För att nå ut bra i det engelska språkområdet bedömer jag att 100 - 500 under en kortare till medellång period kombinerat med annan bearbetning krävs om vi rör oss bland entiteter med lite läsare och visst förtroende. Säg under tre till 12 månader. För att idéer i planering om antal prospekts till faktiska kunder och samarbetspartners mer troligt ska ha viss rimlighet för en eller ett par bra konkreta resultat.


Technology review har dock särskild kvalitet. Och här är den lugnare men djupare publiceringen av värde när vi når ut på den. En kvalitativ djupare artikel kommer märkas mot läsarna under lång tid.


Vårt fall vi kan använda som exempel är deras review av den svenska visuella datormiljön och simulator-plattformen - realiserat i ett dataspel - publicerad 14 juni 2013 och fortfarande stabilt på startsida och synligt lite varstans över hela nätutgåvan via menyer och pagination:



Det är dessutom ett bra avbrott till upplever jag sämre kvalitet på nyheter i engelska medier relaterade Sverige vi haft i försämrad trend ganska länge ett tag.


Poängen här är ju egentligen inte ev. värde för företag och skaparen Markus Persson utan möjligheten för andra företag att dra nytta av associationen i riktad bearbetning vad dessa kanaler når. I det kan vi när man utgår med vetskap kanalerna se en mer energieffektiv väg.


Också kan ju associationsvärde gå den andra vägen spontant givet befintlig synlighet. Men självklart gör man mer ger det mer och kanske endast då.


Också ofta mycket läsvärt med viss prioritering redaktionell kvalitet är Media.mit.edu. På Technology Review finns blogg The Physics arXiv Blog med aktuellt från mycket användbara Arxiv.org (Cornell University Library. Och ConceptNet (diskuterad flera gånger här men ej bland länkarna i listan nedan men för den som letar runt och är särskilt intresserad kunskapsrepresentationer, common sense m.m. finns en del att hitta).


Tidigare om eller relaterat Technology ReviewHans Husman om Media:


Farligt enkla argument i en politiskt oseriös värld törstande efter en till månad av lugn (2013-01-16)
Är Microsofts DataUp bättre eller sämre än verklighetens DataDown? (2013-02-22)

Higgs Boson: Myt eller Verklighet? (2012-07-11)
MIT:s komiska blogg överträffar sig själv (2012-03-07)
Marknad för dataförsäljning: Sociala Media, Infochimps och US vs Wikileaks i auktion (2012-07-13)

Kommer Google Wallet lyckas? (2011-05-27)
Quid söker innovation med datamining (2011-04-20)
Revolutionen i Egypten: Vad vi lär om kommunikation och samband (2011-05-03)

Att vattna ihjäl plantor och hundvalpar & Vad telefonkatalogen säger om medias framtid (2010-09-21)
Det är bra Youtube inte censurerar för mycket (2010-09-14)
Viralheat gör statistik över sociala media tillgängligt (2010-08-24)
Chuo University: Information till energi - Direkt (2010-10-01)

Relationen mellan USA och Kina, de asymmetriska hoten och Kinas framtid (2010-10-08)

Vad kategorier är: Från kulturell-likhet med Sverige i siffror till ConceptNet och Taggar

2012-11-04

Jag beslutade mig för att importera in delar av relationerna i Conceptnet 5 (MIT.edu) (föredömligt välorganiserat data jag verkligen rekommenderar som vettigt tidseffektivt) för att komplettera befintlig Common sense enklare genom tydligare dataforma än direkt från den ursprungskälla jag egentligen är intresserad av och som är en av de datakällor Conceptnet använt.


En stor befogad frågeställning oavsett om man är intresserad av analys av text och data i datorer, eller följer neurovetenskapens forskning med nära avbildning av hjärnans reaktioner för vad som bl.a. kan tolkas vara kategorier är vad kategorier egentligen är.


Jag erkänner inte kategorier i min modell vilket gjorde Conceptnet 5 intressantare eftersom MIT nu principiellt tycks ha övergett idéen om att relationstyper såväl som själva "symbolerna" ska beskrivas genom ett fast antal. Istället kan godtyckliga - vilket i stort antal redan skett - relationstyper införas: "conceptnet" site:conceptnet5.media.mit.edu/web/r/.


Frågan är då hur jag hellre vill tolka kategorier? Att se dem som något som bär egenskaper enligt hårda regler - liknande de exakta definitionerna filosofiska arbeten inom ontologi ofta uttrycker - stämmer dåligt med hur vi vet hur vi själva uttrycker kategorier i olika sammanhang. Närmare sanningen tror jag att vi kommer om vi utgår från hur människor i allmänhet ex. bloggande använder taggar.


Viktiga motiv för taggning är att organisera postningar för skribenten själv resp. läsaren där fördelningen mellan dessa två målsättningar kan variera ordentligt.
Gemensamt för dessa är dock inte att beskriva hårda regler för vad som inkluderas utan praktiskt organisera informationen.


Systemets som skapas den vägen kan självklart ofta över tiden bli svårhanterat rörande organisation men jag tolkar att det normalt inte endast är konsekvensen eller ens primärt av ett stort antal icke-logiska taggar utan snarare att skribenten eller läsaren inte sett en viss tagg i kontext av aktuella postningar en tid och att dess association till exempel på vad den är liksom att bara indikera att den finns inte enkelt presenterar sig när vi hade haft nytta av taggen för att hitta information.


Den problemställningen är dock ganska generell för allt data människan producerar mer eller utan mycket noggrant genomtänkta system och vad som mer allmänt kommer ner till ett problemområde bäst hanterat via sökmotorer. Det är helt enkelt normalt lättare och mer stabilt - inte otroligt bättre fungerande - att se problemet som givet bl.a. taggar men också annan information som vad som bättre blir löst kompletterat med en sökmotor än genom en mycket noggrant användarvänlig flexibelt-uttryckande kategorisystem. För denna att faktiskt utnyttja informationen från taggar / kategorier begränsas inte av att det ska vara aktuellt i sinnet på det sätt begränsade oss själva.


Detta sätt att se på kategorier ligger givetvis nära flera fenomen kända från psykologin rörande hur vi tenderar att associera.


En del av som ibland beskrivet konceptet kategorin man kan uppleva att detta inte förklarar är vår förmåga att bibehålla kunskap om vissa relationer starkt utan att det är aktuellt. Ex. kanske uppdelning herbivorer och carnivorer.


Emellertid gäller att inlärning kan ske också genom skapandet av över tiden mycket stabila relationer. Dessa behöver inte skapas genom ett långsiktigt realiserat rationellt värde d.v.s. utifrån att vi faktiskt behöver dem många gånger och därför slutligen lär oss dem stabilt. Utan de kan skapas genom kortsiktigt rationella motiv som "tvingar" fram motsvarande samma repetition för att uppnå något inom den närmaste tiden även om vi kanske aldrig får någon nytta av det. Sådan kunskap lär vi oss massor av medan vi går i skolan.


Något jag tycker värt att peka på allmänt kring common-sense lösningar oavsett ConceptNet eller något annat är att syftet rimligen ska vara att common-sense ska lösa problem och inte begränsa lösningar. Vad ordentligt med applikationer och exempel i olika sammanhang jag träffat på senaste åren missar på här är att de utgår från vad ex. relationer de har common-sense för i ett ramverk för att lösa ett problem där de egentligen inte hade behövt common-sense på den nivån. Problemet med det är att common-sense kan vara ganska dyrt och kräver man mer common-sense än lösningen fodrar reducerar man kvaliteten på svaret man får därför att mindre data utnyttjas än optimalt.


Jag ser det ex. inte som ett problem att jag samlat med lösningar skapat själv från Wikipedia resp. , och m.m. endast kan förklara annat än statistiskt rörande förekomst inom olika ämnesområden eller statistiska samband av typen P ( koncept A givet koncept B) via common-sense kanske 1/3 av relationerna i Blue Light.


I fler algoritmer fodras inte den dyrare formen av common-sense och hade jag trots det krävt den hade beräkningarna konkret blivit sämre. Särskilt blir de sämre i komplexa områden relaterat avancerade forskningsområden därför där är det oerhört mycket svårare att arbeta med common-sense koncept som is-a m.m.


Följande är ett relaterat exempel på det jag tog från ett förarbete till en kravspecifikation relaterat import bl.a. avseende delar av ConceptNet där delar av ett exempel för att illustrera värdet mer data ger illustreras. Värdena för similarity ligger i [0,1] och kan via vikter som sannolikheter i olika domäner rörande association mellan subjekten för relationerna och själva symbolen översättas till statistisk-betydelse i verkligheten. Jag gillar att man från similarity skattningar kan beräkna vad det innebär i faktiska förekomster av något eller en kombination av symboler. Det gör både tillämpning och quality assurance via prediktion så mycket enklare.


Fint illustrerat av hur kulturellt lika följande entiteter är med kulturen Sweden, Stockholm, Science och Baltic Sea. Att sätta i relation till de direkt skumma numeriska värden Concept net levererar för similarity eller beliefs skattningarna Nelly gör.


Symbol Släktskap Släktskap * ( 1 - BLI(Symbol) )
Sweden 0.716049948945941 0.608697891756309
Stockholm 0.716049948945941 0.704932249476218
Germany 0.370120714497302 0.214885518837722
Berlin 0.368597504473908 0.342686280662257
France 0.325635056508147 0.165064851302575
Paris 0.0752668916621714 0.0719148209666794
Norway 0.495348298417664 0.450315166272826
Oslo 0.432085221561181 0.427508580630474
Finland 0.480617438065445 0.440658620447361
Japan 0.204524199218353 0.113410257317182
London 0.327376396031508 0.215881461422828

Antar vi att vi inte betraktat relationstyper och jämförande kulturella symbol-markers som självorganiserande givet statistiska vikter i similarity operationerna och istället satt stort fokus på relationerna vi direkt förstår att resonera om i den mening att vi beskrivit dem i en särskild domän snarare än att bara beskrivit dem hade similarity värdet särskilt för Norge blivit abnormt lågt jämfört med Tyskland genom att Tyskland tillskillnad från Norge är direkt relations-kopplat Baltic Sea förutom Sverige.


Det räcker inte bara att kunna beskriva relationer ens i tillräcklig mängd. Att tillämpa dem istället för att jämföra direkt självorganiserat från vad kulturhistorien givit i avtryck förutsätter att de också konkret klarar att värdera vilka relationer som är meningsfulla. Här slipper vi det. Norge giviet dess närmare historia till Sverige än Tyskland, och Tysklands närmare än t.ex. Frankrike och England ges naturligt.


Vore Baltic Sea itället det primära hade det enklare styrts i vad vi definierar kulturen med med symboler fler i Baltic Sea än som här med en kraftig country symbol och dess huvudstad och ett hav, där vikten mellan dem självorganiseras till att sätta landet i fokus med övrigt som aspekter på det där släktskap också med dessa eller dessa och ej uttryckt för landet ökar likhet.


Det enda problem som funnits exemplifieras mellan Berlin och Tyskland vilket för en del varianter av algoritmen kan upplevas givit för högt värde på Berlin relativt Tyskland inte bara relaterat underliggande data.


I princip tycks det rimligt att Tyskland har större likhet än Berlin. Accepterar vi konceptet att similarity alltid är relativt också vad vi ej ser likhet med kan givetvis Berlin vara mer besläktat. Avvägningen mellan det som givit i data ovan uttrycker mycket mindre av detta som standard vilket gör att den sista kolumnen infört för att normalisera storleken på symbolen vi jämför med och därmed hur troligt den uttrycker likhet oavsett olika relationer inte behöver användas.