Följande färska artiklar:
- When Are Tree Structures Necessary for Deep Learning of Representations? Jiwei Li, Dan Jurafsky1 och Eduard Hovy
- Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks Kai Sheng Tai, Richard Socher och Christopher D. Manning.
Indikerar området är trädstrukturerna i parsning kan addera värde. Och utmärkt kompletterande tidigare:
Sedan kan man med utgångs punkt av följande citat från Compositional Distributional Semantics with Long Short Term Memory som mer eller mindre passande för att uttrycka min tanke:
"Long Short-Term Memory The main idea of the LSTM architecture is to maintain a memory of all inputs the hidden layer received over time, by adding up all (gated) inputs to the hidden layer through time to a memory cell. In this way, errors propagated back through time do not vanish and even inputs received a very long time ago are still (approximately) preserved and can play a role in computing the output of the network (see the il- lustration in Graves (2012, Chapter 4))."
Att om man inte utnyttjar trädet redan för något jämförbart krävande varför skulle man tidigare ha gjort det? Givet kostnaden att ta fram det får man ju se till att värdet man får ut betalar det. Vad gjorde man det förr för? Jag minns inte från grundskolans historia och är inte alltid säker på vad jag själv alltid gjort dem för heller.
En av mina datorer står för en idé jag ej är säker på kommer ge mig något och gör POS-taggning av Google 5-gram. Med en förenklad / snabb tagger med viss likhet Brill (men lite enklare och lite snabbare). Jag kan inte säga att jag är direkt 100% säker efter haft ett fåtal trådar (därför samma dator gör annat) säg mellan 3 - 7 lite varierat över tiden ett par dagar att jag låter det arbeta klart med mindre än mer än bra värde (och bra för värde för något jag tar fram det för att pröva är i sig kanske inte mer troligt än inget värde). Därför POS-taggningen tar tid.
Givetvis hade jag kunnat gjort ett träd också så har man det klart för all framtid när man kanske behöver mer trots att jag ser ingen mening med det alls nu. Emellertid vet jag inte när i tiden det skulle gå klart på nuvarande dator. Långt in i framtiden. Mest optimalt hade väl varit att de som kan det området bäst hade gjort parsning med träd samtidigt när de körde bok-datat på Yahoo-grid:en. Jag tror ju lite mer allmänt att Stanford har massor av fint tänk kring allt möjligt som kvantifiering m.m. även om jag själv kanske inte primärt riktigt skulle välja algoritmer riktigt av den typen p.g.a. mer begränsad hårdvara: Mer tror jag att Stanford ska försöka intressera Google kring deras data-hjärn-projekt kring det där. Verkar vara lite i deras område och passar kan jag gissa mer allmänt hur de är beredda att investera i hårdvara.
Ibland är ett perspektiv bättre och ibland sämre. Väljer jag något sämre kommer det när de görs medvetet med att man vinner något annat som prestanda. Andra gånger får man både bättre värde och snabbare prestanda: Därför att algoritmer är bättre eller av och till därför att vissa möjligheter egentligen större tenderar att komma med kostnader när de utvecklas p.g.a. högre komplexitet som gör att man inte alltid görligt kan resultera dem på optimal nivå och ofta nog inte ens på nivå med enklare varianter.
Ibland roar det mig att emulera min natur ej tillbaka i det stabilt cyniska som om det egentligen engagerar mig här. Mer att det skulle engagera mig i visst positivt nöje om än kortvarigt om Stanford faktiskt hade förberedande för long term short memory hade byggt träden eller lika gärna mer påkostad pos-taggning (eller på nivå med min lika positivt) för 5-gram när de körde dem på Yahoo-träd:en (visst var det via Stanford?). Sedan ca två är jag dock ytterst kallt och effektivt utvecklande där varje förekomst på internet som ej korrekt bidrar positivt till detta är vad jag ogillar var gång det slösar min tid oavsett om det är genom journal-hus som indexeras sidor kallade PDF som sedan ej är tillgängliga eller norm-data jag vill test-köra annat mot svår-tillgängligt. Den goda förekomsten på internet bidrar konstruktivt till att skapa kreativa värden för världen och jag kan inte se att något jag personligt utan att - mycket inkorrekt - tids-kostnad med tveksamt-värde introduceras än mina möjligheter att skapa konkreta värden vidare från det.
Också när norm-datat eller vad det nu är i all intellektuell-förståelse har 0 och inget värde för mig. Utan mer är för emotionell optimering verkande tillbaka på det kognitiva skapandet. En form av process återkommande när något frysts eller förändras vikt-relaterat där jag jämför även när föga finns att jämföra med tillgängligt och jag redan vet innan att det är poänglöst därför att det fungerar som det ska och det ända det gör är att jag hittar en massa fel i datat tänkt att ta ut fel hos mig. Mycket naturligt givetvis för vad som normalt för sådant här är många generationer från först skapat medan det mesta som går att hitta när jämförbart antingen är litet eller motsvarande en eller ett par generationer relaterade någon artikel eller liknande.
Och det är väl vad jag gjort några dagar faktiskt. Bl.a. normaliserande upp 15 000 EPA i Osgood mening som i jämförelse tillför föga. Jag visste att där subjekt ej är få skulle det stämma väl innanför ungefärliga segment i rummet. Men något emotionellt värde tillkom ändå på något sätt. Jag som görs återkommande trots att en hårddisk-kostnad i diverse publicerat över åren bakåt man tagit ner när så varit aktuellt för sådant här snarare än ett mer direkt konkret behov skapande finns och ej längre som det brukar vara helt försumbart med annat: Faktiskt har jag flyttat strukturer tre gånger i år trots att den knappast är just mer än något över 300 GB. Senast i dagarna för att få upp hyggligt ofragmenterat och ej senare-panik-hanterat utrymme för att POS-tagga Google 5-gram.
Sådan är den emotionellt kalla business-optimerande hjärnan här. För emulera lite emotionellt engagemang och uttryckt runt parser-träd för att ej verka omänsklig här på bloggen. Potence snarare än Impotence som en av Osgood's tre-faktorer förr normalt alltid kallades medan den långt senare faktiskt mer sällan i nya ramverk som tar fram faktiska värden kallas så. Osäker varför ex. Dominance skulle vara bättre än Potence? Det tidiga nyskapande arbetet är väl just potent i en verklig mening där den första preferensen kanske faller sig naturlig medan för allt senare kan värdering i de finare detaljerna prioriteras särskilt när som här grund-konceptet är så välkänt där man börjar som görligt.
Strong vs Weak, Power vs Submissive, har förekommit också men tycker jag är olämpliga i vad man kan få för sig att det indikerar kontra den faktiskt reducerade dimensionen. Stanford känns här som principiellt återkommande kring mycket runt NLM asserting themself: Mycket artiklar, böcker, delat data, program m.m. Ockuperar upp utrymme i alla rymder i området i och utanför universiteten medan mer submissive aktörer likt MIT krymper i vad man märker av dem. Det är säkert sunt och lär nog i alla fall fungera minst lika bra med dom kvinnliga forskarna på fortfarande vanligare kanske i dom mer humanistiska delarna av språkvetenskapen.
I all verklighet reducerar de emellertid av allt jag kan se väl till en samlad med aktivitet. Det behöver ej vara fel att se impotens som avsaknad av potentiell aktivitet och potens som faktisk potentiell aktivitet. Där vilket som ofta nog naturligt ändå behöver ses som vad vi tar i kontext bl.a. styrt av grammatiken. Och jag kan se mycket (mer än litet) publicerat sista åren här nyligen kring att ta ut polaritet varken bättre eller sämre än algoritmer vi såg presenterande under 1960-talet om än ej riktigt vad jag själv skulle välja bra nog men löst problem verkligen (åtminstone idag när de ej förutsätter att du skapar hålkort också inför den grammatiska parsningen).
