Berkeley DB i Perl

2013-05-31

Väldigt nöjd med hur Berkeley DB när byggd fungerat via DB FILE i Perl. En verklig välsignelse att inte behöva sitta och vänta för varje debug-körning flera minuter och indirekt p.g.a. ibland skjutande på integration av delar.


Vad som förvånande och oroar mig lätt var att bygga DB-filen för inte mer än cirka 350 - 450 MB common sense jag lät den referera på enklaste möjliga sätt som sträng utifrån första CSV-fältet (och sätter resp. struktur korrekt under körning första gången efterfrågad) tog flera timmar. Överdrivet duktig på att frysa via file access övriga processer att komma åt aktuella partitioner och föga påverkad av nice-level på det.


Det oroande är att jag vill ha samma lösning för allt sådant här där den största datastrukturen är för similarity-operationer. Där är det även för få entiteter efterfrågade tydligt långsamt att göra operationer så datarepresentation av färdig-beräknade värden är mycket trevligt oavsett situation. Samtidigt tror jag att den totala mängden färdigberäknade värden ligger på över 100 GB. Lösningen har redan idag en handbyggd lösning som läser en in uppdelade "mindre" filer och vid behov enligt konfiguration också avlägsnar dem hur minnet för att hindra hela datorn att kräva kallstart.


Egentligen tycker jag att det är underligt att den behöver så pass enorm tid för att bygga databas-filerna. Jag spekulerar att diverse databas-optimeringar relativt anrop hanteras jag egentligen saknar behov av och inte brytt mig om att notera.


Det blir gissar jag nödvändigt att sätta något meta ovanpå Berkeley DB i sig för similarity om det alls ska klara att ta sig igenom similarity datat på mindre tid än normala boot-perioder på några veckor. Uppdelat per första tre bokstäver (varande minsta orden jag accepterad utanför den semantiska parsern d.v.s. avseende koncept i Blue light eller common sense) bör kanske ge rimligt stora filer. Eller förhoppningsvis over-kill jag inte behöver göra (varande något jag önskade slippa med Berkeley DB för att slippa lära mig något färdigt och när det fungerar sunkigt skriva det själv) hasha begreppen ovanpå och reducera till mindre underrum - ett par fil med koncept (krävs det är man ju i princip upplever jag där man lika gärna kan koda det hela själv eller använda den befintliga similarity-cashe-lösningen).


Ett mer generellt tänk jag med mer faktisk erfarenhet i LDAP och X.500 än i SQL (jag kan oerhört lite SQL) är att låta naming motsvara hur vi adresserar koncepten där ett mellan-lager kan hantera vad som är aspekter av koncept resp. är ett koncept adresserat strukturerat enligt en ordning. Men praktiskt tror jag väldigt opraktiskt med mindre än att 99.99% av allt är fryst.


Rörande det licens-tekniska ska noteras att man åtminstone utanför debug-användning troligt bäst licenser kommersiellt från Oracle.

Att visualisera en situation utanför det direkt spatiella rummet

Konceptuella skisser från exemplet är givetvis potenta som utgångspunkt inför förstärkta budskap:


Oväntad emergence i aktions-relaterade händelser
Att styra läsarens tolkning dit önskat med två bilder istället för en
Affisch-budskapet: Fånga uppmärksamet (blodig säl), låt smärtan kännas (barnen sticker de döende sälungarna med pinnar), etablera hind-sight bias-slutsats (fabriken mass-mördar) och sätt primacy effect till "AGERA! AGERA ÄR COOLT!"
Kraftdans
Kraftdans: Rond II


Av likartade orsaker till varför det är potent i inverkan när realiserat längre än som skiss kan vi se ett värde för att beskriva en sammanfattning av en större mängd text - kanske från olika källor - som del av den situationsbeskrivning vår AI skapar.


Särskilt skisser i affisch-budskapet och Att styra läsarens tolkning dit önskat med två bilder tror jag är bra exempel på vad jag menar.


Framförallt ligger det en viss elegans i hur det kan visa en mängd komponenter beroende av varandra förvisso förenklat men istället samlat tydligt. Praktiskt om vi väljer att arbeta med natural language parsing av nyheter eller andra meddelanden om världen föreligger föga prestanda eller minnes kostnad för sådant här. Under förutsättning att vi inte tänker oss högre kvalitet än i nivå på streck-gubbar med schematiska saker i (ex. jätte fingret pekande adderat som bild på streck-gubben) och runt om.

Primacy effect som funktion av hindsight bias och hindsight bias som tolkning av flera sidors information

Sista ex. på mekanismen i teori med ett antal tillämpningar innan diskuterad i:


Oväntad emergence i aktions-relaterade händelser
Att styra läsarens tolkning dit önskat med två bilder istället för en
Affisch-budskapet: Fånga uppmärksamet (blodig säl), låt smärtan kännas (barnen sticker de döende sälungarna med pinnar), etablera hind-sight bias-slutsats (fabriken mass-mördar) och sätt primacy effect till "AGERA! AGERA ÄR COOLT!"

Kraftdans
Kraftdans: Rond II
Under pressure: Kraftdans III


Försökte jag nedan illustrera för att indikera betydelsen utifrån detta att vinna tolkningen - oavsett sida - av vad förklaringen är till händelsen i mitten. Denna kommer i sin tur styra primacy effect och om vi ännu inte nått den punkt händelsen i mitten syftar till är primacy effect kritiskt givet att denna styr förväntan om värdet och vad vad händelsen tillsammans med vad som skapat den kommer leda till.


Klicka för att förstora

Praktiskt oavsett krigspropaganda, information från olika humanitära-, miljö-organisationer m.m., revolutionära rörelser, politiska intressegrupper, partier m.m. underpresterar man detta kraftigt ofta totalt när man är aktören i mitten medan alla oavsett sammanhang och vad vi har tycks ha lättare (implicit tror jag "försvarande" argumenterande där effekten skapas som konsekvens av det snarare än syftande till primacy effect) att hantera när vi istället är aktören som händelsen i mitten syftar till att kritisera.


Det är viktigt att tänka igenom vad budskapet säger om vad som föranlett det och vad den resulterande bilden just nu indikerar om förutsättning till förändring i framtiden. Optimalt - väldigt svårt att uppnå givetvis - är känslan av den totala vågen omöjlig att stoppa som hela tiden sveper fram från målet.