Mi spiego … profilando un po l’interprete, mi è parso evidente che una delle funzioni che veniva richiamata più spesso durante l’esecuzione di uno script, come è facile immaginare, è quella per il look up delle variabili in memoria.

In pratica è la funzione che, dato il nome di una variabile (quindi una chiave), deve trovare l’oggetto associato all’interno del’array associativo che rappresenta la memoria virtuale di Hybris .

Così ho pensato a come ottimizzare l’algoritmo di ricerca, che prima si limitava a scorrere l’array contemporaneamente dall’inizio verso la fine e dalla fine verso l’inizio (in realtà un espediente abbastanza inutile quando ci sono poche variabili, ma quando sono molte si fa sentire) e ho capito che mi conveniva utilizzare una hash table .

Questo tipo di struttura è tanto efficiente quanto difficile da realizzare e, pensando che avrei impiegato giorni, se non settimane, per buttare giù un implementazione ottimizzata al massimo, mi son messo a cercare online se ne esistevano già di pronte e soprattutto di facilmente integrabili con quanto scritto fin’ora .

E che ti vado a scoprire?

Scopro che gli ingegneri di Google Inc., in particolare il Sig. Craig Silverstein, hanno realizzato un implementazione open source di hash table e hash map denominate “Google Sparse Hash“, implementazioni che si dividono in due interfacce C++, una ottimizzata per il consumo della memoria ed un altra per l’elaborazione (quella che interessava a me), e una libreria C ma portabile anche per il C++ sempre configurabile per i due comportamenti .

Decido di sfruttare la libreria C poichè l’approccio procedurale risulta più facilmente integrabile nell’interprete di Hybris e così mi metto a testarla.

Son rimasto così —–> O____O

Con chiavi di tipo stringa, su 10.000.000 di record, ci mette appena un nano secondo per effettuare una ricerca e restituire un puntatore al valore mappato, ancora di meno con qualche ulteriore ottimizzazione che ho fatto io e la giusta combinazione delle direttive di pre compilazione.

Li per li, oltre allo stupore ed all’immenso rispetto per l’autore, ho avuto qualche dubbio per quanto concerne la licenza dei sorgenti e la relativa compatibilità della licenza GPL 3 di Hybris .

La licenza della libreria di Google riporta :

/* Copyright (c) 1998 – 2005, Google Inc.
* All rights reserved.
*
* Redistribution and use in source and binary forms, with or without
* modification, are permitted provided that the following conditions are
* met:
*
* * Redistributions of source code must retain the above copyright
* notice, this list of conditions and the following disclaimer.
* * Redistributions in binary form must reproduce the above
* copyright notice, this list of conditions and the following disclaimer
* in the documentation and/or other materials provided with the
* distribution.
* * Neither the name of Google Inc. nor the names of its
* contributors may be used to endorse or promote products derived from
* this software without specific prior written permission.
*
* THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
* “AS IS” AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
* LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
* A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
* OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
* SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
* LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
* DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
* THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
* (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
* OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
*/

In pratica significa :

“Fateci quello che vi pare, basta che riportiate questo disclaimer e non utilizziate il marchio Google Inc per pubblicizzare un vostro prodotto.”

Ok mi dico, da “questo lato” la cosa sembra decisamente elastica … poi però mi son ricordato che la GPL 3 ha delle restrizioni molto severe per quanto riguarda la distribuzione di codice di terze parti con licenze diverse dalla GPL stessa, ed è proprio questo il caso dato che la licenza della libreria di Google NON è GPL .

Viene in mio aiuto il buon merlok, che mi pasta su messenger un passaggio della GPL 3 che riporta :

If you found some code and wanted to incorporate it into a GPLed project, GPLv2 said that the license on the other code was not allowed to have any restrictions that were not already in GPLv2. As long as that was the case, we said the license was GPL-compatible.

However, some licenses had requirements that weren’t really restrictive, because they were so easy to comply with. For example, some licenses say that they don’t give you permission to use certain trademarks. That’s not really an additional restriction: if that clause wasn’t there, you still wouldn’t have permission to use the trademark. We always said those licenses were compatible with GPLv2, too.

E’ proprio questo il mio caso! Una licenza diversa dalla GPL, ma estremamente permissiva tranne per la questione dell’utilizzo del marchio registrato, quindi anche su questo fronte no problem.

Ebbene, dopo qualche ora di coding per l’integrazione di questa libreria nella classe Map e qualche ottimizzazione qua e la, Hybris è arrivato ad un guadagno netto di più del 20% sui tempi di elaborazione .

Purtroppo ci sono alcuni limiti che non mi consentono di eliminare del tutto il vecchio comportamento della classe Map, poichè oltre ad un associazione [chiave -> valore] utilizza anche altre associazioni [indice -> chiave], [chiave -> indice] e così via che non sono gestibili dalla hash table, tutta via sono fiducioso che in futuro, magari entro il rilascio (che è vicinissimo) della 1.0, troverò il metodo per risolvere o quanto meno aggirare questo problema.

Che dire, grazie Google ma soprattutto grazie Craig Silverstein !

Related posts:

1. Google : 0, Io : 1
2. Come hackerare Google e rimanere indisturbato per un anno.
3. Gestione “Smart” Della Memoria In Hybris : Parte II .

Nell’articolo avevo anche detto che questo sistema, nonostante avesse il vantaggio di diminuire drasticamente l’utilizzo della memoria durante l’esecuzione di uno script, aveva lo svantaggio di diminuire anche le prestazioni complessive dato com’era strutturato l’algoritmo per determinare se un dato oggetto era deallocabile durante l’esecuzione dello script stesso, algoritmo che effettuava diversi controlli, tra i quali due loop (quelli che rappresentavano maggiormente il collo di bottiglia) sul frame della funzione chiamante e su quello della memoria principale.

Ebbene, sono un coglione XD .

Si avete letto bene, sono un coglione perchè avevo strutturato l’algoritmo ragionando “a posteriori” senza pensare che prevenendo questo controllo si poteva risolvere il problema ed aumentare anche le prestazioni rispetto a prima .

Quello che intendo è che nella classe Object, ho inserito una bitmask chiamata “attributes” che, come suggerisce il nome stesso, rappresenta gli attributi di quell’oggetto in particolare, ovvero se è un alias, una costante e soprattutto se è deallocabile .

Quest’ultimo flag in particolare, viene impostato alla creazione dell’oggetto a 1, quindi nello stato iniziale qualunque oggetto è de allocabile, successivamente, resetto il flag se e solo se si verificano le condizioni di non deallocabilità immediata, cioè se :

1. L’oggetto viene definito in un qualunque frame (sia di una funzione che quello principale) come variabile .
2. L’oggetto è una costante .

Quindi, impostando questo flag nella maschera binaria solo quando serve, al processo di garbage collection basta controllare a posteriori se sono impostati o meno i flag giusti per determinare se è possibile deallocare l’oggetto, eliminando così il problema dei due loop e del controllo complesso che prima rallentava di parecchio l’esecuzione di uno script.

Insomma come dire, a volte basta ragionare in modo “speculare” a come si ragiona in partenza per risolvere un problema

Nota: Quando parlo di calo di prestazioni significante, mi riferisco comunque a rallentamenti nell’ordine di millisecondi in algoritmi molto complessi che, per motivi di test, sono strutturati appositamente per allocare molta memoria e “stressare” l’interprete . In realtà, in programmi “normali” che non richiedono chissà quale elaborazione avanzata, la differenza non si nota nemmeno .

Related posts:

1. Gestione “smart” della memoria in Hybris .
2. Hybris : Rivoluzionato il sistema di gestione dei tipi ed il garbage collector.
3. Hybris memory lookup, now Google powered!!!

Così è nato Kerby, per ora è poco quello che fa (ho appena eseguito il primo commit su github), mostra semplicemente la percentuale di movimento che il software rileva dalla webcam, ma presto diventerà qualcosa di molto + utile

Pagina del progetto

Related posts:

1. V4L e WebCam – Esempio di implementazione
2. Ed infine arrivò la Alix
3. Nuovo equipaggiamento per la Alix

Eigetron è un sistema di riconoscimento facciale completamente scritto da zero che utilizza l’algoritmo delle facce di Eigen per un matching abbastanza preciso rispetto ad un database precedentemente calcolato . Per la decomposizione degli eigenvalues e eigenvectors ho utilizzato l’algoritmo di Jacobi che rende la procedura, su matrici simmetriche, molto molto veloce .

Pagina del progetto su github

Related posts:

1. Pubblicato BioIdentify
2. Eigen Fast Decomposition : Work in progress :D
3. Adotta un hacker ! :D

BioIdentify (o bioid) è un applicazione da riga di comando che consente di estrarre le features dalle impronte digitali e salvarle in un file “BIR” (Biometric Identification Record), eseguire matching tra due impronte o identificare il padrone di un impronta all’interno di un database di BIRs precedentemente elaborato dall’applicazione stessa .

C’è ancora un bel po da fare, non tanto nella fase di estrazione che si può dire pressochè completa (a parte qualche accorgimento qua e la che devo fare), ma più che altro nella parte di matching, che ha una precisione di circa l’88% (meglio alzarla no ? ^^) e nell’efficienza complessiva .

Pagina github del progetto

Related posts:

1. Pubblicato Eigetron
2. Eigen Fast Decomposition : Work in progress :D
3. iPhone Hacking with Pirni (aggiornamento !)

Un certo Nicolas Capens aveva realizzato una libreria scritta in C++ in grado di assemblare a runtime del codice assembly dentro un buffer che può essere chiamato come funzione, supportando l’intero instruction set x86 sia a 32bit che a 64bit .

Cercando i sorgenti di questa favolosa libreria ho scoperto la brutta storia che c’era dietro … una nota società, trovando nella rete questo proggetto, ha offerto al nostro Nicolas un sacco di soldi per tenerlo “privato” ed implementare le successive release all’interno del loro software shader … Nicolas ovviamente ha accettato e da quel momento ha rimosso il progetto da SourceForge … fortunatamente sono riuscito a reperire i sorgenti dell’ultima versione open di SoftWire e a dargli una sistemata per aggiornarlo agli standard attuali (si tratta di un proggetto scritto parecchi anni fa) … proverò, per quanto mi è possibile, a portare avanti io stesso SoftWire libero, dato che avendo prelevato una release coperta da GPL posso farlo, perchè ?

Perchè mi sono rotto i coglioni di vedere i migliori motori di rendering 3D scritti per Windows mentre il mio OS preferito viene snobbato dalle grandi società !!!

Eccovi il link di github per seguire le evoluzioni http://github.com/evilsocket/SoftWire/tree/master .

PS: Se qualcuno volesse collaborare è + che benvenuto data la complessità del sistema

Related posts:

1. Geode
2. Shellcode Generator

Sono sicuro al 100% che esiste già un tool che faccia queste cose, ma a me piace scrivermi da solo i miei strumenti, così sta nascendo TED, acronimo (un po incasinato a dire il vero) di neTwork Event Daemon .

Il demone che è sempre in esecuzione in background, controlla per l’appunto la presenza di nuovi pc che si connettono sulla sua rete così come i tentativi di connessione dall’esterno, loggando il tutto su dei file di testo ordinati per data e mostrando un comodo box di notifica in basso a destra nello schermo tramite libnotify (tra l’altro molto figa, nn pensavo ) .

Eccovi uno screenshot della primissima versione (ancora non è proprio pronta per il “grande pubblico” ma lo sarà presto)

Ed eccovi l’url di git hub per seguire le evoluzioni e scaricare il sorgente http://github.com/evilsocket/TED/tree/master .

No related posts.

Scanner dell’impronta digitale, della retina, rilevatori di movimento … tutti questi concetti fanno parte della biometria .

Più volte mi sono trovato a dover implementare diversi algoritmi in proposito, anche molto complessi, per poi archiviare il pezzo di codice e lasciarlo li come un piccolo file a se stante .

Così ho pensato di scrivere un unica grande classe C++ che racchiudesse la maggiorparte degli algoritmi biometrici o cmq dell’analisi digitale dei segnali, rappresentando l’oggetto principale come uno spazio N-dimensionale a discrezione di colui che usa la libreria .

In questa classe template, oltre alle normali operazioni matriciali/vettoriali, ho implementato tra i tanti i seguenti algoritmi :

• Applicazione di maschere di sottrazione o addizione .
• Caricamento e salvataggio sia di matrici “raw” che di qualsiasi formato immagine .
• Redimensionamento adattivo e/o selettivo .
• Filtering passa basso e passa alto .
• Filtering della maschera di orientamento .
• Operatore di Gabor .
• Calcolo dell’entropia .
• Rilevatore di bordi tramite algoritmo di Prewitt .
• Thinning tramite l’algoritmo Hit-and-miss .
• Calcolo della mappa delle frequenze e dell’istogramma associato allo spettro dei colori .
• Blurring e softening .
• Dilatazione matriciale .
• Erosione matriciale .
• Media, variazione, etc .
• Binarizzazione e normalizzazione della matrice .
• Trasposizione della matrice .
• Integralizzazione della matrice .
• Calcolo delle “features” di un impronta digitale .

La classe, contenuta in un unico file .hpp, è totalmente documentata seguendo lo standard doxy così da poter essere facilmente implementabile .

Scarica msp.hpp

Inoltre vi fornisco tre programmi di esempio, tanto per farvi capire le potenzialità di questa classe .

1. Creazione di una rete neurale a perceptron e relativa fase di training su un pattern noto .
2. Acquisizione video da una webcam e sensore di movimento nell’inquadratura .
3. Calcolo delle features di un impronta digitale e preparazione al matching con un database noto .

Spero che vi piaccia

Related posts:

1. Redis client library for Hybris
2. Estrazione delle features dalle impronte digitali
3. Neural Network

Scarica

Related posts:

1. C/C++ Function Pointers
2. Estrazione delle features dalle impronte digitali

Scarica

Related posts:

1. StackHack
2. C/C++ Code Optimization
3. Estrazione delle features dalle impronte digitali