Apt-build: ottimizzazione dei pacchetti: differenze tra le versioni

Da Guide@Debianizzati.Org.
Vai alla navigazione Vai alla ricerca
m (→‎Opzioni: errore nella formattazione)
Riga 1: Riga 1:
==Introduzione==
==Introduzione==
Apt-file un potente motore di ricerca in grado di indicare a quale pacchetto appartiene un determinato file... sembra una cosa da poco, ma non sempre cos... soprattutto quando si ha a che fare con le compilazioni da sorgenti.


Come tutti sanno, o avranno notato, Debian è compilata con opzioni di compilazione generiche, pensate per processori i386.
Questa scelta è stata fatta per questioni di stabilità, a quanto ho trovato sulla rete.
Per chi vuole sfruttare a fondo la propria macchina, e consigliata una ricompilazione con le ottimizzazioni relative al proprio processore, così da poter sfruttare fino in fondo tutte le innovazioni introdotte in questi anni, ma prima di affrontare questo argomento, però, vorrei fare alcune precisazioni...
Innanzitutto, non tutti i programmi diventeranno più veloci: esisteranno sempre i 'colli di bottiglia', come la velocità di lettura degli Hard Disk, etc; quindi i programmi che ne trarranno giovamento maggiore saranno quelli che abusano di operazioni matematiche, e che stressano il processore...


==Installazione==
==Installazione==
Niente di pi� semplice, ovviamente
 
Ovviamente, trattandosi di Debian, è sufficiente dare un semplice:
<pre>
<pre>
# apt-get install apt-file
# apt-get install apt-build
</pre>
</pre>
Mentre il pacchetto viene scaricato insieme alle sue dipendenze, vi invito a fare una visitina a Debtoo, un interessante progetto per dare a Debian strumenti utili per la compilazione dei pacchetti...
L'indirizzo è http://www.debtoo.org/ .
Analizziamo le domande del processo di configurazione che viene lanciato durante l'installazione:
'''Where should apt-build download and build packages?'''
La scelta di default va più che bene...assicuratevi però di avere un po' di spazio (4-5Gb sarebbero comodi), in quanto la compilazione ne richiede tanto, ed i sorgenti già processati non vengono rimossi automaticamente.
'''Where must apt-build store built packages?'''
Qui siamo liberi di fare quello che vogliamo: apt-build, una volta terminata la compilazione, creerà il pacchetto debian ottimizzato per la nostra macchina. Qui dobbiamo indicare dove metterli...




==Configurazione==
'''These are equivalent to -O1, -O2 and -O3. Optimization level is time dependant - in fact, the more you want to optimize your build the more time will be necessary for compiling but the faster your programs will be. Warning: Strong optimization may lead to stability problems. Which optimization level do you want?'''


Non necessita di modifiche...
Le scelte che mi sento di consigliare sono due: Medium per una ottimizzazione media.... Strong per una ottimizzazione avanzata (attenzione: più è alto il livello di ottimizzazione, più tempo impiega il processo...come è indicato nel testo della domanda.
Nel file sono presenti due sezioni:
 
# dove collocare i file archivio e come rinominarli (all'interno del file � presente uno specchietto riassuntivo delle variabili utilizzabili...
 
# le sintassi dei comandi utilizzati per scaricare i file.
'''Add apt-build repository to sources.list?'''
Queste direttive, salvo casi particolari, non necessitano di modifiche.
 
Rispondendo 'Si' aggiungeremo al nostro sources.list una riga indicante il repository che viene creato da apt-build (la seconda domanda che ci è stata posta durante il processo di configurazione)
 
 
'''Which options would you like to add to gcc?'''
 
Qui possiamo passare delle opzioni aggiuntive a gcc... Eccone alcune:
-jX X indica il numero di compilazioni parallele consentite
-pipe Riduce l'accesso al disco (velocizzando l'operazione) utilizzando il pipe (|) invece dei file temporanei
 
 
'''What is your architecture?'''
 
Ora ci verrà mostrata una lista di famiglie di processori, relative alla 'marca' del nostro processore (nel mio caso tutte AMD)...scegliamo quella adeguata (nel mio caso, su un Compaq Presario 2100, athlon-xp)
 
 
 
Siamo giunti al termine della configurazione!
Ancora un passaggio e saremo pronti a conoscere apt-build!


==Utilizzo==


Una volta installata, dobbiamo aggiornare la lista dei file.
Bisogna modificare il file '''/etc/apt/sources.list''' aggiungendo i repository per i sorgenti.
Per fare questo � sufficiente dare il seguente comando:
Per quelli ufficiali Debian, è sufficiente ricopiare la riga dei repository dei pacchetti normali e sostituire a 'deb' 'deb-src'.
Ad esempio, se il nostro sources list contiene la riga:
<pre>
deb http://ftp.it.debian.org/debian/ sid main
</pre>
diventerà
<pre>
<pre>
# apt-file update
deb http://ftp.it.debian.org/debian/ sid main
deb-src http://ftp.it.debian.org/debian/ sid main
</pre>
</pre>
cos verranno scaricate le liste...


'''Attenzione''': sono file piuttosto corposi, fino a 8Mb...quindi vi consiglio di non usarlo con una normale connessione dial-up...
'''NB:''' le due righe possono coesistere tranquillamente.
Ora siamo pronti ad iniziare!
 
 
==Opzioni==
 
Analizziamo un po' di opzioni, molto utili, che renderanno più comprensibili i comandi utilizzati in seguito.
La sintassi di apt-build è vicinissiama a quellad i apt-get, infatti troviamo, come comandi, i seguenti:
 
; update : Aggiorna la lista dei pacchetti (come apt-get update)
; upgrade : Esegue un aggiornamento del sistema, scaricando i pacchetti e compilandoli
; install : Scarica e compila il pacchetto indicato
; source : Scarica e decomprime il pacchetto nella directory di compilazione (di solito /var/cache/apt-build/build )
; remove : Come apt-get remove
; clean-sources : esegue un debian/rules clean, che rimuove solamente i prodotti della compilazione
; clean-build : rimuove il contenuto della directory '''/var/cache/apt-build/build/''' che contiene i sorgenti dei pacchetti ricompilati;
; clean-repository : rimuove il contenuto della directory '''/var/cache/apt-build/repository/''' che contiene i pacchetti ricompilati tramite apt-build
; world : Ricompila tutti i pacchetti correntemente installati
; info : Visualizza le informazioni relative al pacchetto compilato
 


Vediamo, ora, le principali funzioni:
Le opzioni, invece, sono le seguenti:
; --reinstall : Ricompila e reinstalla il paccheto già installato...ci tornerà comodo...
; --rebuild : Ricompila il pacchetto indicato
; --remove-builddep : Rimuove le dipendenze di compilazione (librerie -dev) installate da apt-build per la compilazione
; --nowrapper : Non usa il wrapper: compilazione senza le opzioni di ottimizzazione
; --purge : Durante la rimozione, verranno cancellati anche i file di configurazione presenti in /etc
; --noupdate : Non esegue 'apt-get update' prima dell'installazione dei pacchetti
; --build-command cmd : Usa cmd per compilarei il pacchetto
; --patch file : Applica la patch prima di compilare il pacchetto
; --patch-strip n : Indica lo striplevel per il file di patch (equivale al parametro -pX del comando patch
; --yes -y : Risponde 'Yes' a tutte le domande poste da apt (usare con prudenza)
; --version -v : Mostra la versione di apt-build
; --source : Non scarica i sorgenti (indica che i sorgenti sono già stati scaricati
; --build-only : Non installare le dipendenze del pacchetto (usare con attenzione)
; --build-dir dir : Specifica la directory in cui eseguire la compilazione
; --repository-dir dir : Specifica la directory dove mettere i file compilati
; --target-release : Indica da quale release (Stable, Testing, Unstable, Experimental) scaricare i sorgenti
; --sources-list : Specifica un sources.list alternativo
 
 
Le opzioni che useremo spesso saranno '''--reinstall --noupdate'''.
 
==Utilizzo==
Ora guardiamo come utilizzare apt-build per ricompilare pacchetti già presenti nel sistema...
<pre>
<pre>
# apt-file update
# apt-build --reinstall install kdebase
</pre>
</pre>
Aggiorna gli archivi dei contenuti dei pacchetti.


ad esempio...
l'opzione '''--reinstall''' ci permetterà di installare il pacchetto anche se nel sistema è già presente un pacchetto con la medesima versione.
Una volta lanciato il comando, apt-build si occuperà di sincronizzare la lista dei pacchetti, scaricherà le librerie di sviluppo necessarie alla compilazione del pacchetto ed eventualmente si occuperà anche delle dipendenze. Una volta scaricato il pacchetto dei sorgenti provvederà alla compilazione.
Potrebbero apparire errori di compilazione: in questi casi bisogna leggerli con attenzione per capire se è un errore prodotto da apt-build o da un errore nei sorgenti e, in tal caso, chiedere aiuto a S. Google =)


Se invece il pacchetto non è stato precedentemente installato, è possibile installarlo omettendo l'opzione --reinstall:
<pre>
<pre>
# apt-file purge
# apt-build install nomepacchetto
</pre>
</pre>
Rimuove tutti gli archivi di apt-file scaricati.


Comando 'strano', che non ho ancora avuto modo di sperimentare è:
<pre>
<pre>
# apt-file search <testo>
# apt-build world
</pre>
</pre>
Cerca, e stampa a video l'elenco dei pacchetti che contengono <testo>.


che permette la ricompilazione di tutti i pacchetti correntemente installati sul computer!


Allo stesso modo è possibile aggiornare il sistema direttamente, tramite un semplice
<pre>
<pre>
# apt-file list <nomepacchetto>
# apt-build upgrade
</pre>
</pre>
Stampa a video il contenuto dei pacchetti corrispondenti a <nomepacchetto>.




tra le opzioni disponibili, ricordo quelle principali (di uso comune...)
Una precisazione è d'obbligo: non tutti i repository offrono i pacchetti contenenti i sorgenti, e per questo ci si può trovare di fronte ad alcuni errori...
; --ignore-case | -i : Permette di effettuare ricerca case-insensitive
Qui sta a voi risolverli, o installando il pacchetto binario o cercando un altro mirror...
; --regexp | -x : Tratta come un pattern di una espressione regolare.
; --package-only : Mosta solo il nome del pacchetto, e non quello dei file, utile quando si esegue una ricerca usando come un nome molto comune.


==Conclusioni==


== Esempio ==


Per cercare in quale pacchetto � contenuto un eseguibile si pu� usare:
Lo strumento è veramente potente, anche se non esente da bug...
Promette bene e porta una ventata di novità in un campo precedentemente complesso in quanto, per compilare con ottimizzazioni, era necessario ricorrere a strumenti un po' complessi e sfortunatamente tutti indipendenti tra loro, allontanando tutto questo dall'utente novizio...
Ora, anche chi vuole un sistema compilato ad hoc per la propria macchina, potrà restare fedele e usufruire della potenza di apt!


==Faq==
'''Q: Ho spostato la directory della cache di apt-build, ma ora apt mi dà degli errori...'''<br/>
'''A:''' Beh...sarebbe stato utile, dopo lo spostamento, eseguire un
<pre>
<pre>
# apt-file search bin/nome-eseguibile
# dpkg-reconfigure apt-build
</pre>
</pre>
per riconfigurare il tutto con i nuovi path.
Se invece si vuole agire a mano è sufficiente modificare il file '''/etc/apt/apt-build.conf''' e il sources.list, aggiornando i path relativi ad apt-build.
'''Q: Come mai non vengono elencati tutte le famiglie di processori durante la configurazione?'''<br/>
'''A:''' Semplicemente perchè lo script di configurazione di apt-build esegue un check preliminare in modo da determinare la marca del processore.
'''Q: Mi sono accorto di non aver configurato correttamente apt-build, come posso fare a modificare la configurazione??'''<br/>
'''A:''' Certamente...con il comando
<pre>
# dpkg-reconfigure apt-build
</pre>
'''Q: Ho notato che apt-build sostituisce gcc e g++ con uno script, cosa vuol dire?'''<br/>
'''A:''' Apt-build utilizza un wrapper, uno script che si occupa di chiamare gcc e g++ passandogli dei parametri aggiuntivi (quelli per l'ottimizzazione) se a chiamarlo è apt-build.
'''Q: Visto che apt-build modifica lo script per lanciare gcc e g++, verranno applicate le opzioni di ottimizzazione anche quando compilo senza usare apt-build?'''<br/>
'''A:''' No, in quanto, all'interno del wrapper (che è uno script di shell) viene controllato se è apt-build il chiamante e, in quel caso, applica le opzioni per l'ottimizzazione; nel caso in cui gcc/g++ non vengono chiamati da apt-build, non sono applicate le ottimizzazioni.
==Bookmark==
http://www.debtoo.org/
Debian, con in più la possibilità di eseguire compilazioni in stile gentoo!
Da tenere d'occhio! Qui è presente un po' di documentazione su apt-build.
http://www.debianplanet.org/node.php?id=210
Why isn't Debian 'ported' to the higher x86 machines?
Interessante discussione sul perchè non si è deciso di compilare debian ottimizzandola un po' di più...
http://debian-i586.sourceforge.net/
Interessante progetto di ricompilazione di Debian.
Ora sembrerebbe un po'...`smorto`...magari si potrebbe dargli una mano...


trover tutti i pacchetti che contengono file che comincino per ''nome-eseguibile'' e che siano in una directory che finisce per bin (come <tt>/bin/</tt>, <tt>/sbin/</tt>, <tt>/usr/bin</tt>, <tt>/usr/sbin</tt>).


---- [[User:MaXeR|MaXeR]]
---- [[User:MaXeR|MaXeR]]
[[Categoria:Apt]]

Versione delle 13:51, 22 giu 2005

Introduzione

Come tutti sanno, o avranno notato, Debian è compilata con opzioni di compilazione generiche, pensate per processori i386. Questa scelta è stata fatta per questioni di stabilità, a quanto ho trovato sulla rete.

Per chi vuole sfruttare a fondo la propria macchina, e consigliata una ricompilazione con le ottimizzazioni relative al proprio processore, così da poter sfruttare fino in fondo tutte le innovazioni introdotte in questi anni, ma prima di affrontare questo argomento, però, vorrei fare alcune precisazioni...

Innanzitutto, non tutti i programmi diventeranno più veloci: esisteranno sempre i 'colli di bottiglia', come la velocità di lettura degli Hard Disk, etc; quindi i programmi che ne trarranno giovamento maggiore saranno quelli che abusano di operazioni matematiche, e che stressano il processore...

Installazione

Ovviamente, trattandosi di Debian, è sufficiente dare un semplice:

# apt-get install apt-build

Mentre il pacchetto viene scaricato insieme alle sue dipendenze, vi invito a fare una visitina a Debtoo, un interessante progetto per dare a Debian strumenti utili per la compilazione dei pacchetti... L'indirizzo è http://www.debtoo.org/ .

Analizziamo le domande del processo di configurazione che viene lanciato durante l'installazione:

Where should apt-build download and build packages?

La scelta di default va più che bene...assicuratevi però di avere un po' di spazio (4-5Gb sarebbero comodi), in quanto la compilazione ne richiede tanto, ed i sorgenti già processati non vengono rimossi automaticamente.


Where must apt-build store built packages?

Qui siamo liberi di fare quello che vogliamo: apt-build, una volta terminata la compilazione, creerà il pacchetto debian ottimizzato per la nostra macchina. Qui dobbiamo indicare dove metterli...


These are equivalent to -O1, -O2 and -O3. Optimization level is time dependant - in fact, the more you want to optimize your build the more time will be necessary for compiling but the faster your programs will be. Warning: Strong optimization may lead to stability problems. Which optimization level do you want?

Le scelte che mi sento di consigliare sono due: Medium per una ottimizzazione media.... Strong per una ottimizzazione avanzata (attenzione: più è alto il livello di ottimizzazione, più tempo impiega il processo...come è indicato nel testo della domanda.


Add apt-build repository to sources.list?

Rispondendo 'Si' aggiungeremo al nostro sources.list una riga indicante il repository che viene creato da apt-build (la seconda domanda che ci è stata posta durante il processo di configurazione)


Which options would you like to add to gcc?

Qui possiamo passare delle opzioni aggiuntive a gcc... Eccone alcune: -jX X indica il numero di compilazioni parallele consentite -pipe Riduce l'accesso al disco (velocizzando l'operazione) utilizzando il pipe (|) invece dei file temporanei


What is your architecture?

Ora ci verrà mostrata una lista di famiglie di processori, relative alla 'marca' del nostro processore (nel mio caso tutte AMD)...scegliamo quella adeguata (nel mio caso, su un Compaq Presario 2100, athlon-xp)


Siamo giunti al termine della configurazione! Ancora un passaggio e saremo pronti a conoscere apt-build!


Bisogna modificare il file /etc/apt/sources.list aggiungendo i repository per i sorgenti. Per quelli ufficiali Debian, è sufficiente ricopiare la riga dei repository dei pacchetti normali e sostituire a 'deb' 'deb-src'. Ad esempio, se il nostro sources list contiene la riga:

deb http://ftp.it.debian.org/debian/ sid main

diventerà

deb http://ftp.it.debian.org/debian/ sid main
deb-src http://ftp.it.debian.org/debian/ sid main

NB: le due righe possono coesistere tranquillamente. Ora siamo pronti ad iniziare!


Opzioni

Analizziamo un po' di opzioni, molto utili, che renderanno più comprensibili i comandi utilizzati in seguito. La sintassi di apt-build è vicinissiama a quellad i apt-get, infatti troviamo, come comandi, i seguenti:

update
Aggiorna la lista dei pacchetti (come apt-get update)
upgrade
Esegue un aggiornamento del sistema, scaricando i pacchetti e compilandoli
install
Scarica e compila il pacchetto indicato
source
Scarica e decomprime il pacchetto nella directory di compilazione (di solito /var/cache/apt-build/build )
remove
Come apt-get remove
clean-sources
esegue un debian/rules clean, che rimuove solamente i prodotti della compilazione
clean-build
rimuove il contenuto della directory /var/cache/apt-build/build/ che contiene i sorgenti dei pacchetti ricompilati;
clean-repository
rimuove il contenuto della directory /var/cache/apt-build/repository/ che contiene i pacchetti ricompilati tramite apt-build
world
Ricompila tutti i pacchetti correntemente installati
info
Visualizza le informazioni relative al pacchetto compilato


Le opzioni, invece, sono le seguenti:

--reinstall
Ricompila e reinstalla il paccheto già installato...ci tornerà comodo...
--rebuild
Ricompila il pacchetto indicato
--remove-builddep
Rimuove le dipendenze di compilazione (librerie -dev) installate da apt-build per la compilazione
--nowrapper
Non usa il wrapper: compilazione senza le opzioni di ottimizzazione
--purge
Durante la rimozione, verranno cancellati anche i file di configurazione presenti in /etc
--noupdate
Non esegue 'apt-get update' prima dell'installazione dei pacchetti
--build-command cmd
Usa cmd per compilarei il pacchetto
--patch file
Applica la patch prima di compilare il pacchetto
--patch-strip n
Indica lo striplevel per il file di patch (equivale al parametro -pX del comando patch
--yes -y
Risponde 'Yes' a tutte le domande poste da apt (usare con prudenza)
--version -v
Mostra la versione di apt-build
--source
Non scarica i sorgenti (indica che i sorgenti sono già stati scaricati
--build-only
Non installare le dipendenze del pacchetto (usare con attenzione)
--build-dir dir
Specifica la directory in cui eseguire la compilazione
--repository-dir dir
Specifica la directory dove mettere i file compilati
--target-release
Indica da quale release (Stable, Testing, Unstable, Experimental) scaricare i sorgenti
--sources-list
Specifica un sources.list alternativo


Le opzioni che useremo spesso saranno --reinstall --noupdate.

Utilizzo

Ora guardiamo come utilizzare apt-build per ricompilare pacchetti già presenti nel sistema...

# apt-build --reinstall install kdebase

ad esempio... l'opzione --reinstall ci permetterà di installare il pacchetto anche se nel sistema è già presente un pacchetto con la medesima versione.

Una volta lanciato il comando, apt-build si occuperà di sincronizzare la lista dei pacchetti, scaricherà le librerie di sviluppo necessarie alla compilazione del pacchetto ed eventualmente si occuperà anche delle dipendenze. Una volta scaricato il pacchetto dei sorgenti provvederà alla compilazione.

Potrebbero apparire errori di compilazione: in questi casi bisogna leggerli con attenzione per capire se è un errore prodotto da apt-build o da un errore nei sorgenti e, in tal caso, chiedere aiuto a S. Google =)

Se invece il pacchetto non è stato precedentemente installato, è possibile installarlo omettendo l'opzione --reinstall:

# apt-build install nomepacchetto

Comando 'strano', che non ho ancora avuto modo di sperimentare è:

# apt-build world

che permette la ricompilazione di tutti i pacchetti correntemente installati sul computer!

Allo stesso modo è possibile aggiornare il sistema direttamente, tramite un semplice

# apt-build upgrade


Una precisazione è d'obbligo: non tutti i repository offrono i pacchetti contenenti i sorgenti, e per questo ci si può trovare di fronte ad alcuni errori... Qui sta a voi risolverli, o installando il pacchetto binario o cercando un altro mirror...

Conclusioni

Lo strumento è veramente potente, anche se non esente da bug... Promette bene e porta una ventata di novità in un campo precedentemente complesso in quanto, per compilare con ottimizzazioni, era necessario ricorrere a strumenti un po' complessi e sfortunatamente tutti indipendenti tra loro, allontanando tutto questo dall'utente novizio... Ora, anche chi vuole un sistema compilato ad hoc per la propria macchina, potrà restare fedele e usufruire della potenza di apt!


Faq

Q: Ho spostato la directory della cache di apt-build, ma ora apt mi dà degli errori...
A: Beh...sarebbe stato utile, dopo lo spostamento, eseguire un

# dpkg-reconfigure apt-build

per riconfigurare il tutto con i nuovi path. Se invece si vuole agire a mano è sufficiente modificare il file /etc/apt/apt-build.conf e il sources.list, aggiornando i path relativi ad apt-build.


Q: Come mai non vengono elencati tutte le famiglie di processori durante la configurazione?
A: Semplicemente perchè lo script di configurazione di apt-build esegue un check preliminare in modo da determinare la marca del processore.


Q: Mi sono accorto di non aver configurato correttamente apt-build, come posso fare a modificare la configurazione??
A: Certamente...con il comando

# dpkg-reconfigure apt-build


Q: Ho notato che apt-build sostituisce gcc e g++ con uno script, cosa vuol dire?
A: Apt-build utilizza un wrapper, uno script che si occupa di chiamare gcc e g++ passandogli dei parametri aggiuntivi (quelli per l'ottimizzazione) se a chiamarlo è apt-build.


Q: Visto che apt-build modifica lo script per lanciare gcc e g++, verranno applicate le opzioni di ottimizzazione anche quando compilo senza usare apt-build?
A: No, in quanto, all'interno del wrapper (che è uno script di shell) viene controllato se è apt-build il chiamante e, in quel caso, applica le opzioni per l'ottimizzazione; nel caso in cui gcc/g++ non vengono chiamati da apt-build, non sono applicate le ottimizzazioni.

Bookmark

http://www.debtoo.org/ Debian, con in più la possibilità di eseguire compilazioni in stile gentoo! Da tenere d'occhio! Qui è presente un po' di documentazione su apt-build.

http://www.debianplanet.org/node.php?id=210 Why isn't Debian 'ported' to the higher x86 machines? Interessante discussione sul perchè non si è deciso di compilare debian ottimizzandola un po' di più...

http://debian-i586.sourceforge.net/ Interessante progetto di ricompilazione di Debian. Ora sembrerebbe un po'...`smorto`...magari si potrebbe dargli una mano...



MaXeR