Apt-zip: aggiornamenti senza una connessione veloce

Introduzione

Qualche volta ci troviamo nella situazione di dover aggiornare una macchina con una connessione internet lenta o inesistente... Alcune volte viene suggerito Debmirror (soluzione che reputo sovradimensionata e dispendiosa), altre viene suggerito il download del primo DVD o dei primi 2-3 CD di Sarge (ma per quanto riguarda sid, non esiste niente del genere)... Così ho pensato di organizzare qualche appunto che avevo su apt-zip, un comodo tool che ci viene in aiuto proprio in questi casi! Vedremo come utilizzarlo su computer connessi ad internet con una connessione lenta...

Installazione

L'installazione è semplicissima:

# apt-get install apt-zip

Configurazione

Il file di configurazione è /etc/apt/apt-zip.conf e contiene alcuni valori di defalut utilizzati dai due comandi di apt-zip. Ecco quello di default:

# Configuration file for apt-zip.
# This is a /bin/sh code snippet.

# METHOD is taken from /usr/share/apt-zip/.
METHOD=wget

# MEDIUM should be defined in /etc/fstab with option `noauto'.
MEDIUM=/ZIP

# OPTIONS is a comma-separated list of options.
# Possible options include: tar[=posixtarprogram], gnutar[=gnutarprogram],
# solaristar[=solaristarprogram], restart
# Examples:
# OPTIONS=tar=gtar
# OPTIONS=solaristar,restart
# OPTIONS="gnutar, restart=1"
# Recommended for a Solaris download host when possible:
# OPTIONS=solaristar,gnutar=gtar,restart
OPTIONS=

# DEFAULT_APTGETACTION is the action taken by apt-get when neither
# the --aptgetaction nor the --packages options are given.
# Possible actions include: dselect-upgrade(default), upgrade and dist-upgrade
DEFAULT_APTGETACTION=dselect-upgrade

# The regexp applied to filter (with grep) the files to download.
# Examples:
# GREP=^http\|^ftp
# GREP="-v ^cdrom\|^file"
GREP="^http\|^ftp"

Le direttive che ci interessano sono due: MEDIUM e DEFAULT_APTGETACTION

MEDIUM indica il path della periferica removibile che verrà utilizzata (io l'ho modificata in /mnt/pen, il mountpoint della mia pennina usb);
DEFAULT_APTGETACTION l'azione di default da apt-get (a meno che non sia indicata una lista di pacchetti od un'altra azione), quella di default esegue un aggiornamento tramite dselect.

Normalmente solo MEDIUM viene modificato, in quanto le opzioni di default sono più che corrette per qualsiasi utilizzo.

Preparazione del Sistema

Ora, prima di passare all'analisi del programma ed al suo utilizzo, prepariamo il sistema per usare apt-zip. Normalmente è necessario un disco removibile (penna usb, disco usb, uno ZIP o altro) ma è possibile, con alcuni accorgimenti, esportare i due file creati da apt-zip tramite un floppy od una mail, e poi creare in un'altra sede un cd od un dvd con i pacchetti scaricati.

Supporto Removibile

Nel caso si disponga di un supporto removibile è consigliato modificare il file /etc/fstab aggiungendo la seguente riga (riferita al dispositivo):

mountpoint device filesystem options 0 0

per esempio (nel caso di una penna usb)

/dev/sda1 /mnt/pen vfat rw,users,umask=000,quiet 0 0

per le opzioni ed i filesystem disponibili, invito a leggere la documentazione visualizzata dal comando

$ man mount

Inoltre, se non presente nel sistema, è necessario creare la directory indicata nel mountpoint (nell'esempio precedente /mnt/pen ).

In una directory locale

Nessuna preparazione richiesta.

Sintassi ed Opzioni

Apt-zip è composto da due eseguibili: apt-zip-list e apt-zip-inst

apt-zip-list

ha il compito di generare uno script (ed un file contenente le opzioni per l'installazione dei pacchetti che verranno scaricati) per il download dei pacchetti da una qualsiasi macchina Linux (con un trucchetto è possibile eseguire il download anche da macchine con un sistema operativo diverso, purchè con wget installato).

apt-zip-inst

ha il compito di installare i file scaricati (vedremo in seguito come).

La sintassi è la seguente:

apt-zip-list [--help] [--version] [--medium=mountpoint] 
             [--aptgetaction=action] [--packages=package[,package...]] 
             [--fix-broken] [--skip-mount] [--method=method] [--options=opt[,opt...]] 
             [ --accept=accept[,accept...]] [ --reject=reject[,reject...]]

apt-zip-inst [--help] [--version] [--medium=mountpoint] [--aptgetaction=action] 
             [--packages=package[,package...]] [--fix-broken] [--skip-mount]

Dove le opzioni hanno il seguente significato:

In comune

--help, -h

Mostra un piccolo help

--medium, -m

Indica un mountpoint differente da quello indicato nel file di configurazione

--aptgetaction, -a

Indica una azione da far compiere ad apt-get, le scelte possibili sono: dselect-upgrade, upgrade e dist-upgrade;

Se non viene passata l'opzione --packages, viene eseguita l'azione di default (se non modificata con questa opzione)

--packages, -p

Indica una lista (separata da virgola) dei pacchetti da installare

--fix-broken, -f

Esegue apt-get con l'opzione --fix-broken (man apt-get)

--skip-mount

Non esegue il mount e l'umount della periferica (utile se non si vuole utilizzare una periferica removibile)

Solo per apt-get-list

--accept , -A / --reject , -R

Lista separata da virgola dei protocolli utilizzari per il download (default http e ftp)

Utilizzo

Tratteremo allo stesso modo sia il caso in cui venga utilizzato un supporto removibile, sia quello in cui venga usata una directory del filesystem...

Prima di lanciare apt-zip dobbiamo decidere cosa fare:

1. aggiornare il sistema
   1. usare dselect
   2. fare un upgrade
   3. fare un dist-upgrade
2. installare dei pacchetti mancanti

Aggiornare il sistema

forse è la pratica più diffusa...abbiamo a disposizione tre opzioni:

dselect-upgrade

eseguendo

# dselect

e lanciando l'aggiornamento, verranno scaricati gli archivi con le liste dei pacchetti aggiornati, che verranno processati da dselect... inoltre si potranno anche selezionare i pacchetti che si vorrebbero installare (in pratica si usa normalmente il tool dselect, avendo cura di non selezionare l'opzione di installare i pacchetti, ma uscendo dal programma)... Una volta fatto, è sufficiente lanciare il seguente comando per creare i due script necessari per scaricare, da un altro computer, i pacchetti:

# apt-zip-list --aptgetaction=dselect-upgrade --medium=/mnt/point

dove /mnt/point rappresenta il punto di mount del dispositivo; se si tratta di una directory normale, invece, il comando sarà

# apt-zip-list --aptgetaction=dselect-upgrade --skip-mount --medium=/mnt/point

upgrade

verrà generata la lista dei pacchetti da scaricare per eseguire un

# apt-get upgrade

il comando per fare questo è

# apt-zip-list --aptgetaction=upgrade --medium=/mnt/point

nel caso di un supporto removibile, o

# apt-zip-list --aptgetaction=upgrade --skip-mount --medium=/mnt/point

nel caso di una directory del filesystem...

dist-upgrade

in questo caso, verrà generata la lista dei pacchetti da scaricare per completare il comando

# apt-get dist-upgrade

il comando per fare questo è

# apt-zip-list --aptgetaction=dist-upgrade --medium/mnt/point

nel caso di un supporto removibile, o

# apt-zip-list --aptgetaction=dist-upgrade --skip-mount --medium=/mnt/point

nel caso di una directory del filesystem...

Installare i pacchetti mancanti

in questo caso, è possibile creare la lista di pacchetti necessari per l'installazione di un programma/pacchetto e per soddisfare le sue dipendenze... il comando è

# apt-zip-list --packages=pacchetto,pacchetto1,pacchetto2 --medium=/mnt/point

nel caso di un supporto removibile, o

# apt-zip-list --packages=pacchetto,pacchetto1,pacchetto2 --skip-mount --medium=/mnt/point

nel caso di una directory del filesystem... dove pacchetto,pacchetto1,pacchetto2 è la lista dei pacchetti da installare, separati da una virgola...

Come potete vedere, l'utilizzo è veramente semplice ed intuitivo...

Gli Script

Dopo l'esecuzione dei comandi illustrati precedentemente, verranno generati due script:

apt-zip.options contenente le opzioni passate ad apt-zip-list, che verranno utilizzate da apt-zip-inst per installare correttamente i pacchetti scaricati

fetch-script-wget-nomemacchina che si occuperà di scaricare i pacchetti, di controllarne l'md5 (così da evitare i problemi derivanti da una possibile (remotamente) corruzione dei file)

In parole povere, sarà semplice, sulla macchina da cui si possono scaricare i pacchetti, lanciare il secondo script:

$ ./fetch-script-wget-nomemacchina

così verranno scaricati i pacchetti contenuti nella lista...

Se non si dispone di una shell dove eseguire lo script (se la macchina è windows, per esempio, anche se una visitina a [1] sarebbe indicata), è possibile scaricare ugualmente i pacchetti... È sufficiente, infatti, lanciare questo comando:

$ cat fetch-script-wget-maxer | egrep "://" | cut -d " " -f 1 > lista.txt

per ottenere una lista 'normale' di file, utilizzabile da wget o da un normale programma per il download di file dalla rete... Se si usa wget (Disponibile anche per windows [2]) è sufficiente un

$ wget -i lista.txt

Nota Bene: i file scaricati, per procedere con l'installazione, devono essere nella stessa directory che contiene il file apt-zip.options

Installazione dei pacchetti

Una volta terminato, è possibile installare i pacchetti con il comando

# apt-zip-int --medium=/mnt/point

(ricordo che la direttiva --medium può essere omessa se presente nel file di configurazione di apt-zip) aggiungendo, eventualmente, --skip-mount se si tratta di una directory locale...

Nessuna Connessione ad Internet

In questa sezione vedremo come poter usare apt-zip in casi di totale assenza di connessione ad Internet. Premetto che la cosa è abbastanza macchinosa, e richiede due accessi al computer provvisto di connessione.

L'idea

L'idea è, fondamentalmente, semplice: inganneremo apt creando sulla nostra macchina un mirror dei repository da cui vorremmo attingere i pacchetti. Il mirror, però, sarà parziale/fasullo, in quanto conterrà solo i file relativi ai pacchetti contenuti nel repository. Sarà necessario utilizzare Apache, in quanto apt-zip non inserisce nella lista i pacchetti non raggiungibili tramite una connessione (ad esempio quelli su disco..).

Configurazione di Apache

È sufficiente installare apache:

# apt-get install apache

Per una guida più approfondita a riguardo, consiglio la lettura di: LAMP: Linux, Apache, MySQL e PHP.

La configurazione di default di Apache utilizza come directory principale di lavoro /var/www/, che verrà usata anche da noi per creare i nostri repository fittizzi!

Apache si muove come l'utente www-data, quindi dovremo sempre preoccuparci di rendere i dati accessibili a questo utente, in modo da non ricevere errori di tipo 403, indicanti una mancanza di permessi.

La struttura delle Directory

Prendiamo come esempio il repository Nerim, contenente software come mplayer, w32codecs, ... molto utili per la visualizzazione di filmati.

Prima di tutto, rechiamoci sul sito ufficiale del repository (http://debian.video.free.fr/), così da vedere come è strutturato.

Prendiamo in analisi i repository per Sarge:

deb http://ftp.nerim.net/debian-marillat/ sarge main

come descritto nella guida I repository ed il loro utilizzo, in questo caso i file che descrivono il contenuto del repository si trovano in http://ftp.nerim.net/debian-marillat/dists/sarge/main/, in particolare nella sottodirectory binary-i386.

Procediamo, quindi, a ricreare una struttura simile in /var/www/:

# mkdir /var/www/marillat
# chown user:www-data $_
# chmod g+s $_
$ cd /var/www/marillat
$ mkdir -p dists/sarge/main/binary-i386/
$ cd $_

in questo caso, user rappresenta l'utente che normalmente utilizziamo, mentre $_ ci permette di riutilizzare il parametro utilizzato nel comando precedente, facendoci risparmiare qualche carattere (Bash tips per maggiori informazioni).

La struttura è stata creata, non ci resta che recuperare i file contenuti in quella directory: Packages.gz e Release.

Una volta scaricati, copiamoli nella directory creata:

$ cp Packages.gz Releasee /var/www/marillat/dists/sarge/main/binary-i386/

Modifica di sources.list

Siamo pronti a modificare il file /etc/apt/sources.list in modo da utilizzare il repository appena creato. Nel nostro caso di esempio, quindi, la riga da aggiungere sarà la seguente:

deb http://localhost/arillat/ sarge main

Una volta terminata la modifica, aggiorniamo il database dei pacchetti disponibili con un

# apt-get update

Creazione della lista di pacchetti

Ritornando al nostro ragionamento, se tutto funziona come previsto, la richiesta di installazione di un pacchetto dovrebbe ovviamente fallire (perchè non presente realmente nel repository), però dovrebbe avere una corrispondenza con l'url reale del pacchetto...

Un esempio vale più di mille parole: proviamo ad installare il pacchetto w32codecs:

# apt-get install w32codecs
Reading Package Lists... Done
Building Dependency Tree... Done
The following NEW packages will be installed:
  w32codecs
0 upgraded, 1 newly installed, 0 to remove and 313 not upgraded.
Need to get 13.2MB of archives.
After unpacking 31.9MB of additional disk space will be used.
Err http://localhost sarge/main w32codecs 1:20050412-0.0
  404 Not Found
Failed to fetch http://localhost/marillat/pool/main/w/w32codecs/w32codecs_20050412-0.0_i386.deb  404 Not Found
E: Unable to fetch some archives, maybe run apt-get update or try with --fix-missing?

come si può vedere, il pacchetto non viene trovato... se sostituiamo a localhost/marillat ftp.nerim.net/debian-marillat e proviamo a scaricare il pacchetto da una macchina connessa alla rete, vedremo che effettivamente l'url è corretto.

A questo punto è banare l'utilizzo di apt-zip-list per la generazione della lista di pacchetti da installare. Procediamo con il nostro esempio, e chiediamo ad apt-zip di creare lo script per scaricare il pacchetto w32codecs:

$ apt-zip-list --packages=w32codecs --skip-mount --medium=/path/della/directory/

Conversione dello script

Lo script che abbiamo ottenuto, però, contiene dei riferimenti al mirror fittizzio, che devono essere convertiti in url corrette, riferite alla posizione reale del repository.

Per velocizzare questa conversione, ci faremo aiutare da sed:

$ sed  -e 's/localhost\/marillat/ftp.nerim.net\/debian-marillat/' \
     fetch-script-wget-knio > fetch-script-wget-knio-url

il file fetch-script-wget-knio-url permetterà di scaricare correttamente i pacchetti.

Conclusione

L'utilizzo di questa utility è veramente semplice, soprattutto rispetto alle innumerevoli comodità che offre... Personalmente uso apt-zip con un Hard Disk da 10Gb come supporto removibile, dove sono presenti delle directory per ogni computer che necessita di aggiornamenti/installazioni, così da avere tutto abbastanza separato ed ordinato...

Bookmarks

[1] Bash & Windows - http://home.wanadoo.nl/fvu/Projects/Bash/Web/bash.htm
[2] WGET for Windows - http://www.interlog.com/~tcharron/wgetwin.html

---

MaXeR