Message-ID: <47659DCC.30602@iap.fr>
Date: Sun, 16 Dec 2007 22:51:08 +0100
From: Emmanuel Bertin <bertin@iap.fr>
MIME-Version: 1.0
To: teralist@iap.fr
Subject: [teralist] Synthese de la semaine du 10/12 au 16/12 (ter)
Content-Type: text/plain; charset=windows-1252; format=flowed
Content-Transfer-Encoding: 7bit
Reply-To: teralist@iap.fr
Precedence: list
Sender: petidomo GRAND POSTIER <petidomo@iap.fr>

Et revoici le meme avec le bon titre :-)!

Chers tous,

voici une synthese partielle des activites couvrant la periode du 10/12 au 16/12
a partir des bilans de Mathias M., Mathias S., Gregory, Henry Joy et Yannick.
(il manquait une contribution de Gregory dans l'envoi precedent qui etait parti
un peu trop vite!! Desole).

Par ordre arbitraire:

Donnees T04/T05 (Henry, Fred, Yannick, Mathias S):
- Une videoconference a reuni Henry, Fred, le CADC et le CFHT (elle a du
s'effectuer par iChat car Yannick n'etait pas la et c'est lui qui a la cle de la
salle 281). Les problemes de transfert de fichier ont maintenant ete resolus
entre le CADC et le CFHT; le CADC est pret a ingerer tout les catalogues de T04.
Ces fichiers sont automatiquement ingeres dans la base de donnees quand ils sont
uploades au CADC. Tous les fichiers ont ete copies sur fcix et transferes par
Fred. Yannick a teste la recuperation d'une dizaine de fichiers de tous types
comme un utilisateur lambda du CFHTLS (decompression, contenu des colonnes
d'erreur et de E(B-V) pour les catalogues): tout est OK. Il a egalement
sollicite quelques utilisateurs externes a TERAPIX pour qu'ils verifient qu'il
n'y a plus de pb de decompression. JJ Kavelaars voulait que TERAPIX envoie un
mail a la list CFHT-users quand cela serait fait. Yannick va s'en charger.
- Mathias S. a termine les plots concernant les champs Wide de T04 en commun
avec le SDSS. Pour chaque CCD il a calcule les offsets par rapport au SDSS. Un
petit rapport accompagne les plots, et a ete controle et valide par Yannick. Il
ne reste qu'a faire les images des gradients et tout sera termine. Pour le
moment il n'y a aucune evidence de gradient ou d'ecarts sensibles par rapport au
SDSS parmi les CCD.

WIRCAM PI (Henry Joy):
- Data Lise Deharveng: la solution astrometrique a ete calculee sans trop de
difficulte par Henry Joy (voir page XML SCAMP). Tous les fichiers QFITS sont
egalement accessibles depuis l'exterieur. De nombreux champs sont impliques,
donc les fichiers XML doivent etre parcourus automatiquement par des outils de
parsing VOTable pour creer les sous-repertoires.
- Chris Willot a regarde la variation de la position du lieu des etoiles dans
les donnees WIRDS. Il semble y avoir un probleme dans le champ D3. Plan d'action
de Henry Joy: aucun pour l'instant. Son plan est de releaser les donnees COSMOS
a la communaute en fevrier; cela signifie que ce jeu de donnees a sa priorite
pour l'instant (c'est-a-dire ecrire les papiers de donnees et de science avant
fevrier).

Developpements (Mathias M., Gregory):
- Mathias M. et Gregory ont commence a travailler en etroite collaboration sur
SPICA2. Ils ont d'abord importe le code source dans SubVersion
(/private/software/spica2/) et decide dans un deuxieme temps de separer le
environnements de production et de developpement. Gregory et Mathias ont
desormais un environnement de developpement qui leur est propre: si des
disfonctionnements apparaissent dans le code de Mathias, le travail (la copie
locale) de Gregory ne sera pas affectee et reciproquement. La version de
production continuera, quant-a-elle, a fonctionner sans probleme. Pour cela, la
configuration du serveur Apache sur clix a ete modifiee. L'environnement de
production est accessible depuis le port 80 (port par defaut) du serveur web a
l'adresse http://clix.iap.fr/spica2/, la version de developpement de Mathias M.
est accessible depuis le port 8000 (http://clix.iap.fr:8000/spica2/) et celle de
Gregory depuis le port 8888 (http://clix.iap.fr:8888/spica2/). Cette semaine ils
prevoient de faire la  meme chose pour la base de donnees MySQL sur dbterapix
puisque les codes des trois environnements attaquent la meme base de donnees !
Il est imperatif d'avoir au moins une version de la base pour la production et
une pour le developpement.
- Ces modifications les ont conduit a realiser un travail de nettoyage sur le
code de spica2 et sur la definition d'un coding style contenant un ensemble de
regles elementaires conventionnelles a suivre pour accroitre davantage la
productivite. Un fichier README.CodingStyle a ete ajoute dans le repository de
la base subversion.
- Le probleme rencontre lors de la soumission d'un job a Condor a travers
l'interface web de spica2 a ete resolu. os.system(), la commande permettant
l'execution d'une commande systeme depuis Python est a utiliser avec precaution
lorsqu'elle est appelee depuis l'environnement de Django (Apache+mod_python) car
la plupart des variables d'environnement ne sont pas definies comme elles
pourraient l'etre depuis la ligne de commande UNIX. La solution a donc consiste
a specifier des chemin d'acces absolus pour tous les noms de fichiers utilise (y
compris les fichiers de sortie (log, err, out)) specifies dans le Condor
submission file.
- Gregory a continue a progresser sur l'interface, en implementant notamment une
fonction de masquage de la liste d'images (onglet Run info). Une fonction
d'affichage des parametres, contenus dans les headers et pour chaque image, a
ete cree, sous forme de lien avec ouverture d'un pop-up qui contient les infos,
en cliquant sur une image d'une liste.

Systeme (Mathias M., Frederic):
- Mathias M. s'est rajoute dans le groupe wheel sur le cluster afin de pouvoir
faire des sudo.
- Frederic a rajoute Mathias dans la liste teraop et dans le sudo de terapix.
- Mathias M. etait dans l'impossibilite de modifier son mot de passe par defaut
sur les machines du cluster. Le probleme est regle, yppasswd lui a permis de
changer tous ses mots de passe. *Emmanuel demande: ca y est donc, yppasswd
fonctionne sur toutes les machines?*.
- Le probleme que Mathias M. rencontrait avec Subversion et l'envoi de mail
apres commit (post commit hook) a ete regle. Pour rappel, lorsqu'il faisait un
commit dans la base, le mail envoye automatiquement par Subversion pour notifier
teralist n'etait jamais delivre. Apres avoir prospecte avec Carlos, Emmanuel et
Fred, une solution a (enfin) ete trouvee. Lors de l'envoi du mail en
post-commit, subversion forge un champ from du type login_name@iap.fr (dans son
cas monnerville@iap.fr). Pour que ce dernier soit delivre sur teralist, il faut
qu'il soit d'abord accepte par le serveur de mail de l'IAP (Cairanne) et
l'adresse d'expediteur doit ensuite etre autorisee a poster sur teralist. Le
probleme venait donc du fait que son adresse email est monnervi@iap.fr et que le
mail de post-commit envoye par Subversion etait envoye avec une adresse en
monnerville@iap.fr, message alors refuse par le serveur SMTP. Carlos a donc
ajoute deux nouveaux alias qui pointent vers son compte monnervi sur le serveur
de mail: monnerville et mathias.monnerville (il est donc joignable sur
monnervi@iap.fr, monnerville@iap.fr et  mathias.monnerville@iap.fr). Fred, de
son cote, a autorise l'adresse monnerville@iap.fr a poster sur teralist
(initialement, seul monnervi@iap.fr etait autorise a poster puisque c'est
l'adresse email qui lui a ete attribuee lors de son arrivee). De son cote,
utilisant son serveur de mail local sur terabsd, il a fait le necessaire en
forgeant le champ "from" de l'enveloppe du mail qu'il expedie pour qu'il soit
reecrit en monnerville@iap.fr.
- Mathias M. a commence a rassembler un certain nombre d'elements pour ecrire un
document relatif a l'architecture des systemes du cluster (les identifier,
repertorier les services proposes etc.). Il mene l'enquete aupres d'Emmanuel et
de Gregory; il en parlera egalement avec Fred.
- Mathias M. a commence a prendre en main dotproject, a creer de nouvelle taches
(Problem Report ou PR) et a les cloturer. C'est un systeme qui lui plait assez
et qu'il pense utiliser regulierement. Il a cree un nouveau projet "System
config" dans lequel les taches relatives a la configuration d'un systeme ou
d'une application seront ajoutees. Par exemple, la premiere tache ajoutee se
nomme "clix: Apache setup needed for spica2". Elle a ete cloturee (100% + inactive).

Hardware (Fred, collecte par Emmanuel)
- Un accord a ete trouve entre AMD et Agorus: AMD prete pour le moment 11
processeurs Barcelona 2352 (2.1 GHz) stepping B2 en attendant que les B3 soient
disponibles. 6 machines de chez Agorus devraient donc etre livrees la semaine
prochaine.
- Le systeme de KVM etait en cours de reception chez Carri.
- Plusieurs plantages ont eu lieu cette semaine: sur mix8 et terapix (mix).
Yannick et Henry Joy les ont rebootees.
- Fred a effectue le transfert du disque systeme de terapix du SCSI vers un
disque Raptor en SATA, ce qui a demande une upgrade du kernel. *Emmanuel
demande: reste-t-il des Raptor en spare?*
- Fred a du mal a trouver les 9 dizaines de vis necessaires pour fixer tous les
disques de fcix4. AIC-IPC peut en fournir gratuitement, mais il faut payer les
frais de port.
- Olivier Ricou a emis aupres d'Emmanuel le souhait de recuperer les serveurs
"pix" blancs encore valides pour chez lui (sa cave!), car l'admin systeme du
LRDE n'en veut finalement pas. Il kiffe aussi sur notre rack en rab'. Une
decision n'a pas encore ete prise a ce sujet.

Misc. (Mathias S., Yannick):
- Le livre "Python scripting for computational science" est arrive. Une commande
est en cours pour "Numerical Methods in Engineering with Python" et "The
Definitive Guide to Django: Web Development Done Right". Chacun de ces livres a
ete commande en deux exemplaires. *Emmanuel: SVP pensez a mettre a jour la table
des livres et de leur location sur l'intranet*.
- Mathias S. est en train de rediger une demande avec ses collegues de l'IPAC
pour une bourse NASA afin d'y effectuer un sejour de 3 mois en 2008.
- Pb de prime et remboursement train P. Hudelot: Les deux problemes concernaient
des moyens d'attibution et de remboursements rapides. Des solutions ont ete
trouvees et Patrick et Mathias auront leur probleme resolu avant le 24 decembre.
- A la demande du Board qui se reunisait cette semaine, Yannick a fait
l'inventaire de tous les articles a referee publies ou acceptes en 2007 et se
rapportant au Deep ou au Wide, hors SNLS. La liste a ete envoyee a Jean-Charles
Cuillandre pour la mettre sur la page web du CFHT.
- Yannick a prepare des transparents des activites scientifiques du Deep et du
Wide, hors SNLS pour la presentation de Christian Veillet et celle de
Jean-Charles Cuillandre au Board du CFHT.
- Jean-Charles sera a TERAPIX pour discuter photometrie les 20 et 21 decembre.

Amicalement,
			Emmanuel.