Message-ID: <45A2EA17.3010705@iap.fr>
Date: Tue, 09 Jan 2007 02:04:23 +0100
From: Emmanuel Bertin <bertin@iap.fr>
MIME-Version: 1.0
To:  teralist@iap.fr
Subject: [teralist] Megasynthese des semaines du 22/12 du 08/01
Content-Type: text/plain; charset=ISO-8859-1; format=flowed
Content-Transfer-Encoding: 7bit
Reply-To: teralist@iap.fr
Precedence: list
Sender: petidomo GRAND POSTIER <petidomo@iap.fr>

Chers tous,

voici une synthese partielle et partiale des activites couvrant la
periode du 22/12 au 08/01! Par  ordre arbitraire:

Table T03 / Demarrage T04 (Laurent, Fred, Anthony, Yannick):
- suite a l'ecrasement de /var/ par la replication sur dbterapix (ou 
etait-ce ftpix?) tous les liens "SPICA processing" de la table T03 
intranet QFITS qui contiennent SCAMP et QFITSout n'existaient plus. Du 
coup la table T03 n'avait plus de lien sur SCAMP. Fred a remis un backup 
du 14 decembre. MySQL est passe entre temps en version 5. Laurent, 
Anthony et Fred ont repare les liens.
- Yannick a fini la table T0003 
http://terapix.iap.fr/cplt/tab_t03ym.html. Il reste un petit pb sur la 
colonne "Nb of files" en bande "r' (l'apparence de  cette colonne 
differe des autres).
- mix3 et mix4 ont finalement ete repliques, mais /data/mix3/raid1 a ete 
malencontreusement reformate pendant l'operation, et donc 
potentiellement les donnees de 2247 poses effacees. Les 2246 images 
listees dans la base de donnees ont ete recopiees depuis par Fred.
- les doublons des nouvelles images recuperees sont en cours de 
nettoyage par Fred.
- les softs de JC et Laurent sur clix ont ete replaces dans 
/var/www/localhost/cgi-bin/
- Fred a corrige les pbs de rcp de mix4.
- Laurent a corrige le pb de navigation dans SPIIIICA.

MEGACAM P.I. (Mireille)
- Le runID 06AF26 a ete livre a G. Soucail.

SCAMP / MEGACAM/WIRCAM P.I. (Mireille, Chiara, Emmanuel)
- Les pbs de matching de SCAMP avec 04AF29 rapportes par Mireille ont 
ete investigues par Emmanuel: il s'agit bien d'un pb lie au fort 
rougissement de ces champs. SCAMP a ete modifie pour utiliser une bande 
quelconque des catalogues de reference (nouveau mot-cle ASTREF_BAND dans 
SCAMP 1.3.3). Avec 2MASS J, tous les champs semblent matcher 
parfaitement (ce qui n'etais pas le "cas" en "K" en raison de la 
confusion ajoutee par toutes les sources enfouies).
- Les inconsistances apparentes de photometrie sur 04AF09 rapportees par 
Mireille ont egalement ete investiguees par Emmanuel: la geometrie 
particuliere du dithering conduit a un reajustement legerement different 
des points-zero selon les champs choisis comme reference. Cette 
hypothese a ete verifiee par Mireille en relaxant le parametre 
MAGZERO_REFERR
- Les tests de Mireille sur 06AD89 confirment que les offsets observes 
sur les stacks sont bien dus a SCAMP (pb d'escalope), et non a SWarp. 
Emmanuel doit investiguer.
- le pb de segfault repere par Chiara lors des gros SCAMP avec la 
derniere version a ete corrige.

Swarp (Emmanuel)
- Les gens d'AstroWISE rapportent une erreur de calcul du gain dans 
SWarp lorsque l'echelle de sortie est differente de celle d'entree.

Calibration photometrique (Mathias, Henry)
- Mathias a envoye ses tables de courbes de transmission a Henry, qui 
les a transmises a Roser. *Henry peux-tu poster ces courbes et un 
commentaire sur le site et/ou sur le forum?*
- Henry is currently investigating the illumination correction vs SWarp 
parameters issue with CFHT.

Incidents ponctuels ou recurrents sur le cluster (Fred, Chiara, Emmanuel):
- Laurent signale que pix6 et pix7 ne repondent plus. *Fred, elles sont 
mortes?*
- pb du disjonctage sur la ligne du rack mix7, mix9, etc. *Fred, du 
nouveau sur ce point?*
- Le pb de la chute de rendement de SWarp (I/O) continue a se produire
chaque samedi matin sur mix9, qui doit etre rebootee pour refonctionner 
correctement. mix1 et mix7 n'exhibent pas ce pb. Chiara et Emmanuel ont 
modifie les parametres du BIOS un peu au hasard (activation de IOMMU) 
histoire de tenter quelque chose.
- le serveur FTP de ftpix ne fonctionnait plus apres la migration; Fred 
a corrige le pb.
- La page 3ware intranet indiquait un pb de connection ssh sur mix3 et 
mix4: corrige par Fred.
- pb kacpid de ftpix (charge permanente): Chiara et Emmanuel on 
desactive l'ACPI et le l'option OS-0PnP et ca semble avoir regle le 
probleme.
- Mix1 est regulierement reboote par Chiara pour cause de "gel".
- Emmanuel et Chiara ont tente une reconstruction du RAID1 degrade de 
mix1 en installant un nouveau disque de 250Go, sans plus de succes 
qu'avec l'ancien disque. A noter que les RAID1 de mix5 et mix6 sont 
degrades.
- A la demande de Chiara, Fred redirige desormais les messages SMART sur 
teraop.

Postes, management, misc. (Yannick, Emmanuel):
- Un candidat au poste de CDD IE! *Yannick, du neuf?*.
- Un candidat du master pro de Meudon interesse par un stage a TERAPIX.
- Emmanuel a envoye une version remaniee du prototype OpenGL et des 
commentaires additionnels a AstroWISE.
- Edwin a annonce avoir une possibilite de faire reprendre le travail 
sur Panorapix par un "groupe d'expert en visualisation 3D", mais se 
plaint ne n'avoir eu de retour ni de Yannick, ni de Fred. *a propos 
Fred, as-tu recontacte Agnello Grado?*
- Christophe Gobet dit n'avoir recu aucune commande de fauteuil; 
*Yannick: on commande ces fauteuils pour toi et Chiara?*

WIRCAM (Chiara, Herve, Henry, Yannick):
- Chiara redirige desormais vers TeraOp les messages de notification de 
ses scripts.
- Les retours du Board du CFHT concernant Wircam ont ete rapportes par 
Yannick:
1. Stephane Arnouts va assister Loic Albert pour le pipeline WIRCam.  Je 
ne sais pas encore ce que cela signifie, il faut attendre la reunion 
technique du CFHT qui va s'ajuster pour suivre les recommendations du Board.
2. Par ailleurs il est confirme que le pipeline WIRCam qui est sous IDL 
ne sera pas re-ecrit/transforme pour passer dans un modele ELIXIR. 
C'etait assez evident pour nous, mais au moins c'est desormais clair.
3. Il a ete demande , mais de facon non officielle (i.e. ce n'est pas 
une recommendation du Board) que Loic vienne au plus vite passer un 
sejour a Terapix.
- Herve a finalement passe toute la journee du 8 janvier a l'IAP pour 
investiguer sur la stabilite des offsets des points-zero entre quadrants 
WIRCAM, et produit des statistiques tres completes.
- Les donnees McHardy (mix9) ont ete traitees et mises a disposition: 
pas de retour.
- Les donnees Bouvier (mix9) sont en cours de test pour la soustraction 
du fond de ciel sur images avec nebulosites (pour l'instant que dans la 
bande H):
-- diminuer le seuil de detection des objets dans la construction des 
masques (1sigma a l'origine, 1.5sigma et 2sigma) : en cours;
-- diminuer le BACK_SIZE de Swarp: la photometrie des objets etendus 
devient moins fiable mais celle des etoiles est meilleure: stack 
produit; Chiara attend d'avoir tous les stacks de test pour comparer la 
photometrie.
-- diminuer le nombre d'images (diminuer la constante de temps) 
utilisees dans la construction du sky-frame notamment en H: impossible 
en particulier en H, Chiara a des cubes de donnees micro-dithered de 8 
images, et en utilise 26 pour la soustraction du fond-ciel pour assurer 
au moins trois champs differents.
- Donnees Deharveng (mix1): H et Ks soustraits, J en cours; H et Ks 
passes dans qualityFITS, H note (images avec mauvaise psf ou 
seeing>1.2'' eliminees).
- Donnees Willott (mix7): soustraction en premier passe en cours sur 
deux (06AC01, 06AC99) des trois RUNID demandes. Toutes les images de la 
premiere nuit ont un mauvais format de sortie, Chiara n'a pas encore 
investigue le probleme. Willott demande si (d'apres Chiara et Henry) il 
est preferable d'attendre les nouvelles recettes de Loic (en particulier 
pour la correction du crosstalk et de la linearite) pour les RUNID 
06BC31 et 06BF97. Chiara a repondu que c'est mieux attendre. Aucun PI 
jusqu'a maintenant n'a considere satisfaisante la correction du crosstalk.
- Donnees Cuby-Willis (mix9): Soustraction en premier passe termine.
Le traitement est different: les etoiles de guidage ont des trous, les 
masques des mauvais pixels sont produites en rajoutant une detection sur 
l'image inversee. Problemes lie au format d'entree de certaines images 
(BITPIX -32), Chiara doit refaire les masques en detectant les NaN. Il 
s'agit des images que, pour une raison inconnue, Loic n'a pas soustrait 
du fond de ciel.
- Software: premier import sur SVN des procedures perl que Chiara 
utilise pour le traitement. Parallelisation avec ForkManager.pl. Les 
tests effectues sur les taches WIRCAM indiquent une acceleration d'un 
facteur 1.7 a 3 avec 4 processeur par rapport a une execution 
sequentielle. Suite aux tests sur ForkManager Fred a installe le package 
sur toutes les machines.
- Henry a ecrit deux scripts pour le traitement WIRCAM, dont un qui 
identifie les images dont les PSFs sont multiples (pour identifier les 
problemes de tracking).
Amicalement,
			Emmanuel.