Message-ID: <480E4F76.8050603@iap.fr>
Date: Tue, 22 Apr 2008 22:49:58 +0200
From: Emmanuel Bertin <bertin@iap.fr>
MIME-Version: 1.0
To: teralist@iap.fr
Subject: [teralist] Synthese de la semaine du 10/04 au 22/04/2008
Content-Type: text/plain; charset=ISO-8859-1; format=flowed
Content-Transfer-Encoding: 7bit
Reply-To: teralist@iap.fr
Precedence: list
Sender: petidomo GRAND POSTIER <petidomo@iap.fr>

Chers tous,

voici la synthese des activites couvrant cette longue periode du 10/04 au 22/04 
a partir des bilans de Patrick, Henry Joy, Yannick, Gregory, Mathias M., et 
Mathias S. Merci a vous!

Par ordre arbitraire:

Operations CFHTLS (Yannick, Emmanuel, Fred, Mathias S.)
- Une fraction des images W2 et W3 qui devait etre notees en urgence pour 
eventuellement demander au CFHT de les reobserver en mai manquait dans la liste 
precedentes. Ces images n'etaient pas disponibles au CADC. Les images manquantes 
ont ete identifiees par Yannick et Herve Aussel, puis transferees par Fred a 
Terapix. Yannick les a ensuite QFITSees et notees. La liste des champs a refaire 
en mai a ete envoyee au CFHT dimanche 20 avril.
- Du meme coup, l'ensemble de nouvelles images W2, W3 et W4 qui sera inclus dans 
T0005 est note. Yannick a mis les notes et les commentaires dans des fichiers 
CSV pour qu'ils puissent etre facilement ingeres dans la base que Greg et 
Mathias (M.) construisent.
- Des premiers test de T0005 de Scamp sur un sous-echantillon d'images de W4 est 
en cours. Le test comporte le champ W4+0+0 en ugriz qui comporte a la fois des 
poses longues avec des flags photometriques "P" ou "A" ainsi que des poses 
"courtes "P.  Grace a un script Python produit par Emmanuel, Yannick a 
facilement lu son fichier contenant les nouveau points zeros de chaque image et 
verifie que les .ahead etaient crees correctement.  Mais les premiers tests ont 
revele un probleme de calibration photometrique pour certain champs. suite a la 
suggestion d'Emmanuel il s'est avere que la source du probleme provenait d'une 
"amelioration" apportee a SExtractor l'ete dernier, et appliquee pour la 
premiere fois au CFHTLS: le niveau de saturation est directement lu par defaut 
dans les headers (mot-cle "SATURATE"). Malheureusement, si les SATURATE sont 
generalement correctes pour WIRCam, cela ne semble pas etre le cas pour MEGACAM: 
le SATURATE s'avere legerement sur-estime sur beaucoup de CCDs, ce qui a pour 
consequence d'inclure des etoiles saturees dans la calibration. Correction faite 
(passage en "manuel": avant de choisir SATUR_LEVEL , il faut ajouter "-SATUR_KEY 
TOTO"), l'intercalibration photometrique des champs semble fonctionner 
nominalement, y compris dans le jeu heterogene d'images de W4+0+0.
- Yannick a ensuite effectue une serie de test pour determiner les meilleurs 
parametres de saturation (permettant une selection d'un nombre maximum d'objets 
sans contaminer aucune bande ugriz par des objets satures).  Le choix converge 
vers SATUR_LEVEL 40000. Quelques tests sont encore en cours. Lorsque ces 
parametres seront definitivement determines, il faudra relancer tous  les QFITS 
de facons a constuire des catalogues ldac ayant les bon flags etoiles/galaxies 
saturees.
- Au cours de la recherche des meilleurs parametres, Yannick a rapporte un 
probleme avec Condor. Le lancement de QFITS sur les 37 images composant W4+0+0 
se trouve  systematiquement bloque a moins de 37 images. Une fraction ne peut 
pas etre copiee sur les disques du noeud supposer prendre en charge son 
processing. Fred a resolu le probleme ce matin (mardi 21). Il s'agissait d'un 
probleme de configuration empechant le transfert de plus de 15 images. Yannick a 
verifie ce matin que Condor/QFITS sur 18 puis 37 images fonctionne desormais.
- offsets photometriques de T0004: Mathias S. a regarde les QFits-in de W4 pour 
les champs qui ont un offset > 0.02 mag par rapport au SDSS. Il n'a constate 
aucune anomalie dans les images. Donc il suppose que cet offset provient du 
probleme de point-zero? W3 est en cours. *Mathias S. demande: "quelle est la 
dispersion des points-zero ? A-t-on cette info?*
- Yannick a decouvert des images de seeing extraordinaire (FWHM 0.38") parmi les 
nouvelles images W4 en bande z. Emmanuel a constate que certaines sources 
ponctuelles generaient une detection fortuite de rayons cosmiques par le reseau 
de neurones de SExtractor. Des problemes de reechantillonnage (critere de 
Nyquist non-respecte avec une marge suffisante) et de co-addition sont egalement 
a prevoir avec SWarp!

Operations WIRCAM (Patrick, Henry Joy):
- Balogh : Patrick a termine la reduction et les donnees sont pretes a etre 
releasees. Il ne reste plus qu'a ecrire le rapport de reduction (mercredi)
- Patrick et Henry Joy ont prepare la demo Ultra-Vista pour Marijn Franx: 
Patrick a cree un fichier avec toutes les commandes pour une reduction complete 
WIRCAM avec les nouveau script(destine a remplacer la page de Chiara sur le site 
WEB de TERAPIX). Il a reprocesse un set d'images (300) de WIRDS D3 en Ks.
- Tests d'ingestion d'images WIRCAM par spica2: tests de Qfits d'images WIRCAM
  --> comment inclure les reg files
  --> chercher le flat dans le header (+download de Hawaii si absent)
- Henry Joy a reprocesse WIRDS D3 and D1 deux fois a l'aide des scripts d'Herve 
et recombines avec sigma clipping. Cela n'est pas complement optimum, car 
certains champs ont un faible nombre de sources. Il se pourrait qu'il soit 
encore necessaire de recalculer la solution photometrique; des bugs ont ete 
trouves ici et la.
- Les diagrammes couleur-couleur de D3 et D1 sont en cours de production (des 
catalogues en ugrizJK ont ete faits pour le champ D3).
- Henry Joy rapporte que les bandes sombres dans le champ D3 sont des residus de 
remanence. Elles trouvent leur origine dans l'usage par le CFHT de motifs de 
dithering identiques repetes au fil des poses. Il semble a Henry Joy qu'il est 
essentiel d'introduire des motifs aleatoires pour de futures observations 
profondes. Yannick a deja contacte Roser (pas de reponse); peut-etre Henry Joy 
devrait-il ecrire a Pierre Martin ou Loic?

Developpements T05 (Greg, Mathias M.)
- Greg a resolu le probleme lie au choix de la machine qui recoit l'ingestion a 
effectuer.
- Avancement sur pages de stats. "Global stats": Greg a ajoute les runs ingeres 
et les channels correspondant a un instrument pour chaque survey represente. 
"Preingestion stats": les requetes sur la table fitstables sont possibles 
directement depuis cet onglet. "Ingestion stats" contient runs, instrument, 
nombre d'images, channel, completion avec fitstables presents,  concernant tout 
ce qui a ete ingere par spica2. Tout est visualisable depuis 
http://clix.iap.fr:8888/spica2/
- Gregory, Emmanuel et Yannick ont compare les donnees de sorties de QFITS de 
SPICA2 avec celles produites par Fred.  Une difference sensible est apparu dans 
l'estimation  des proprietes du fond de ciel. Apres plusieurs essais, ils sont 
parvenu a obtenir des resultats rigoureusement identiques. Les differences 
etaient dues a l'usage de flats  differents entre les processing de Fred et ceux 
de Greg/Mathias M..
- Mathias M. a apporte de multiples corrections pour permettre l'ingestion 
d'images WIRCAM. Les ingestions de donnees WIRCAM lancees par Patrick ces 
derniers jours  depuis l'interface web permettent d'affirmer que le degre de 
fiabilite des ingestions de donnees WIRCAM (et MEGACAM) est satisfaisant.
- Les images n'ayant pas d'entree correspondante dans la table spica2_fitstables 
(phase de preingestion) peuvent maintenant etre  ingerees (avec un QSOSTATUS par 
defaut a 'OBSERVED'). Au prealable, il  convient donc, sur la page de lancement 
des ingestions, de decocher la  case "Skip ingestion when QSO status does not 
match 'validated'".
- Mathias M. a enrichi le formulaire de selection d'images d'un critere 
permettant de chercher des images par leur nom. Le pattern specifie dans le 
widget correspondant peut contenir des wildcards (notes '%' sous MySQL) mais pas 
d'expressions rationnelles: par exemple, le pattern '%s_%' (no need to add 
'.fits') permettrait de selectionner toutes les images du type 
'XXXXXXs_YY.fits'. *Emmanuel demande: par similitude avec les shells, serait-il 
possible d'accepter egalement le symbole '*' comme wildcard?*

Autres developpements (Patrick, Emmanuel, Mathias M.)
- Patrick a reecrit et etendu (Python, download automatique du catalogue 2MASS) 
le script de Herve pour la photometrie 2MASS des images individuelles avant 
stacking. La vitesse obtenue est similaire au script IDL a cause de l'absence de 
wrapper Python pour WCSLIB (uniquement WCSTools). Il va essayer d'ecrire 
rapidement un wrapper pour cette librairie.
- Emmanuel a travaille sur l'amelioration de l'ajustement de modeles dans 
SExtractor (passe en version 2.7 sur le SVN): acceleration de 15% de la vitesse 
de calcul, choix des combinaisons de modeles effectuee automatiquement par 
selection des parametres de mesure (par exemple selectionner SPHEROID_SERSICN et 
DISK_SCALE entraine automatiquement un fit Sersic+exponentiel), prise en compte 
des cartes de poids et des pixels satures, troncature circulaire de la zone 
fittee. La resolution interne de modelisation a ete rendue independante de celle 
de la PSF, ce qui semble resoudre les pbs de biais sur les tailles des bulbes, 
mais se fait au detriment de la vitesse: un compromis reste a trouver. Il reste 
enfin a sortir les versions "World" des mesures et les estimations d'erreur.
- Emmanuel a pris note de la necessite d'ajouter le support des images VISTA 
dans ses logiciels mais n'a pas encore trouve le temps de le faire.
- Mathias M. a commence le portage vers OpenBSD de SExtractor & co.

Systeme/hardware (Fred)
- Emmanuel a rallume efigix2 sans mauvaises surprises. Le DVD dans le tray etait 
par contre couvert d'une quantite importante de poussiere (travaux dans la salle?).
- Emmanuel a mis-a-jour la version de SExtractor sur clix (version 
significativement plus ancienne que sur les autres machines du cluster).
- Avancement du nouveau cluster: Pas de bilan communique.

Divers (Yannick, Emmanuel)
- Une etudiante de M1 Informatique/imagerie, Lila Hadji, a sollicite Emmanuel 
pour effectuer un stage de 3 mois (juin-juillet-aout). Elle est tres motivee. 
Emmanuel lui a propose de travailler sur l'homogeneisation du fond diffus dans 
les operations de mosaiquage (SWarp).
- Yannick rapporte que Bruxelles a approuve le rapport final de Terapix 
concernant les activites Astrowise. Du coup, Terapix est credite de 60 keuros. 
3 keuros sont soustraits pour payer notre abonnement a Oracle. Il reste 57 
Keuros que Yannick envisage d'utiliser pour payer un IR pendant 12 mois approx 
afin d'installer et d'initier les operations AstroWise/Oracle a Terapix. 1500 
euros serviront a "gratifier" la stagiaire d'Emmanuel.
- Demo Ultra-VISTA. Les commentaires de Marijn Franx ont ete tres positifs et 
enthousiates. Attendons les commentaires a froid et les reactions des autres 
partenaires. Yannick remercie tout le monde pour les contributions au succes des 
demos et de la visite de Marijn Franx et Olivier Le Fevre et pour la 
comprehension de tous afin de modifier les plans de la semaine et repondre aux 
besoins et imprevus de cette visite.
- La coupure de courant prevue initialement pour le 14 mai est reportee au 4 
juin, ou plus tard.
- Bertrand Goldman a relance Emmanuel, Fred et Mathias S. au sujet de son disque 
de 1To (besoin d'une carte Firewire?) et de la machine de Mathias S.. Pour 
mettre fin a ces atermoiements, Emmanuel lui a ouvert un compte temporaire sur 
efigix2 (presentement dhcpix25 sous FedoraCore 8) afin qu'il puisse avancer.

Amicalement,
			Emmanuel.