Chers tous Voici le resume des activites de la periode du 3 au 16 juillet 2008. Alertez moi s'il manque des points que vous jugez importants. Le Tera- meeting est prevu mercredi 16 juillet a: 14:30, salle des seminaires Amicalement Yannick {{ATTENTION: la numerotation des images du CFHT est sur le point d'atteindre 999999 . Pensez a verifier que la lecture d'un digit supplementaire ne posera pas de probleme aux logiciels, scripts, etc...}} {{I. Processing T0005: Yannick, Fred, Mathias (S.), Mathias (M.)}} Fred a nettoye les zones d'acces CADC des disques Terapix de facon a pouvoir deposer et transferer au CADC T0005 au fur et a mesure de sa production. Les trois répertoires qui comptent dans l'espace /data/fcix3/raid/T0004/cadc sont Deep, Wide et catalogs, et dans le repertoire catalogs, les repertoires significatifs sont PS, deep_wide et ugriz. Fred a recupere au CADC toutes les images Deep qui sont encore inaccessibles sur les disques de mix3. On peut desormais preparer T0005-Deep completement. Yannick a finalise tous les fichiers condor des stacks wide pour produire les W*-T0005 depuis les QFITS jusqu'a la production des catalogues chi2. Il a ensuite lance les QFITS-in des wide : 3900 images, dont 1797 W1, 841 W2 et 1262 W3. Yannick a commence les scamp des Wide. W1 pose deja probleme avec ces 1797 images dont 78 instruments. Il y a trop de contextes. Yannick diminue progressivement l'aire W1 en eliminait des RunID pour tenter de composer les .head a partir de deux sous-ensembles W1. Mathias S. a envoye a Yannick une petite notice d'utilisation des procedures de Mireille pour les analyses color-color et merging de catalogues de facon que Yannick puisse conduire T0005 jusqu'a la production des catalogues merged. - Yannick et Mathias M. ont tente de lancer les processings qualityFITS des 1797 images de T05W1 depuis l'interface de Spica2. L'ingestion des images s'est deroulee avec succes. Sur l'ensemble des actions effectuees, deux problemes majeurs sont apparus: + Probleme de selection des images depuis le selecteur d'images. Erreur 'URI too long' renvoyee par le serveur (voir T05 developments). + Saturation du serveur MySQL (too many connections). Chaque job Condor (pour chaque image) cherche a se connecter a la base MySQL pour rentrer des informations relatives a la date de debut du processing, le nom de l'utilisateur a l'origine du processing etc. Comme nous disposons de beaucoup de CPUs sur le cluster, une grande quantite de jobs demarre presque en meme temps. Les acces a la base de donnees sont donc quasi simultannes, ce que n'apprecie pas le serveur MySQL dont le nombre maximum de connections simultannees est fixe a 100 par defaut. Les processings n'ont donc pas pu etre lances avec succes. Le probleme lie a MySQL est en cours d'investigation. Une solution de depart differe des jobs est etudiee pour permettre d'etaler les connections a la base dans le temps. {{II. Processing Megacam PI: Hudelot, Yannick}} 08AC16 08AF20 + LP-NGVS: Ferrarese, Mei Yannick a continuer la production les tests de soustracion optimale du ciel sur ces champs contamines par quelques grosses galaxies comme M87. Patrick Hudelot essaie de trouver une solution de masking permettant de calculer un fond autour de ces galaxies en utilisant ses outils de masking. {{III. Processing WIRCam (Henry, Patrick):}} III.1. Completness tool applied to WIRCam data (Henry) In the WIRCAM image simulations, the number of bulge-dominated systems is small; a new image was created containing just bulge-dominated systems. The resulting completeness curves however was not exactly what I expected; in this simulation, the 50% completeness magnitude is *less* than for the image dominated by disk galaxies! Tests are underway. Henry a explique a Patrick comment utiliser son outil de calcul de completude. III.2 PI-WIRCam processing (Patrick) Ibata : Patrick a termine le traitement des images Ibata dans l'environnement de M31: - Stack de chaque pointes : Deux versions High Resolution (0.2 arcsec) , Low Resolution (0.3 arcsec) - Poststack photometry (comparaison avec 2MASS) : Pas de modification en J, un shift de 0.5mag du point zero en Ks - Data Release au PI, pas de reponse jusqu a maintenant. Bouvier IC4665 : - Dans le dernier stack, il y a des images Ks d'un run deja reduit (pour completer les pointes). Il est necessaire de refaire les soustractions de ciel pour ces images. - Nouveau stack sur toutes les images Ks et soustraction du ciel des nouvelles images. - A faire : QFITS / Scamp (tous les filtres et toutes les pointes) / Swarp Bouvier 08AF98 : - Premier stack / Images couleur : Nebuleuses tres etendues (>50% de la surface totale) - soustraction du fond de ciel en cours {{IV. Spica2 developpement: Mathias M., Gregory}} - Mathias M. a ajoute la possibilite de pouvoir definir un nom de repertoire personnalise ${CUSTOM_ITEM_DIR} pour la sortie des donnees renvoyees par condor_transfer.pl: /data/mix4/raid1/spica-DEV/${LOGIN}/${PLUGIN}/${CUSTOM_ITEM_DIR} Il est ainsi possible de creer un sous-repertoire pour des donnees WIRCAM par exemple, ou un autre pour regrouper les resultats d'une release particuliere etc. Patrick a fait remarquer que la possibilite de definir une arborescence un peu plus complexe (par exemple: repertoire+sous-repertoires) serait interessante. Cette fonctionnalite sera implementee tres prochainement. - Ameliorations de l'interface de presentation des resultats: + Il est possible de filtrer les resultats par type de processings, par utilisateur et par code de sortie (en erreur ou pas) + Nouvelle zone de texte pour recherche personnalisee. La recherche est effectuee sur de nombreuses tables de la base et pas uniquement sur les donnees affichees a l'ecran dans 'Processing history'. Cela permet de retrouver des resultats tres facilement: Extrait svn rev 1518: "Full custom text searching added. Using efficient OR' ed SQL queries with Django's Q object, any content in the following DB fields can be matched (case-insensitive): * name, path, alpha, delta, equinox, object, airmass, checksum, gain, * ingestion date, flat, mask, reg, instrument name, instrument telescope, run name, QSOstatus (from image table) * task username, task user's firstname/lastname, task's node, task start date, task end date, custom plugin description (from processing_task table). When hitting Enter, the matching processing tasks are retreived." + Refonte graphique: interface plus claire et intuitive, affichage explicite des donnees traitees (par exemple, nom de l'image processee) (requete de Mathias S.) http://clix.iap.fr/spica2/results/ - Selecteur d'images (processing): le code 3rd party du widget JavaScript dhtmlxGrid impose l'utilisation de requetes HTTP GET lors de ses communi- cations avec un serveur. Yannick et Mathias M. ont ete confrontes a un probleme d'URL trop longue lorsque le selecteur d'images tente de traiter un grand nombre d'images a la fois. Le probleme a ete resolu, cette limitation n'existe plus (svn rev 1524). Misc: - Doc 'Writing plugins for Spica': ajout d'un graphique (page 8) decrivant les appels de fonctions ainsi que l'assemblage des composants principaux intervenant lors de l'ecriture de plugin pour Spica. Il permet d'avoir une meilleure vue d'ensemble quant a l'interfacage entre les fonctionnalites de base (core) de l'application et celles fournies par le plugin. http://terapix.iap.fr/wsvn/index/private/software/spica2/doc/writing_plugins/writing_plugins.pdf?op=file&rev=1524&sc=1 {{V. Image Processing Software/tools (Patrick, Lila, Emmanuel, Henry:}} V.1. Developpement Emmanuel's suite: PSFEx: Emmanuel a continue les developpements destines a rendre les nouvelles fonctionnalites de PSFEx 3.x (solution globale multi-pose a la SCAMP) mieux utilisables: nouveau format XML de sortie, avec statistiques calculees par pose ou par extension, nouveau filtre XSLT a la SCAMP, avec inclusion des plots et affichage des min/max pour chaque mesure: http://kiravix.iap.fr:8080/~bertin/psfex/psfex.xml , nouvelle gestion des check-images (une check-image par type et par pose!), nouveaux check -plots representant la distribution des residus et de l'asymetrie sur le champ, generalisation de l'usage de l'ellipticite de la PSF au detriment de celui de son "elongation". En raison de l'incompatibilite du XML et du fichier de config de cette nouvelle version 3.x avec ceux de la version 2.x actuellement installee sur le cluster, ces developpements reclament une mise-a-jour de QualityFITS et de SPICA2 et ne sont donc exploitables que pour T06 (et les programmes PI post-T05). V.2. Stage Lila: Modelisation et soustraction du fond du ciel" Le resultat de la soustraction obtenue par Lila n'est pas homogene sur l'ensemble de l'image. Pour de palier a ce probleme, Lila a traite les groupes d'images independants separement, mais il reste des ameliorations a apporter au systeme avant de se prononcer sur le resultat Lila a eu une reunion avec Yannick, Patrick et Henry ou elle a expose la methode qu'elle a code. Suite a cette reunion il a ete convenu que : -Lila travaille dans un premiers temps sur des images ne contenant pas de gros objets, et ou l'ensemble des CCD recouvrent toute la grille, et ce afin valider valider ses algorithmes et son code -Qu'elle collabore avec Patrick pour trouver une solution optimale, notamment pour l'extraction des objets avant le calcul du fond du ciel -Lila a aussi contacte Emmanuel qui l'a aidee a s'affranchir de certaines erreurs et l'a guidee dans la phase des tests - Lila soit maintenant produire des carte de poids qui prennent en compte les pixels a zeros dans l'images, car on s'est rendu compte que les cartes de poids acctuelles ne les masquait pas tous correctement. V.3. Developpement WIRCam (Patrick): Condorize. Patrick continue a travaille sur sa procedure alternative a condor_transfer: - Ajout d'un fonctionnalite d'operation de condor dans aucun transfert de fichiers gere par condor (utilisation du NFS pour le fichier de configuration du wrapper). - Decouverte d'un bug dans le cas du lancement de plusieurs job, ils restent en held. A resoudre. Soustraction de fond de ciel avec images MEGACAM : - Adaptation du pipeline pour les images MEGACAM (le pipeline tourne avec assez peu de changement dans les scripts) - test sur une serie d'images MEGACAM Virgo, resultat peu satisfaisant pour le moment (tuning du masquage encore necessaire). V.4. Cross-talk suppression tool (Henry) Henry talked to Len Cowie about the cross-talk on WIRCam. A mail from an ex-student of Len Cowie explained how they do their crosstalk correction, as well as providing the scripts (IDL). Tests are underway. {{VI. Hardware/system/cluster (Fred):}} - sl2s: Fred a identifie la barrette mémoire défaillante. - cosmix5: aucun des tests RAM & alim concluant, la machine s'éteint d'elle même sans cause connue (le système n'est pas en cause, le phénomène se produit aussi pendant des memtest86) -> La machine va donc etre renvoyee chez Carri. - efigix: Fred a change le disque en warning sur 3dm. - mix7: disque rechangé, câbles vérifiés (c'est un multilane, donc il y a peu de chance qu'il s'agisse d'un faux contact), mais la reconstruction continue à échouer. - mix3: la nouvelle carte mère ne démarre pas. Le dialogue est sur-réaliste et ne débouche sur rien avec le support de Tyan {{VI. Divers (All):}} Absence/sante Bertin: il semble y avoir enfin un petit peu de mieux du cote de la breche lombaire depuis ce week-end. On verra en debut de semaine prochaine si une extension de l'arret maladie est necessaire apres le 25 juillet (vraisemblable). Un scanner sera fait jeudi pour tenter d'objectiver la 2nde breche suspectee au niveau des sinus. Patrick, Henry et Yannick on rencontre Stephane Paulin-Henriksson pour discuter de sa participation a Terapix. Stephane est pret a travailler sur les data WIRCam. Il viendrait au moins un jour par semaine. Patrick lui a fait une presentation du processing WIRCam. Yannick a contacte Laurent Vigroux pour avoir son accord. Si tout se deroule sans accroc, Stephane commencera le 4 aout. Il sera dans le bureau de Henry. Poste CDD IR: a ce jour 3 candidats se sont manifestes.