Chers tous Voici le resume des activites de la periode du 05 au 12 novembre 2007. Alertez moi s'il manque des points que vous jugez importants. Le Tera- meeting est prevu demain mardi 12 novembre a 10:00, salle 281. *** NOTEZ LA DATE ET L'HORAIRE DU TERA-MEETING DU 12/11/07: 10:00 *** -------------------------------------------------------------------- A noter que Patrick Hudelot nous fera une petite presentation de ses travaux effectues aux cours des annees precedentes. -------------------------------------------------------------------- {{I. PI-WIRCam (Chiara, Henry, Patrick):}} - Chiara a presente les scripts WIRCam et montre leur fonctionnement a Patrick et Henry. Ils se sont ensuite mis a la tache pour executer des processing de donnees WIRCam PI, principalement sur celles de Walawender (06BH53), pas a pas d'abord, sous l'oeil de Chiara, puis de facon plus autonome ensuite (surtout pour Patrick). - Patrick Hudelot en a profite pour decourvir et se familiariser avec les outils et les ressources informatiques Terapix. - 1) Bouvier: . IC348 J : Chiara et Henry ont realise que la procedure de substitution des FLXSCALE dans les headers ASCII de Chiara etait buggee, entrainant une modification que d'un FLUX_SCALE sur les quatres qui sont dans le header des images. Apres correction, Chiara a pu utiliser la calibration de SCAMP pour produire les stacks. Chiara a donc refait tous les stacks 2MASS-like deja delivres et termine le stack J. Les donnees sont sur ftp et Bouvier est notifie. Chiara a finalement pu comparer la calibration de Henry et celle de SCAMP (cf mail du 7/11/2007 "Bouvier_IC348: comparaison photometrie SCAMP vs. IDL Herve/Henry"). Elle pense que le rajout du degre de liberte sur les differences chip a chip peut beaucoup ameliorer la solution photometrique pour WIRCam. - 2) WIRDS: Willott et Kneib sont d'accord pour que les stacks WIRDS soient calibres astrometriquement sur les stacks T0004. Chiara a donc lance la soustraction de fond de ciel. C'est en cours (D1-J termine, D1-Ks une liste manque encore a l'appel, D4 termine, D3 en cours), QualityFITS deuxieme passe (D1-J termine, D4 en cours). - 3) Walawender: A part quelque petit accident de parcours, tout s'est bien passe. Henry a fait le traitement jusqu'a la production des stacks finaux sur mix7. Patrick aussi, sur mix9. Chiara, Patrick et Henry aborderont la partie quality assessment et packaging pour le PI au retour de Chiara, mardi. {{II. MEGACAM (Mireille, Mathias):}} - Pas de processing PI en cours. - Mathias continue a avancer sur l'apprentissage du processing des data MEGACAM. Notamment, il a mis au points des scripts pour accelerer les traitements. - Data Annie Robin: apres discussion avec Annie sur les donnees MEGACAM, Mathias va prendre en charge l'exploitation scientifique, surtout de la photometrie, car Annie n'a pas le temps de faire cette analyse. Mathias souhaiterait utiliser une machine Terapix (photometrie PSF, astrometrie, etc..) pour avancer sur ce travail. {{III. T0004 (Fred):}} - LE CADC nous a rapporte qu'une partie des fichiers .gz rapatries sur leur site etaient "rejected" a cause d'un probleme a la decompression. Ce probelem etait deja survenu mais il avait ete identifie comme etant du a des pb de disque au CADC. Cette fois, le CADC suspecte qu'il s'agit de pb a Terapix. Fred a investigue et confirme que certains catalogues compresses sur fcix3 ont effectivement eu un probleme. Example : gunzip: CFHTLS_W_i_085011-012700_T0004.cat.gz: invalid compressed data--crc error Tous les fichiers (quelques) qui sont corrompus sont identifies. Les fichiers originaux etant disponibles sur les mix*, un certain nombre d'entre eux a ete gzipe puis gunzipe pour verifier qu'ils n'ont pas de pb en amont. La source du probleme est bien sur fcix. Fred a repere tous ces fichiers pour les reposer sur la baie. Le CADC les recupere. Il reste que cela justifie l'insistance de Fred aupres du CADC pour avoir des checksum. Le retard pris dans l'identification du pb provient du fait que le CADC pensait qu'il s'agissait encore d'un pb au CADC. Fred suit ce probleme pour les nouveaux catalogues. {{IV. Software (Emmanuel, Chiara, Fred):}} - Libvotable: Chiara l'a installe sur mix7. - Chiara a corrige quelques bugs dans ses scripts WIRCam, suite au travail avec Henry sur les data de Bouvier. - Chiara se propose d'installer qualityFITS version 1.13.3 sur tout le cluster avant de partir de TERAPIX. Le lancement de qualityFITS par Condor necessite chaque fois un ajustement des parametres de fonctionnement, alors que la derniere version de QualityFITS reglerait ce probleme immediatement si elle etait installee. - Apres avoir identifie des pbs, Fred a termine et teste le script de transfert de Condor. Il en fera une demo demain pendant le Tera-meeting. - Fred a debuge et repare des scripts c3 sur le cluster. - PSFEx: Emmanuel a implemente la regularisation puis l'a tunee et testee sur simulations. Il reste a voir en pratique sur de grandes quantites d'images WIRCam. Sa version SVN de PSFEx a encore subi de grosses modifications (liees de pres ou de loin au papier toujours en cours d'ecriture). Le format de fichier de config a ete modifie pour pouvoir accomoder de facon plus intuitive les changements du code: un changement de numero majeur de version est intervenu dans la semaine (2.2->2.3). - SCAMP: Un bug qui annulait les statistiques astrometriques a haut S/B par rapport au champ de reference, dans le cas d'une seule pose en entree, a ete corrige (bug signale par C.Rite a l'ESO). Emmanuel a aussi enrichies les informations statistiques ecrites dans les .head (infos astrom champ par champ, infos photometriques). - Plusieurs logiciels (dont SCAMP et PSFEx): Emmanuel a effectue une seconde grosse mise-a-jour des scripts d'autoconfiguration, pour gerer plus souplement FFTW et ATLAS (en particulier la version 3.8 officielle de ce dernier, sortie tres recemment); les fichiers d'autoconfiguration sont testes en parallele sur le MacPro de J.B Marquette, qui sert de "systeme exotique" pour controle. Les fichiers .SVN sont desormais filtres automatiquement avant fabrication des archives. - Les fichiers d'autoconfiguration de Stuff ont ete reecrits par Emamnuel pour permettre une installation RPM avec les jeux de donnees. Stuff est donc maintenant installable et fonctionnel avec une parfaite portabilite, au meme titre que les autres packages: il est d'ailleurs en fonctionnement sur Efigix pour mesurer des fonctions de selection. A noter que Stuff a ete traduit en Java par l'equipe Gaia (pas de rapport avec les modifications mentionnees)... {{V. Base de donnees (Gregory, Anthony):} Gregory, avec une aide d'Anthony pour les codes source, a avance sur l'interface du futur pipeline SPICA. L'interface qui est en cours de developpement est consultable a l'adresse suivante: http://optix.iap.fr/spica Au cours de cette semaine elle s'est enrichie de: . La migration sur serveur apache grace a Mod-Python, . la consultation de la premiere couche de la base de donnees. C'est a dire que toutes les tables de la base sont visualisables via l'interface (Ex: table Image, table Instrument,etc....), . la consultation de la deuxieme couche de la base. C'est a dire au niveau d'une table, tous les objets de celle-ci sont visualisables via l'interface (Ex: dans la table Channel, tous les filtres avec lesquels les images ingerees ont ete observees sont references), . la consultation de la troisieme couche de la base. C'est a dire la visualisation de tous les attributs d'un objet d'une table de la base, ainsi que les dependances aux autres tables (Ex: pour une image choisie dans la table Image toutes les informations relatives a celle ci sont visualisables, et les dependances sont l'instrument ,le filtre, le run associe etc...). Il reste cependant quelques corrrections a apporter dans son fonctionnement, . la creation du design de l'interface: 1. via la creation de logos, 2. la manipulation de css, 3. l'edition de templates. **** Gregory attend nos commentaires.***** Compte tenu de l'etat du developpement qui permet de mieux voir son potentiel, Gregory sollicite une nouvelle reunion avec les utilisateurs pour construire l'interface en fonction de nos besoins plus precisement. {{VI. Postes (Yannick:}} - Patrick Hudelot est arrive pour deux semaines. Il tente de regler avec Nicole Blondin et Yannick les points administratifs pour finaliser son contrat. - Meme action en cours pour Monnerville. Complications concernant sa PPRS et surtout sa PFI. Une intervention urgente de Paris 6 est necessaire, pour maintenir ses primes... pas simple parce qu'en prenant le poste IAP, il est passe de personnel permanent Univ. P4 a ... stagiaire Univ. P6... Et on n'attribue pas de primes aux stagiaires!!!. Yannick a donc alerte la Direction de l'IAP pour qu'ensemble ils contactent la DRH de P6 puis ecrivent une lettre adressee a Mme Fisher afin de lui preserver ses deux primes. Action en cours; pas de garantie de succes, neanmoins. {{VII. Harwdare/cluster:}} - Suivi des commandes et de materiels par Fred, notamment le laptop de Monnerville. {{VIII. Divers (All):}} - Chiara voudrait savoir s'il serait possible d'inserer condor@iap.fr dans la mailing list teraop . Comme il s'agit d'une adresse qui ne peut que recevoir est-ce possible de regler ces parametres dans une liste? La raison de la requete est qu'actuellement Chiara est la seule qui peut recevoir les notifications de Condor (Chiara et Henry l'ont verifie). Mais si on fait du traitement avec Condor c'est pour lancer des jobs et d'etre prevenu quand c'est fini, ce qui est fait par la liste teraop. - Mireille reprend la question que Daniel Rouan nous avait posee il y a quelques semaines a propos de ses donnees COROT : ""Sera-t-il possible à l'avenir d'avoir également la date complète (à la seconde près) de la pose Megacam dans les données du catalogue produit par SExtractor (je n'ai pas trouvé cette date non plus dans le header FITS de l'image) ou le glisser dans le nom du fichier catalogue (comme le fait l'ESO) ? ce serait un peu long mais clair." A cette requete, le commentaire de Mireille: "La reduction des data de D. Rouan se resume a un SCAMP puis un SWARP de chaque image, il n'y a pas de stacks en principe. Donc dans le header de l'image swarpee on peut rajouter dans les "propagated keywords" : DATE-OBS, UTC-OBS, UTCEND ou DATE. Si on met uniquement DATE, on a la fois la date et l'heure mais ce Keyword ecrase le Keyword interne a SWARP qui correspond a la creation du fichier swarpe. On peut biensur donner un nom de catalogue avec la date et l'heure, genre: 2007-04-10T07:03:31....cat". A voir, donc pendant le tera-meeting. - Mathias a une question a propos de SCAMP: "Je ne me sens pas encore tres sur sur la précision photométrique. Est-ce-que par example on peut ajouter dans SAMP un graph ou les valeurs de la dispersion photométrique en fonction de la magnitude? -car actuellement je voit mal dans SCAMP comment on peut voir un petit offset photométrique. " Emmanuel rappelle que Chiara a rajoute ce type de "Check-plot" quand elle etait aux US, cela s'appelle PHOT_ERRORVSMAG (voir synthese du 21/10). C'est commite mais pas encore release officiellement. - Emmanuel a installe la derniere version (10.1) du compilo INTEL sur kiravix, et le patch "AMD" semble continuer a fonctionner dessus! - Yannick a depose sur /home/nis/mellier ses rapports+slides ainsi que ceux des autres contributeurs pour le SAC. Le fichier est SAC061107-reports-slides.tar.gz - Mailing list teralist: Fred et Yannick ont interroge de nouveau le service informatique de l'IAP a propos des delais de la liste puis commence a re-investigue. La reponse du service informatique est la suivante (sans surprise) : "Nous avons commencé à travailler sur ce sujet, s'il s'agit bien du même, il y a déjà plus d'un an à la demande de Frédéric. Nous avions mis en place sur le serveur de messagerie carignan des sondes pour collecter les informations qui nous auraient permis d'analyser plus précisément le problème. Après quelque mois, les traces collectées au niveau du réseau et du service SMTP n'ont pas montré d'anomalies dans le fonctionnement de carignan: elle ne font pas apparaître de paquet SMTP qui n'aie pas été pris en compte par le logiciel serveur SMTP. Pour continuer l'analyse, il aurait alors fallu étendre la collecte aux serveur Terapix, ce que nous ne sommes pas habilités à faire. Les disponibilités de Frédéric ne lui permettant apparemment pas d'aller plus loin, l'affaire en est restée là. Compte tenu de l'espace consommé par l'archivage des traces, nous avons désactivé les sondes que nous avions installées. Il ne tient qu'à vous que nous les réactivions et que nous reprenions là où nous nous étions arrêtés." A l'issu, Frederic et Yannick ont convenu d'explorer la voie sur le serveur Terapix, mais si rien n'est trouve, on deplacera la mailing list vers le service informatique de l'IAP. Pas de date precise fixee mais c'est de l'ordre de 15 jrs a dater de la decision (vendredi 9 novembre).