Chers tous Voici le resume des activites de la periode du 15 au 21 octobre 2007. Alertez moi s'il manque des points que vous jugez importants. Le Tera-meeting est prevu demain lundi 22 octobre a 10:30, salle 281. {{I. PI MEGACAM-Annie Robin (Mireille):}} - Mireille a termine la reduction des donnees d'Annie Robin. Les trois RunID, calibres de facon homogene, ont ete mis a la disposition d'Annie Robin. Il a ete demande a Annie de nous tenir informe de sa progression dans l'analyse scientifique des mouvements propres pour connaitre les performances et les limites de ce type d'etude avec les donnees et les outils actuels. {{II. PI-WIRCam (Chiara):}} - Bouvier IC348: Chiara a livre les images en Ks et H. Mais le probleme de la calibration des images des images en J est encore incompris. Le mail ci-dessous de Chiara a Jerome rappelle les deux points difficiles: {{Mail de Chiara a Jerome:}} { - 1) SCAMP semble ne pas parvenir a recaler les poses longues et courtes les unes sur les autres: la calibration a donc ete faite independamment. A l'heure actuelle je n'ai aucune explication de ce comportement: le jeu de donnees d'Ophiucus que j'ai deja traite pour vous presentait la meme separation en poses longues et courtes et je n'avais pas eu ce probleme. - 2) Dispersion excessive autour de la solution photometrique, meme dans le cas de solution independante. J'utilise en general, pour comparer et recaler les images dans SCAMP, le FLUX_AUTO extrait par SExtractor. Il se trouve que dans votre cas les nebulosites du champ polluaient enormement l'estimation de FLUX_AUTO. J'ai decide de passer a FLUX_APER pour la calibration et j'ai ainsi nettoye pas mal de mauvaises estimations: les dispersions sur la calibration photometrique sont desormais acceptables (0.1 < rms < 0.07). Cependant, les stacks de controle ont ete calibres en utilisant FLUX_AUTO. J'ai donc refait une calibration des images de controle avec FLUX_APER, refait les stacks et verifie que les deux calibrations n'avait pas d'inconsistances. } - WIRDS : pour le champ D1, les images dans les filtres J et Ks sont calibrees et stackees: Chiara espere pouvoir lancer ce vendredi soir la soustraction du fond de ciel en double passe, par Condor. La calibration des images du champ D3, en J et Ks, est en cours. - Monin : Chiara a renvoye un mail a Monin qui a confirme qu'il n'avait pas vu passer son mail precedent. Chiara a donc pu ensuite fermer la tache. {{III. Software (Emmanuel, Chiara):}} - Le tuning d'ajustement de profils s'est poursuivi au Fermilab sur SExFIGI (futur SExtractor) sur des simulations MEGACAM et DECAM, dans des conditions de profondeur et de seeing varies. Les resultats sont les suivants (plus de details au retour d'Emmanuel): ** Le nouvel estimateur de photometrie MAG_PROF possede desormais une dispersion comparable a MAG_AUTO. Elle est encore legerement superieure pour les early-types, mais le pb a ete identifie et sera corrige sous-peu. En revanche le biais photometrique est beaucoup plus faible, moins de 1% contre ~6% de perte en moyenne pour MAG_AUTO. Mais Emmanuel rappelle que ce sont des tests sur des simulations uniquement. ** Les simulations rappellent que malgre ce biais MAG_AUTO a un comportement "sain", avec des variations limitees a 0.01-0.02 sur les galaxies late-type pour des doublements de seeing avec des temps de pose >3 minutes sur un telescope de 4 metres par exemple. - De nouvelles options de configuration ont ete ajoutees pour faciliter l'installation sur les systemes Teragrid. - Emmanuel considere que la qualite de l'ajustement SERSIC+EXPONENTIAL ou bien de DEVAUCOULEURS+EXPONENTIAL est desormais suffisamment satisfaisante pour pouvoir l'inclure dans T0005. Il reste a ajouter en sortie les erreurs associees (c'est une difficulte car il y a une (demi-)matrice de covariance assez volumineuse). Emmanuel propose de basculer la version de SExtractor sur le cluster en 2.6.x (ex-SExFIGI) fin octobre. Il ne devrait pas y avoir de probleme de compatibilite a prevoir avec les configs actuelles. - SCAMP: Chiara a ajoute le plot PHOT_ERRORVSMAG: il represente les differences des magnitudes en fonction des magnitudes. XML-output et XSLT-translation ont ete mis a jours en consequence. {{IV. Base de donnees (Gregory):} - Gregory nous a envoye un lien pour nous montrer le premier jet de la connexion a la base de donnees par une interface graphique d'administration, facon DJANGO. C'est une interface brut, sans design au niveau graphique. Elle est consultable a l'adresse suivante { http://optix.iap.fr:8000/admin/ } (avec login et MdP) on peut y consulter le resultat d'une ingestion test sur 190 images Megacam et WIRCam par les scripts qu'a developpe Gregory. Gregory nous rappelle que nous sommes juste dans la premiere phase de l'ingestion, c'est a dire apres le transfert des donnees et avant la production de metadata par QualityFITS. Pour le moment, certains champs definis dans la structure de la base ne sont pas encore reconnus et ne sont donc pas encore affiches (e.g. multipolygon, accesspolicy). L'ensemble fonctionne bien (tests rapportes notamment par Gregory, Chiara et Yannick). Gregory developpe maintenant les autres phases apres l'ingestion, c'est a dire: ** QFITS-in (ajout d'informations et de meta-donnees relatives aux images) ** Processing (type de la chaine de traitement a effectuer "a la carte", avec choix des softs impliques et leur parametrage, ainsi que la definition de la liste de donnees) ** QFITS-out (ajout d'informations et de meta-donnees relatives aux images) {{V. Materiel/budget (Emmanuel, Fred, Yannick:)}} - Les PUMA lances par Fred ont comme date butoir lundi 22 octobre. Fred prevoit de lancer les commandes d'ici vendredi 26 octobre. - Les petites commandes de materiels hors-PUMA sont parties. - La commande pour la machine du cluster CFHTLS (5000 euros PNPS + 2700 euros PNC) n'est pas encore prete. {{VI. Postes (Mireille, Henry, Emmanuel, Mathias, Yannick ):}} - Emmanuel a interviewe Patrick Hudelot par telephone lundi soir (il avait interviewe Olivier Herent la semaine derniere). Il semble correspondre exactement au profil, selon Emmanuel. Il eeste a decider ou l'on place le curseur pour ses taches: plutot reduction ou plutot developpement? Emmanuel souligne que cette question est liee a la part de travail "de service" que nous autres astronomes sommes prets a investir dans la reduction des donnees PI (ou, inversement, developpement du pipeline) apres le depart de Mireille et Chiara. Emmanuel rappelle qu'apres-tout cela fait justement partie de nos taches de service. - Yannick a envoye un mail a Patrick Hudelot pour qu'il nous confirme qu'il peut prendre le poste le 1er novembre. Pas de reponse a ce jour. - Yannick a rencontre Olivier Herent et l'a presente a quelques terapixiens presents lors de son passage. Il a semble tres bien pour ce poste, il connait tres bien Terapix et est apparemment parfaitement a l'aise avec les logicels et les operations de Terapix. Il est pret a venir le 1er novembre. Yannick a promis a Olivier de lui communiquer la decision lundi 22, mais il est possible que cette date limite soit repoussee si Hudelot ne se manifeste pas pour confirmer qu'il est disponible le 1er novembre. - Un troisieme candidat s'est manifeste. Son CV est interessant, mais Emmanuel et Yannick pensent que les deux precedents ont un meilleur profil. Ils presentent l'avantage d'etre operationnel immediatement compte tenu de leur formation en astronomie et traitement d'images Megacam/CFH12k.UH8k. Yannick a pris contact avec ce candidat pour accuser reception de sa demande et le tenir au courant de notre decision, quelle qu'elle soit. - Concernant le postionnement du "curseur pour ses taches: plutot reduction ou developpement? ", le probleme a ete discute au cours d'une reunion avec Mireille, Henry, Mathias et Yannick. Il a ete souligne qu'aucune solution n'est possible sans un minimum de redeploiment et redefinition des taches de chacun. Mais un avis unamime s'est degage insister sur le fait qu'il n'est pas realiste de deporter brutalement (i.e. en un mois) l'ensemble du processing des donnees PI sur les astronomes. En effet, les deux personnes qui seraient directement impliquees dans ces taches sont Henry et Mathias. Comme Chiara et Mireille y consacrent une tres grande partie de leur temps, il est difficile d'imaginer Henry et Mathias remplir ces fonctions sans y consacrer tout leur temps a partir du 1er decembre, ce qui n'est pas raisonnable et n'est pas acceptable pour Henry et Mathias. Ceci porte a orienter le candidat vers l'operation. D'un autre cote, la meilleure strategie pour repondre a cette difficulte de facon perenne c'est de se concentrer sur le developpement d'outils qui gerent et traitent toutes les donnees, qu'elles soient PI ou Legacy, ou bien visibles ou infra- rouges. Il est de ce point de vue plus intelligent d'orienter le candidat vers du developpement. Le choix est donc difficile, compte tenu des besoins et des differents degres d'urgence. Yannick a rapelle a Henry et Mathias qu'il est contractuel d'effectuer des taches de service, et que "service" signifie "pour la communaute" et non pas pour nos propres interets scientifiques. Ce n'est pas forcement un plaisir de traiter les donnees des autres, mais apres-tout c'est exactement ce que l'on demande a un ingenieur dont les fonctions sont sur les operations. Il a aussi rappele que Terapix est une tache lourde, effectivement, mais qu'en contrepartie nous beneficions de moyens materiels et financiers incroyablement superieurs a la moyenne pour nos propres recherches. A l'issue de cette reunion, Henry et Mathias se sont dits prets a consacrer 2jour/semaine aux operations, avec un schema ou Megacam serait plutot pour Mathias et WIRCam plutot pour WIRCam. Ce compromis n'est pas sans des reserves et des craintes que la charge soit impossible a effectuer. Simultanement, il faudrait que le candidat consacre environ 40% aux operations et 60% au developpement. (note ajoutee par : La partie operation comprenant le transfert de connaissance et la documentation d'utilisation? A discuter). Cette repartition devrait changer au cours des prochains mois, car si les outils de developpement facilitent progressivement de plus en plus les taches d'operation, nous pouvons esperer voir les taches des astronomes diminuer et devenir de plus en plus simple et conviviale. La fraction proposee sera a discuter tous ensemble , au retour d'Emmanuel. Une fois que nous serons tous d'accord, il faudra clarifier la mise en place de la configuration adoptee les echeances et son mode operatoire pour eviter entre autre un fonctionnement erratique. Il faudra aussi trouver le moyen de faciliter les connexions de Mathias vers Terapix. - Par ailleurs, au 19/10/2007, ni Nicole Blondin , ni Laurent Vigroux n'ont de nouvelles du poste CDI IE de Paris VI. {{VII. Divers (ALL):}} - Mireille souhaite savoir s'il est normal qu'un catalogue fait avec une certaine image soit legerement different de celui fait avec cette meme image compressee puis decompressee, ceci en utilisant strictement les memes fichiers de config dans Sextractor. La difference se manifeste par un nbre different d'objets et aussi par des valeurs parfois differentes des parametres (x,y, mag, etc..). Mireille souhaite des eclaircissements sur ce pb pour etre en mesure d'y repondre lorsque des utilisateurs refont nos catalogues avec leurs images decompressees. Ils risquent de ne pas retrouver les memes informations que celles de nos catalogues et de s'en inquieter. {{Reponse d'Emmanuel a Mireille:}} { Si les images compressees sont des floats (BITPIX=-32), la compression d'IMCOPY fait appel par defaut a de la compression entropique destructrice comme l'avait montre le stage de Julien Lhermitte. Pour etre efficace (on atteint quasiment le niveau d'un algo de Huffmann) les images doivent d'abord etre quantifiees a un certain nombre de bits (ce nombre de bits peut etre change en ligne de commande). Si les images sont en entier il n'y a pas de requantification et donc pas de destruction (faible) d'information. Il doit etre facile d'estimer la degradation en soustrayant l'image decompressee de celle d'origine. } - Suite a la requete de Chris Willot pour la production dans T0005 de stacks Deep 70%, Mathias a selectionne des sous-echantillons a 25%, 70% et 85% (best seeing) dans tous les filtres et pour les quatre champs Deep, puis effectue un certain nombre d'evaluations statistiques. Les resultats on ete envoyes a Willot. Il semble clair que les differences entre 70% et 85% ne sont pas suffisamment significatives pour construire un troisieme jeu de stacks Deep a 70%. C. Willot demande si nous pourrions refaire ce test lorsque la totalite des images de T0005 aura ete ingeree pour verifier que les tests sur T0004 n'ont pas ete alteres par une fraction trop elevee de "mauvaises" images prises au tout debut des observations avec Megacam.