pages tagged perturbationsDIOhttps://dio.obspm.fr/tags/perturbations/DIOikiwiki2024-03-28T09:36:18ZCoupure réseau Meudon pour dévoiement Rubis, nuit du 22-23/04/2024https://dio.obspm.fr/Actualit%C3%A9s/Coupure_Meudon_devoiement_Rubis_2024-04-22/2024-03-28T09:36:18Z2024-03-27T23:00:00Z
<h1>Contexte</h1>
<p>Le campus de Meudon sera totalement isolé du réseau Rubis/Renater,
donc de l'Internet :</p>
<ul>
<li>du <strong>lundi 22 avril 20h00</strong></li>
<li>au <strong>mardi 23 avril 06h00</strong></li>
</ul>
<p>Suite à la pose de <a href="https://dio.obspm.fr/Actualit%C3%A9s/2023-10-chantier-boucle-fo-meudon/">nouvelles fibres optiques dans les nouveaux
cheminements</a> du campus de Meudon,
la DIO a demandé à Renater un dévoiement des deux arrivées Rubis dans
les nouveaux cheminements (cf. <a href="https://scop.obspm.fr/scop/biop-bulletin-interne-de-l-observatoire-de-paris/acces-par-rubrique/focus/article/boucle-fibre-optique-meudon-fin-du-chantier-avec-la-phase-4?trad=fr">article BIOP, section « Dévoiement des
arrivées Renater : plus fiable »
</a>).</p>
<p>Trois tronçons de nouveaux câbles Renater ont été posés les
18-19/03/2024. Il faut maintenant procéder à la coupure des anciens
câbles à deux endroits et aux soudures des nouveaux câbles.</p>
<p>Il n'y a pas que l'Observatoire qui est impacté par ces travaux, des
liaisons desservant d'autres établissements connectés à Rubis (CNRS
Bellevue, ONERA, etc.) seront touchées.</p>
<p>Les bénéfices retirés de cette opération sont :</p>
<ul>
<li>les deux câbles nous connectant à Rubis/Renater prennent des chemins
désormais totalement différents : suppression d'un point de
défaillance unique</li>
<li>les câbles cheminent désormais dans des fourreaux et chambres à
l'état de l'art :
<ul>
<li>les nouvelles chambres de tirages ont des couvercles en fonte plus
résistants au passage des tondeuses à gazon (les anciens couvercles
en béton s'effondraient)</li>
<li>les nouveaux fourreaux sont en PVC, moins fragiles que les anciens
en fibrociment amianté</li>
<li>les nouveaux fourreaux sont finement géolocalisés et munis d'un
filet avertisseur (moins de risque de coup de pelleteuse
malencontreux)</li>
</ul>
</li>
</ul>
<p>Nous vous remercions pour votre compréhension de ces travaux qui vont
améliorer la fiabilité des accès à Rubis/Renater de notre campus.</p>
<h1>Services impactés</h1>
<ul>
<li>tout le campus de Meudon sera isolé de l'Internet</li>
<li>tous les services hébergés à Meudon seront isolés de l'Internet,
notamment :
<ul>
<li>les machines de calcul intensif (MesoPSL, tycho)</li>
<li><a href="https://gitlab.obspm.fr">gitlab.obspm.fr</a></li>
</ul>
</li>
</ul>
<h1>Services non impactés</h1>
<ul>
<li>tous les services hébergés à Paris restent disponibles, notamment :
<ul>
<li>la messagerie</li>
<li>le site web institutionnel</li>
<li>SIFAC</li>
</ul>
</li>
</ul>
<h1>Dernière minute</h1>
<ul>
<li>à venir le cas échéant</li>
</ul>
Blocage mail vers gmail.comhttps://dio.obspm.fr/Actualit%C3%A9s/Blocage_gmail_com/2024-03-28T08:52:52Z2024-03-26T15:24:35Z
<p>Depuis le 01/02/2024, Google (GMail) a durci sa politique de réception
d'e-mail pour lutter contre le spam. Après pas mal de travail et de
cycles d'essai/erreur, la DIO a réussi à faire en sorte que les
e-mails avec un expédieur en <code>@obspm.fr</code> soient acceptés par GMail.</p>
<p>La DIO travaille actuellement pour que les expéditeurs en
<code>@observatoiredeparis.psl.eu</code> soient acceptés de la même façon.</p>
<p>En attendant, nous vous invitons à positionner le champ <code>From</code>
(expéditeur) avec votre adresse <code>@obspm.fr</code> et non pas
<code>@observatoiredeparis.psl.eu</code> si vous avez besoin d'envoyer des
e-mails vers GMail.</p>
<p>Merci pour votre compréhension.</p>
Blocage d'envoi d'e-mail suite au phishing du 29/01/2024https://dio.obspm.fr/Actualit%C3%A9s/E-mail_bloques_suite_phishing_2024-01-29/2024-02-09T14:06:39Z2024-02-08T09:08:55Z
<h1>Incident</h1>
<p>Dans la nuit du 29 au 30 janvier 2024, deux comptes de l'Observatoire
ont été utilisés sur les serveurs de messagerie de l'Observatoire pour
envoyer du spam dans le monde entier (≃ 200 000 e-mails de spams ont
été envoyés).</p>
<p>Cela veut dire que les mots de passe de ces deux comptes ont été
subtilisés par des malveillants via des sites d'<a href="https://fr.wikipedia.org/wiki/Hame%C3%A7onnage">hameçonnage
(phishing)</a>.</p>
<h1>Impact : impossibilité d'envoi vers certains établissements</h1>
<p>Même si ces envois ont été stoppés le plus tôt possible par un
collègue au cours de la nuit (!), le spam massif envoyé depuis les
serveurs de l'Observatoire ont fait chuter leur réputation dans
certains systèmes anti-spam.</p>
<p>À l'heure de la mise à jour de cette brève, nous observons que les
établissements ou entreprises suivants, qui reviennent souvent dans
les destinataires, refusent les messages en provenance de
l'Observatoire (liste bien évidemment non exhaustive) :</p>
<ul>
<li>Tout l'e-mail dépendant de Microsoft
<ul>
<li>Hotmail (@hotmail.fr, @hotmail.com)</li>
<li>Outlook (@outlook.fr)</li>
<li>MSN (@msn.com)</li>
<li>Live.com (@live.com, @live.fr)</li>
<li>PSL (@psl.eu) qui héberge son mail chez Microsoft</li>
</ul>
</li>
<li>les serveurs de messagerie utilisant la liste zen.spamhaus.org</li>
</ul>
<p>Nous ne savons pas quel est le délai de rétablissement de la bonne
réputation de nos serveurs dans les systèmes utilisés par ces
organismes.</p>
<h1>Contournement</h1>
<p>Il semble que pour l'instant seul smtp-p.obspm.fr a mauvaise
réputation. Pour les personnes qui utilisent ce serveur d'envoi et qui
observeraient des blocages, il est possible de temporairement changer
de configuration dans votre client de messagerie pour
<strong>smtp-m.obspm.fr</strong>, le temps que smtp-p.obspm.fr retrouve une bonne
réputation (<a href="https://dio.obspm.fr/Syst%C3%A8me_et_r%C3%A9seau/Comptes_de_messagerie/">tutoriel de configuration de
messagerie</a>).</p>
<h1>Rappel</h1>
<p>Il est indispensable d'être vigilant et de <a href="https://dio.obspm.fr/Actualit%C3%A9s/Vigilance_conges_2015-12/">saisir son mot de passe
uniquement sur des sites web de confiance</a>.</p>
Coupure électrique campus Paris du 20/01/2024https://dio.obspm.fr/Actualit%C3%A9s/Coupure_courant_Paris_2024-01-20/2024-01-20T16:09:33Z2024-01-17T14:25:14Z
<h1>Coupure électrique</h1>
<p>Lors de l'entretien annuel du TGBT du bâtiment A, l'électricité
alimentant la salle informatique mutualisée du campus de Paris (dite
A-111) sera coupée. La prévision de cette coupure est :</p>
<blockquote><p><strong>samedi 20 Janvier 2024, de 8h00 à 17h00 (durée de la coupure
électrique)</strong></p></blockquote>
<p>L'onduleur de la salle est dimensionné pour des petites coupures de
l'ordre de quelques minutes uniquement. l'ensemble de l'informatique
(y compris la téléphonie) sera donc coupé :</p>
<blockquote><p><strong>samedi 20 Janvier 2024, à partir de 06h00 (début de la coupure
informatique)</strong></p></blockquote>
<p>Nous essayerons de redémarrer un maximum de services à la reprise du
courant, mais il est possible que certains services ne puissent
reprendre que lundi matin.</p>
<h1>Dernière minute</h1>
<ul>
<li><p><strong>20/01/2024 16:00</strong> L'essentiel des services sont repartis à l'exception notable du serveur mail.</p></li>
<li><p><strong>20/01/2024 17:00</strong> Le serveur mail est reparti. Les éventuels problèmes résiduels seront réglés à partir de lundi matin.</p></li>
</ul>
Coupure de courant du site de Meudon du 13/01/2024https://dio.obspm.fr/Actualit%C3%A9s/Coupure_courant_Meudon_2024-01-13/2024-01-19T15:35:30Z2023-12-17T23:00:00Z
<h1>Contexte</h1>
<p>Dans le cadre de l’entretien annuel des installations haute tension, une
coupure générale de courant du site de Meudon est prévue
le <strong> samedi 13 janvier de 8h à 17h. </strong></p>
<p>En conséquence tous les services non critiques hébergés à Meudon seront coupés.</p>
<p>Tout ce qui se trouve dans le Mésocentre sera coupé dès le <strong> vendredi 12 janvier à 15h </strong></p>
<p>Nous profiterons de cette coupure pour remplacer l'ATS dans le conteneur qui fonctionne en mode dégradé depuis <a href="https://dio.obspm.fr/Actualit%C3%A9s/Panne_conteneur_Meudon_du_2023_11_03/">la panne du 3 novembre.</a></p>
<p>Le reste des services ne pourra par ailleurs être maintenu que dans le cadre de
l'autonomie du groupe électrogène.</p>
<h1>Services impactés</h1>
<p>Seront interrompus en particulier :</p>
<p>Tout le Mésocentre.
La DIO arrêtera le vendredi 12 janvier à partir de 15h tous les services de
calcul ainsi que tous les équipements et services dépendant du conteneur :</p>
<ul>
<li>la grappe Tycho</li>
<li>la mésomachine MesoPSL</li>
<li>la machine de post-traitement Johannes</li>
</ul>
<h1>Services non impactés</h1>
<p>Tous les services hébergés sur le site de Paris (messageries, sites web
institutionnels, SIFAC, etc.) ne sont pas impactés.</p>
<p>Nous sommes désolés pour cette interruption de service nécessaire.
Les services redémarreront si tout est fonctionnel le lundi en fin de matinée.</p>
<h1>Dernière minute</h1>
<ul>
<li>le 15/01 à 11h35 : Le redémarrage prend plus de temps que prévu suite à la panne de 3 switchs et à la panne d'un transceiver sur le switch de coeur du conteneur.</li>
</ul>
<p>Tycho est disponible partiellement, les noeuds suivants peuvent être utilisés dès maintenant :</p>
<p>tycho[05,06,07,09,10,11,12,13,14,15,16,17,18,20,21,22,23,24,27,28,53,54,55,56,59,60,61,62,71,72,73,74]</p>
<p>Les autres le seront dès qu'un des switchs sera remplacé, si tout se passe bien cet après-midi.</p>
<p>Johannes est disponible.</p>
<p>MesoPSL sera disponible en début d'après midi, une partie des noeuds ne sera disponible qu'après le remplacement des switchs, qui est prévu aussi cet après-midi.</p>
<ul>
<li>le 15/01 à 17h25 : les 3 switchs ont finalement pu redémarrer après quelques heures. Le problème était vraissemblablement dû à la température basse au moment du redémarrage ce matin.</li>
</ul>
<p>Les noeuds Tycho sont maintenant tous disponibles, la majorité des noeuds MesoPSL aussi.</p>
<p>Il reste un problème sur le stockage Loreli qui est partiellement accessible, un des serveur ne démarre pas pour le moment, et un problème d'accès au stockage noether qui reste à diagnostiquer.</p>
<ul>
<li><p>le 16/01 à 11h05 : le support Dell a été contacté pour le problème d'accès au stockage noether et le support HP pour le problème de démarrage du serveur bee10 (stockage Loreli)</p></li>
<li><p>le 16/01 à 14h40 : Une procédure du support HPE a permis de corriger le problème de démarrage du serveur bee10. Le stockage Loreli est maintenant disponible à 100%
.</p></li>
<li>le 19/01 à 16h25 : Le stockage Noether est toujours en maintenance. un rebuild est en cours sur les 3 pools de disques après intervention de Dell. Les 2 contrôleurs avaient perdu leur configuration réseau et 6 disques étaient dans l'état degraded. Le stockage devrait être à nouveau disponible en début de semaine prochaine.</li>
</ul>
<p>Fin</p>
Coupure du réseau Rubis du 16/12/2023https://dio.obspm.fr/Actualit%C3%A9s/Panne_Rubis_2023_12_16/2023-12-18T06:13:08Z2023-12-16T08:46:19Z
<h1>Coupure du réseau Rubis impactant le site de Meudon</h1>
<p>Une maintenance de RENATER sur le réseau RUBIS pour laquelle la DIO
n'a pas été prévenue, impacte le réseau sur le site de Meudon</p>
<p> <strong>samedi 16 décembre 2023 depuis 8h15</strong></p>
<p>Nous mettrons à jour cette page dès que nous aurons plus
d'informations.</p>
<p>Pour l'instant, il n'y a pas d'autre alternative que d'attendre.</p>
<p>Nous sommes désolés pour cette perturbation indépendante de notre
volonté.</p>
<h1>Dernière minute</h1>
<ul>
<li><p>09h55 : On nous annonce que la maintenance devrait être terminée
vers 13h00 aujourd'hui.</p></li>
<li><p>13h00 : le site semble de nouveau opérationnel.</p></li>
</ul>
<p>Bonne fin de week-end</p>
Panne de courant à Meudon du 14/12/2023https://dio.obspm.fr/Actualit%C3%A9s/Panne_de_courant_%C3%A0_Meudon_du_2023_12_14/2023-12-15T16:07:17Z2023-12-14T09:56:53Z
<h1>Coupure de courant</h1>
<p>Le site de Meudon a subi une micro coupure de courant le</p>
<blockquote><p>14/12/2023 aux environs de 10h</p></blockquote>
<h1>Impacts</h1>
<p>En ce qui concerne l'informatique gérée par la DIO, voici les impacts :</p>
<ul>
<li>coupure des serveurs de calcul dans le
<a href="https://dio.obspm.fr/Actualit%C3%A9s/Mise_en_production_du_conteneur/">conteneur</a> qui ont été
brutalement arrêtés, notamment :
<ul>
<li>la <a href="https://dio.obspm.fr/Calcul/tycho/">grappe DIO</a></li>
<li>la <a href="http://www.mesopsl.fr/">mésomachine de calcul</a> <code>mesopsl.obspm.fr</code></li>
</ul>
</li>
</ul>
<p>La remise en service est en cours. Nous mettrons à cette page pour vous tenir informés.
Nous sommes désolés de cette interruption de service indépendante de
notre volonté.</p>
<p>Merci pour votre compréhension.</p>
<h1>Dernière minute</h1>
<p>14:25</p>
<ul>
<li><p>un des 2 serveurs de stockage Loreli ne redémarre pas pour le moment</p></li>
<li><p>2 PDU qui alimentent électriquement des équipements MesoPSL ne fonctionnent plus</p>
<p> cela impacte les noeuds MesoPSL du cluster mesopsl1 : node0050 à node0093 ainsi que le stockage Noether</p>
<p> Un remplacement des PDU est prévu dès que possible à l'aide de matériel en spare.</p></li>
</ul>
<p>18:35</p>
<ul>
<li><p>Les 2 PDU sont remplacés, un seul PDU est fonctionel pour le moment mais cela permet pour le moment de rétablir l'accès aux noeuds du cluster mesopsl1 et au stockage Noether</p></li>
<li><p>le serveur de stockage Loreli n'est pas encore accessible</p></li>
<li><p>les noeuds totoro sont up</p></li>
</ul>
<p>le 15/12 à 17:00</p>
<ul>
<li><p>L'accès au serveur Loreli a été retabli à 9h30</p></li>
<li><p>Fin de l'incident</p></li>
</ul>
Perturbations réseau Meudon le 11/12/2023https://dio.obspm.fr/Actualit%C3%A9s/Perturbations_reseau_Meudon_2023-12-11/2023-12-11T10:17:00Z2023-12-10T23:00:00Z
<h1>Contexte</h1>
<h2>9h25</h2>
<p>Notre supervision indique plusieurs matériels actifs injoignables pour
les bâtiments 11, 10, 9, 7, 5.</p>
<p>Il s'avère qu'il y a actuellement une intervention de la DIL qui était
planifiée mais dont la DIO n'était pas informée.</p>
<p>Cela devrait durer jusqu'à 10h.</p>
<h1>Impacts</h1>
<p>Pas de réseau aux bâtiments 11, 10, 9, 7 et 5.</p>
<h1>Dernière minute</h1>
<h2>10h30</h2>
<p>L'intervention semble terminée, nous retrouvons une situation
nominale.</p>
<p>Bonne journée.</p>
Compromission d'un compte Obs le 08/11/2023https://dio.obspm.fr/Actualit%C3%A9s/2023-11-08_compromission_compte/2023-11-29T15:27:00Z2023-11-08T23:00:00Z
<h1>Contexte</h1>
<p>Nous avons constaté vers 8h mardi 8 novembre matin un fonctionnement anormal de notre
infrastructure de messagerie.
Après un rapide diagnostic, nous avons mis en évidence la compromission
d'un compte informatique. Nous avons bloqué celui-ci vers 8h30. Puis nous
avons vérifié l'ensemble de notre système d'information afin de mesurer
l'impact de cette compromission.</p>
<h1>Services impactés</h1>
<p>Dans le périmètre de la DIO, seule la messagerie a été impactée :</p>
<ul>
<li>Quelques retards sur l'envoi de courriels depuis Paris entre 1h et 8h30 le 08/11/2023</li>
<li>Une réputation altérée de nos serveurs de messagerie Parisien</li>
<li>Des envois de courriels légitimes refusés par certains destinataires depuis le 08/11/2023</li>
</ul>
<p>Un serveur de messagerie vérifie entre autre la réputation de l'émetteur lorsqu'il
reçoit un courriel, si celle-ci est "mauvaise" il peut décider d'appliquer
une restriction exemple :</p>
<ul>
<li>inscrire dans le sujet du mail "[spam]" même si celui-ci est légitime</li>
<li>ou tout simplement le refuser</li>
</ul>
<p>D'ici quelques jours nous retrouverons une réputation normale et tout
rentrera dans l'ordre.</p>
<p>Les serveurs de messagerie de Meudon ne sont pas impactés par l'incident</p>
<h1>Solution palliative</h1>
<p>Si vous constatez des refus notamment lors de l'envoi de courriels vers
gmail.com microsoft.com etc. au moins 2 solutions sont possibles :</p>
<ul>
<li>Attendre quelques jours et renvoyer le courriel</li>
<li>Reconfigurer votre client de messagerie et remplacer smtp-p par smtp-m
afin d'envoyer votre courriel depuis les serveurs de Meudon.</li>
</ul>
<h1>Dernière minute</h1>
<p>Il restait encore des soucis de blocage pour envoyer des mails vers Orange. La situation est revenue à la normale, vous pouvez réutiliser le serveur smtp-p.</p>
Panne dans le conteneur à Meudon le 03/11/2023https://dio.obspm.fr/Actualit%C3%A9s/Panne_conteneur_Meudon_du_2023_11_03/2023-11-03T12:46:16Z2023-11-03T09:23:19Z
<h1>Panne de l'ATS</h1>
<p>Une panne de l'ATS, l'équipement qui assure la redondance électrique des switchs dans le conteneur, s'est produite le 3/11 à 7h10.</p>
<p>Cela a eu pour impact une coupure réseau des équipements du conteneur.</p>
<p>Une solution a été trouvée pour le remettre en marche, il est actuellement en mode dégradé avec une seule alimentation sur les deux en fonctionement.</p>
<p>Les accès sont rétablis depuis 9h45.</p>
<p>Nous sommes désolés de cette interruption de service indépendante de
notre volonté.</p>