Esta mañana entró en producción la ampliación técnica al servicio de Webmail. Esto nos permite brindar un servicio de correo electrónico via Web mucho más estable y veloz.

Asimismo, varios bugs reportados sobre el software fueron corregidos, y aún seguimos trabajando con lo restante.

A nuestros usuarios asiduos del Webmail, se que es bienvenida la noticia. Por nuestra parte, reitero el compromiso para mejorar rápida y constantemente la velocidad y estabilidad de los servicios.

Agradezco a los que nos han enviado reportes de bugs y sugerencias sobre este tema, ayudándonos a resolverlo más rápido.

Saludos!

Compártelo

Acabamos de finalizar la instalación y puesta en marcha de nuestra nueva UPS.

El proceso no presentó ningún imprevisto, precisó un corte de energía de 55 minutos para terminar la instalación, que se realizó entre las 4.25 y las 5.20am. En este lapso se hizo el conexionado final, pruebas con carga real, de baterías, de by-pass manual y un corte de energía simulado.

Nos faltan algunas obras para terminar de tener todo “a punto”, que estaremos realizando en las próximas horas, pero que no requieren de ningún tipo de corte.

El equipo técnico está terminando de verificar el funcionamiento normal de los servicios por lo que los últimos detalles de servicio que puedan restar, están siendo resueltos. Me han confirmado el acceso normal a los servicios de Correo, FTP, Web, MySQL, Panel de Control y Estadísticas al momento.

Compártelo

Hoy experimentamos un feo deja vú.

Hace aproximadamente un año atrás tuvimos un corte general de servicios, ocasionado por un problema en el suministro eléctrico, que nos dejó cerca de 8 horas fuera de línea.
Hoy, fue de apenas menos de 1.30hs, menor en tiempo pero mucho más significativo.

Soy propenso a contar y recontar en un afán de dar a conocer que es lo que pasa internamente, pero Nicolás acertadamente me acaba de hacer borrar medio post, por que dado que no hay una “excusa” sino más bien simplemente un “contar” lo que pasó, no les voy a hacer perder el tiempo.

En resumen, el último corte energético fue debido a que la UPS existente falló y ayer (si, ayer) se iba a instalar la nueva que adquirimos en reemplazo. Finalmente no se terminó la obra porque no llegaron a tiempo nuestros contratistas y se va a terminar mañana.

Por tanto mañana por la madrugada (Jueves por la madrugada) va a haber un corte, este sí programado, de unos 30 minutos, para conectar la nueva ups a la red. No va a ser a las 10pm como hoy, sino más tarde cerca de las 2am.

DDoS, UPS, Generador, ya los conocemos todos. Lo bueno, es que ya pasamos por todos. Lo malo, eso mismo también.

Les pido disculpas, estas últimas semanas venimos haciendo mucho de eso. Una más.

Compártelo

Como comentaba en el anterior post, es el momento de empezar el año. Y lo estamos empezando tarde así que estamos poniéndonos al día lo más rápido posible.

Por ello organizamos el Lunes y Martes dos jornadas internas al mejor estilo “BugFix Day” de los proyectos Open Source.

Trabajando en varios aspectos del servicio, sobre los cuales ya mismo se pueden empezar a ver resultados:

• Webmail: La corrección de los bugs detectados en la nueva versión 5.2 está en camino, el bug principal que generaba que ciertas respuestas o correos a conctactos de la libreta de direcciones se enviaran además del usuario de destino a una serie de direcciones inexistentes (<> <@>, etc) fue corregido.
  Además, hemos instalado un servidor adicional para el servicio de Webmail. No se encuentra aún en producción pero esperamos tenerlo a más tardar a primeras horas de la tarde de mañana Martes. Esto va a hacer que el acceso sea mucho más ágil y rápido.
• Acceso POP3: Varios usuarios nos reportaron inconvenientes intermitentes al acceder via POP3 a los correos. Dos servidores nuevos (uno de almacenamiento y uno de acceso POP3) han ingresado a la red, lo que va a mejorar en primera instancia esta situación. Si bien con esto el servicio se va a normalizar, todavía vamos a seguir agregando equipos.
• Estadísticas: Con la migración a los nuevos servidores terminadas, el servicio se empieza a normalizar, teniendo reportes actualizados con mayor frecuencia y sin las (últimamente frecuentes) demoras o pérdidas de logs.
• Correo Entrante: ( o “demoras en la recepción de correos” ). Nos costó mucho localizar el origen de este problema ya que no era permanente ni seguía una regla demasiado específica. Sin embargo finalmente lo localizamos y corregimos.
• MySQL: En unas horas se ponen en producción nuevos servidores de MySQL, como siempre bienvenidos. Hace 3 meses iniciamos un proyecto interno para reducir la cantidad de sitios por CPU promedio en Web y MySQL y estos nuevos equipos forman parte de ello. Esto significa que hay más recursos disponibles en todo momento para cada sitio.

Mañana nos proponemos terminar todas estas implementaciones, que sabemos serán bienvenidas.

Aprovecho para darles la bienvenida a Hernán Gil (Ejecutivo de Cuentas) y Juan Rossi (Soporte Técnico) a elserver.com!

Compártelo

Estas últimas dos semanas fueron para nosotros (usuarios, clientes e integrantes de elserver.com) semanas bastante movidas.

En mi caso, he estado dedicado a tiempo completo a la investigación y seguimiento del ataque DDoS sobre nuestra red, interrumpiendo por momentos para responder a quienes me han escrito en respuesta al comunicado que enviamos.

A quienes no llegué a contestar aún, les pido me tengan paciencia que cuanto antes les estoy respondiendo. Agradezco a todos los que me han enviado apoyo, agradecimientos, críticas constructivas, ideas y sugerencias. Por más que aún no contesté todos los correos quiero avisar que recibí y leí todos.

Nuestro equipo de Atención al Cliente y Soporte Técnico está haciendo un gran esfuerzo para responder todas las consultas recibidas. Por lo que nos quedó pendiente de la semana pasada y la cantidad bastante mayor que lo normal (naturalmente) de estos días, estos últimos días estamos respondiendo con algo de “delay”. Esperamos normalizarnos para el fin de semana y volver la velocidad de atención a lo normal (o mejor, ya que se nos vienen nuevos ‘elservereños’ estos días)

Imagino que muchos de nuestros clientes están pasando por situaciones similares.

Respecto de los ataques DDoS, quiero adelantar tres cosas:

1. El caso está avanzando muy rápido, gracias a nuestros abogados que están haciendo presión y siguiendo el tema sin parar. (Andrés San Juan de Estudio Lexar - www.estudiolexar.com.ar, altamente recomendables, especializados en Derecho Informático) La fiscalía ya comenzó a citar a distintos involucrados, veremos como sigue. Dentro de lo permitido, voy a estar actualizándolos.

2. La situación se filtró a los medios ‘tradicionales’ e inevitablemente va a haber algo de sensacionalismo debido la identidad de uno de los involucrados. Quizás se transforme en algo serio o quizás en un talk-show mediático. Veremos. Cuando digo se filtró me refiero a que algún periodista leyó algunos de los cientos de blogs que están hablando del tema en línea, claro está.

3. Increíblemente y a pesar de tener denuncias en 3 países, el autor siguió con los ataques y fue contra www.wordpress.com. Se puede encontrar información en: http://www.infoworld.com/article/08/02/19/DoS-attack-prevents-access-to-WordPress-blogs_1.html

Trataremos de retormar cuanto antes lo que veníamos haciendo: Empezar el año!

Compártelo

Como es de conocimiento público, estamos recibiendo un ataque DDoS sobre toda nuestra red, en los nodos de Argentina, Estados Unidos e Inglaterra.

A nuestro usuarios, quiero comunicarles sus servicios se encuentran actualmente funcionando con normalidad y que en breve estarán recibiendo un correo con un detalle de lo que está aconteciendo.

En conjunto con varios colaboradores, entre ellos Ricardo Galli, cuyo sitio Meneame.net también fue atacado recientemente a la par de GenBeta y Weblogs SL por publicar esta información.

Con nombres, datos personales y registros mientras aguardamos la acción coordinada de las autoridades Españolas y Argentinas que ya están al corriente de la situación.

Esteremos haciendo pública toda la información del caso en los próximos días en un comunicado un poco más extenso.

Desde ya quiero agradecer a toda la comunidad blogger, clientes y amigos por su colaboración y comprensión. Nunca deja de sorprender como el trabajo unido y desinteresado de todos logra grandes resultados.

Actualización: Ricardo Galli en su blog ha hecho pública la información de los delincuentes. Por motivos legales no podemos publicar los datos aquí aún, pero pueden ver la información completa en su Blog. “Norman”, “Morgan” y Emiliano están siendo investigados por la división de Delitos Informáticos de la Policía Federal Argentina.
Sospechosos del hecho casi desde un primer momento, no hacemos pública la información debido a que decidimos proceder por las vías legales y recolectar toda la información y registros necesarios para ser procesados.

Compártelo

¿Quién alguna vez pidió algo por delivery? Casi todos nosotros, ¿cierto? El mecanismo es muy simple:

1) Llamás a la pizzería
2) Hacés el pedido
3) Llega a tu casa

¿Que pasaría si la pizzería a la que siempre pedimos delivery empieza a recibir llamados de una persona que no solamente no hace pedidos, sino que llama una y otra vez, y se dedica simplemente a dejar la línea en silencio?
Probablemente, a nosotros se nos haría cada vez más difícil comunicarnos para hacer un pedido, al punto que si los llamados que esta persona realiza son suficientes, seguramente nunca lleguemos a comunicarnos. A esto se lo llama “Ataque DoS” (Denial of Service o Denegación de Servicio).

Ahora, ¿y si, para minimizar esta molestia, la pizzería colocara un caller-id en su teléfono? Podrían identificarlo, para así atender y colgar rápidamente, ocupando menos la línea telefónica y atendiendo más pedidos. A esto se lo llama “Firewall” (cortafuegos).

Pero, ¿qué pasaría si este insistente “llamador” juntara unos 30 amigos y entre todos se dedicaran a llamar a la pizzería? Ya no sería tan fácil distinguir, con un caller-id, los llamados de éstas personas, de los llamados de verdaderos clientes. A estos se lo llama “Ataque DDoS” (Distribuited Denial of Service o Denegación de Servicio Distribuida).

Salvando las distancias, en Internet ocurre lo mismo; pero en lugar de 20 o 30 amigos, son 20 o 30 mil computadoras; y en lugar de algunos llamados, son algunos millones de conexiones.

Los DDoS existen, son mucho más frecuentes de lo que pensamos y suelen generar impactos muy profundos en cualquier proveedor de servicios, siendo muchas veces exitosos en su objetivo: inutilizar al proveedor.

Históricamente hemos recibido de 3 a 4 DDoS de gran magnitud al año, los cuales en general pasan desapercibidos para el usuario final. Esta madrugada se inició un ataque DDoS contra una de las redes de elserver.com, generando que un acceso lento a los servicios entre la 1.30am y las 9.40am, período en el que trabajábamos en mitigar y controlar el ataque. Además, hemos trabajado en conjunto con el carrier afectado (IPlan), con 14 ISPs de distintos países (Estados Unidos, Inglaterra, Rusia, China, Japón y Alemania) poniéndolos bajo aviso sobre el suceso e indicándoles las acciones a tomar.

Aún ahora, el DDoS continúa (y puede llegar a durar varios días), pero los servicios están funcionando al 100%, el tráfico está completamente controlado y el DDoS dejado sin efecto; ya que al contar con una red distribuida, podemos manejar estas situaciones sin un corte total y de forma más eficiente

Nos alegra poder comunicarte que hemos tolerado un DDoS de gran magnitud y tomado un rol activo, no solamente en la continuidad del servicio, sino también en la corrección de servidores y pc´s infectadas alrededor del mundo en los ISPs antes mencionados.

Compártelo