Para nosotros, 2011 fue un año muy especial. Fue el nacimiento de nuestros equipos de trabajo en Venezuela y Colombia, el crecimiento de nuestro equipo en Argentina y la ampliación de nuestros nodos en Argentina y Estados Unidos para continuar creciendo y prestando servicio a decenas de miles de sitios web que se han sumado a nuestra red en los últimos 12 meses.

Durante 2011 también, hemos reimplementado nuestros sistemas de atención internos para brindar una atención más rápida y eficiente, sumamos Chat como canal para Soporte Técnico y Atención al Cliente, incorporamos atención telefónica local en 5 países y varias provincias de Argentina. Finalizamos la implementación de nuestra plataforma de almacenamiento híbrido para Web y Correo para todos nuestros clientes, incorporamos los nuevos servicios de Secure Shell (SSH), estadísticas en Tiempo Real y Hosting para
Facebook Apps, entre otros, y realizamos la adquisición de Signalar Argentina, a cuyos 1000 clientes damos la bienvenida nuevamente.

Tenemos mucho previsto para 2012, más eventos de SpeedUp y capacitaciones en tecnología de la mano de la Universidad de Palermo, nuevos productos y servicios incluyendo avances en nuestros servicios en la nube, soporte para Ruby on Rails y un nuevo API para desarrolladores para permitir la integración total a sus plataformas.

En una nota más personal, quiero agradecer a nuestros clientes que nos acompañan desde nuestros inicios hace más de 10 años por seguir permitiéndonos acompañar sus negocios y a las casi 40 personas que componen ELSERVER.COM por su apoyo y esfuerzo incondicional durante la pérdida de mi padre, el pasado 4 de Noviembre.

El fue quién me inició en la informática y sin su empuje y apoyo esta empresa no hubiera sido posible. Sé que estuvo orgulloso siempre.

Joel A. Chornik

“La escuela Nº 233 de Colonia Laurel, de San Roque,  agradece enormemente lo enviado y Dios le dé siempre más para poder ayudar a las escuelas- Gracias
Este es mi correo soy la Directora . Raquel Noemí Huerta”

Te contamos que se enviaron 18 cajas con libros de lectura, manuales escolares, útiles y mucha ropa de abrigo. Todo fue revisado y acondicionado para que les llegara a los chicos de la mejor manera. Las cajas llegaron a Colonia Laurel el sábado 16 de abril.

Gracias a todos los que se sumaron y gracias por por ser parte de este proyecto. La colecta seguirá activa todo el año, así que no duden en contactarnos para traer más útiles, juguetes, ropa, calzados o alimentos no perecederos.

Bases de Datos en dirección IP de Intranet 192.168.0.59
Bases de Datos en dirección IP de Intranet 192.168.0.193

Estado de situación

Al presente el acceso a las bases de datos correspondientes a las
direcciones de IP de Intranet mencionadas se encuentra reestablecido al
máximo posible.
Sobre 3577 bases de datos afectadas, 2922 (82%) se encuentran nuevamente
disponibles con la información retrotraída a los meses de Enero y Febrero principalmente, Marzo a Junio en un porcentaje menor.
Las 655 (18%) bases de datos restantes no se encuentran en un estado que
pueda ser recuperado a producción.

Reporte

El día Lunes 13/06 por la mañana nuestro equipo notó una degradación de
performance severa en cuanto a la velocidad de respuesta del servicio.
Esta situación generaba demora en la carga de sitios de clientes por
arriba de niveles aceptables por lo que nuestro equipo técnico decidió
realizar una suspensión de urgencia del servicio para realizar un
upgrade de hardware, considerando preferible un corte momentaneo a aguardar a un horario nocturno, ya que el servicio estaría severamente
degradado durante el día caso contrario.

Durante el proceso de actualización de hardware, una rutina
perfectamente normal en estas situaciones falló. Esto ocasionó la
perdida total de acceso a todos los datos contenidos. Al tratarse de una
falla en software, y no en hardware, no hubo inconvenientes con el
almacenamiento redundante (RAID), sino en la capa superior. Dicha capa,
a la vez, gestiona el sistema de SnapShots MySQL.

A partir de dicho momento, cercano a las 14.30pm del 13/06 el acceso se
interrumpió por completo, no siendo restaurado de forma parcial hasta
las 18hs. Desde las 18hs del 13/06 hasta las 18hs del 15/06 la
información disponible en un respaldo offsite independiente de los
Snapshots (físicamente separado) de las bases afectadas se fue
restaurando paulatinamente. Este proceso es lento, y la información
offsite es más antigua que la de nuestros Snapshots internos.

Detalle Técnico

El servicio de MySQL SnapShots, integrado a las cuentas Grid 2.0 y
MultiCuenta fue lanzado en 2009 con el objetivo de brindar un acceso
rápido y cómodo a información de días pasados (10) de los datos MySQL de
nuestros clientes.

El desafío de respaldar MySQL es la realización On-Line de los mismos:
Poder tomarlos sin necesidad de interrumpir el servicio.

Nuestra plataforma MySQL está basada en Linux (kernel 2.6) + MySQL (5.1
o superior), EXT3 como sistema de archivos y LVM (Logical Volume
Manager) para la gestión de discos, utilizando RAID1.
LVM nos permite tomar Snapshots (similar a fotografías en momentos
determinados de los datos), sin interrumpir acceso a los datos en vivo,
y sin necesidad de duplicar (en nuestro caso por 10), la información que
queremos brindar en un snapshot.

Lo anterior nos permite una solución versatil en productos con un costo
total inferior a u$s1 mensual (sitios de multicuenta).

Debido a que tanto Snapshots como datos participan de los mismos discos
físicos, los mismos se hayan protegidos contra fallas de hardware usando
sistemas RAID1.

LVM es un software ampliamente utilizado y probado, y hasta ahora,
perfectamente confiable. El bug en LVM que generó la corrupción de
bloques y metadatos de uno de nuestros servidores, sumado a nuestro
error de trabajar con un equipo en producción generó como consecuencia
el resultado que ahora existe. En condiciones normales, se separa
siempre parte del raid previo a cualquier tarea para tener una copia
independiente de todo el sistema.

Medidas a tomar

Desde hace 6 meses nos encontramos actualizando nuestro sistema de
Snapshots y MySQL, con servicio basado en Solaris+ZFS en lugar de
Linux+EXT3+LVM. Esta nueva versión nos permite tomar Snapshots con la
misma funcionalidad que lo anterior, excepto que dichos Snapshots se
encuentran en su -totalidad- en servidores offsite, es decir que aun en
un evento como el de este 13/06 no afectaría la disponibilidad de los
datos más allá de los últimos minutos (Snapshots via ZFS los tomamos
cada 60 minutos, contra 24 horas de LVM)

Actualmente menos de un 30% de nuestra red utiliza esta nueva
tecnología. Vamos a acelerar la migración de sistema para poder aumentar
las garantías ofrecidas a todos nuestros clientes cuanto antes.

Adicionalmente, vamos a aumentar nuestros respaldos offsite manuales
para los sistemas Linux+EXT3+LVM a una vez por semana, hasta tanto la
migración a Solaris+ZFS esté finalizada.

Sobre ambos temas, mantendremos información de avance actualizada.

Estamos al tanto de los inconvenientes que esto genera en nuestros
clientes, y queremos colaborar y asistir en todo lo que nos sea posible
para la normalización de sus sitios.

Nuestro departamento de Atención al Cliente está tomando contacto
telefónico con cada una de las cuentas afectadas para tratar uno por uno
cada caso particular en cuanto a las definiciones técnicas y comerciales
necesarias.

Preguntas Frecuentes:

Veo mi base de datos en el Panel de Control, pero no puedo acceder.
Durante la restauración la información de contraseñas de acceso MySQL
fue blanqueada. Para poder volver acceder a tu base debes volver a crear
el usuario. Puede ser el mismo de antes o uno nuevo.

No veo mi base de datos en el Panel de Control. ¿Esto quiere decir que
no estará disponible ?
Todavía estamos importando algunas bases de datos de nuestro backup
offsite. La misma va a finalizar a las 8am de mañana 17/06. Si pasada este momento no se encuentra en tu panel implica que no estará disponible.

Algunas tablas me figuran corruptas
Podés correr un REPAIR TABLe (tabla) para que MySQL realice una
verificación. En caso que eso no funcione, contactanos.

¿Mis bases de datos ahora tienen nuevamente Snapshots?
Estamos tomando respaldos externos manuales diarios, durante el fin de
semana se normalizará la toma de snapshots.

Queremos presentarte información ampliada sobre el incidente del día de ayer que afecto al servicio MYSQL de varias de las cuentas alojadas en nuestra red de servicios.

Si bien el porcentaje de cuentas afectadas es bajo, entendemos que cada cuenta presenta su situación particular y queremos brindar asistencia a todas y cada una de ellas.

En estos momentos, el 80% de aquellas base de datos afectadas han sido restauradas a un respaldo correspondiente a la información de principios de Enero. Continuamos trabajando en la restauración del 20% restante, así como en la información disponible al día de ayer.

No obstante de esto último, no podemos ofrecer aún, un tiempo estimado de resolución ni contamos con confirmación de que esta información se va a estar restaurando.

ELSERVER.COM cuenta con casi 13 años de trayectoria brindando servicios de WebHosting y mantenemos como hasta ahora nuestra misión de brindar un servicio de calidad y excelencia.

Como uno de los proveedores líderes de la Argentina y la región contamos con una amplia experiencia y con el transcurrir de los años, no estamos exentos de situaciones de error.

Somos concientes de los inconvenientes que presenta esta falla de servicio para nuestros clientes y sabemos a ciencia cierta que vamos a aprender de este error. A tal fin, en paralelo a las tareas de restauración en curso, estamos revisando nuestra metodología actual de respaldos de nuestros servicios a fin de evitar cualquier posibilidad de que un evento como este se repita y también priorizando la incorporación de un tercer sistema de respaldo offsite que estará disponible en las próximas semanas.

Entendemos que el principal valor que obtenemos de nuestros clientes es su confianza y es esta confianza que deseamos poder mantener y recuperar, por tal motivo, nos ponemos a tu entera disposición para asistirte a lo largo de este incidente y te invitamos a comunicarnos tus inquietudes y/o expectativas en el espíritu de seguir contando con tu confianza en nuestro servicios

Hemos habilitado una dirección de correo especial (mysql@elserver.com) donde estamos priorizando las consultas de cada caso y estaremos informando en breve cuando tengamos novedades.

Cordialmente,

Ariel Perelman y Joel Chornik
Directores de ELSERVER.COM

Te contamos que habilitamos nuevos números teléfonicos para comunicarse con ELSERVER.COM. Así que ahora vas a poder llamarnos a un número local desde muchos lugar del país y del mundo!
La llamada la pagás como si llamaras a la pizzería de la esquina

Acá van la info, ¡agendala!

Argentina
Rosario: 54-341-5270359
Mendoza: 54-261-5244808
Córdoba: 54-351-5682299
Mar del Plata: 54-223-4322629
Buenos Aires:  54-11-52540544

Teléfonos Internacionales:

Madrid, España: (+34) 911895144
DF, Mexico: (+52) 5540001022
Caracas, Venezuela: (+58) 2123357630
Lima, Perú: (+51) 17201710
Miami, Estados Unidos: (+1) 3055078868

¡Esperamos te sea muy útil! Un paso más para estar más cerca