Blog

Hace poco te comentamos sobre una nueva plataforma de análisis de tráfico para teléfonos o equipos móviles que te permite conocer en TIEMPO REAL cuántas personas están navegando tu sitio, qué secciones son las más navegadas, de dónde están viniendo tus usuarios (de Facebook, Google, Twitter, etc.), los Hits/Accesos por segundo a todo el sitio, el ancho de banda consumido en tu servidor, en kilobits por segundo. Y lo mejor, de manera automática, sin necesidad de colocar un código Javascript o similar en cada una de las páginas que quieras medir.

Bueno, ahora lo mejoramos aún más: toda la información minuto a minuto, directo desde tu panel.

Desde hoy cuando entrés a tu panel de control vas a poder ver:

• El movimiento en tu sitio: un gráfico con la información al momento y de los últimos 2 minutos
• Información numérica de Usuarios online, ancho de banda y hits por segundo de ese mismo instante actualizable cada 5 segundos
• La información de los últimos 10 minutos acerca de Pico de usuarios online y Promedio de usuarios online.

Y además, las estadísticas ampliadas de la última hora, día, semana o mes como siempre disponibles en la sección Reportes > Estadísticas Web. De la manera más sencilla obtené: Histórico Mensual y detalles por semana, día y horas, de dónde vienen las visitas, navegación, duración de las visitas, búsquedas y mucho, mucho más.

Una herramienta exclusiva para los clientes de ELSERVER.COM.
¡Probala y empezá ya a administrar tus campañas online con información instantánea!

Te contamos que a partir de hoy, todos los clientes de ELSERVER.COM pueden acceder de manera más sencilla a la información de sus sitios.

Para web, como siempre, si vas a la sección Avanzados de tu cuenta > Snapshots, podes ver tus archivos web y restaurarlos en el momento.
En el caso de tus bases de datos, hasta hoy, simplemente nos escribías un mail y a vuelta de correo te avisábamos que las mismas ya estaban disponibles en tu FTP.
Pero ahora incorporamos una excelente novedad que simplifica aún más la gestión de tus datos: te presentamos un nuevo agregado a tu Panel de Control que te dará mayor acceso a la información de tu cuenta y más facilidad en la gestión de tus datos a través de 2 opciones nuevas en su listado de bases de datos MySQL:

• Nuevo link Backups: Haciendo click en esta opción se pueden ver todos los SnapShots disponibles para una base de datos determinada, elegir la fecha y base (o tablas individuales) deseadas y restaurar el respaldo en el momento.
• Nuevo link Descargar: Genera una dirección única temporal con una copia del último respaldo disponible. De esta forma puedes obtener con un sólo click una copia completa de tu información.

Además, hemos reestructurado todo nuestro sistema de MySQL Snapshots para brindar mayor confiabilidad al servicio. En este momento, todos los backup MySQL se realizan en sistemas físicamente separados de la copia de datos original. De esta forma, tus datos están más seguros contra incidentes.

Una aclaración importante: para que el sistema de snapshots funcione correctamente en el panel, tu cuenta tiene que tener al  menos un usuario SSO activo. Si no, los snapshots los vamos a almacenar igual, pero no estarán visibles para ningún usuario (porque no hay ninguno relacionado a la cuenta).

A futuro, tenemos muchos planes. Ya desde hace 6 meses nos encontramos actualizando nuestro sistema de Snapshots y MySQL, con servicio basado en Solaris+ZFS en lugar de Linux+EXT3+LVM. Esta nueva versión nos permite tomar Snapshots con la misma funcionalidad que lo anterior con la diferencia de que vía ZFS los tomamos cada 60 minutos (sólo para web), contra 24 horas para web y 48 horas para mysql de LVM.  Actualmente un 30% de nuestra red ya utiliza esta nueva tecnología. Vamos a acelerar la migración de sistema para poder aumentar las garantías ofrecidas a todos nuestros clientes cuanto antes.

Esperamos esta nueva herramienta te sea de gran utilidad. Trabajamos constantemente para mejorar nuestro servicio y darte mayor tranquilidad en tu día a día.

Les escribimos porque queremos explicar y poner en contexto algunos dichos que salieron en la nota publicada por Perfil en FortunaWEB.

Cuando nos contactó el periodista, atento a lo sucedido con el inconveniente en el nodo MYSQL, pensamos que era un buen momento para, a través de un medio masivo, presentar unas disculpas, explicar el problema sucedido y comentar de aquí en adelante como íbamos a manejar el incidente. Pero algunas frases se sacaron de contexto para crear un artículo donde no se refleja el punto principal, y menos nuestra visión.

No vamos a negar lo que dijimos, porque sería faltar a la verdad. Aunque definitivamente creemos que la forma en la que se publicó la información no es fiel a nuestro estilo: en ningún momento buscamos esquivar el problema ni ocultarlo. No nos lavamos las manos con los clientes.
Que los términos y condiciones de uso del servicio preserven a las empresas de tecnología de este tipo de episodios es así por la sencilla razón de que cualquiera está expuesta fallas técnicas. Eso es así para nosotros y para cualquier empresa del de aplicaciones o servicios.

Haciendo a un lado las formalidades legales, éstas no condicionan nuestra actitud frente al problema. Nosotros desde lo humano y lo cotidiano respondemos con la mayor franqueza, poniendo a disposición de nuestros clientes toda la ayuda posible y más.

Sin ánimos de justificarnos, si consideramos que es necesario poner en contexto, pero es uno de los riesgos que asumimos.

Episodios similares en mayor o menor escala le han pasado a muchas empresas (Google, Amazon, Sony, etc.). Así como le ha pasado a estas empresas, nosotros no estamos exentos de problemas técnicos y humanos.

Aún así, nuestra apuesta y compromiso es a mejorar día a día. Es por esto que no nos quedamos de brazos cruzados: desde la mañana de ayer estamos contactando uno a uno a nuestros clientes afectados para conocer en profundidad la situación y ofrecerles una alternativa técnica y comercial acorde a sus necesidades con la mejor voluntad y un profundo espíritu de servicio. Respuestas hay, y son reales.

Somos una empresa, pero sobre todo somos un grupo de personas que entiende los problemas ocasionados y está enfocado en seguir trabajando para resolver los problemas. El enojo de quienes se vieron afectados es más que comprensible y simplemente aceptamos los reproches con humildad. Lamentablemente hay cosas que podemos hacer y cosas que no.

Asumimos nuestro error, pero aprendemos de esta situación y tomamos las medidas para minimizar cada vez más el riesgo.

A futuro, seguiremos apostando a mejorar.

Desde ya muchas gracias por la comprensión.

Ariel Perelman
Director

Sistemas afectados

Bases de Datos en dirección IP de Intranet 192.168.0.59
Bases de Datos en dirección IP de Intranet 192.168.0.193

Estado de situación

Al presente el acceso a las bases de datos correspondientes a las
direcciones de IP de Intranet mencionadas se encuentra reestablecido al
máximo posible.
Sobre 3577 bases de datos afectadas, 2922 (82%) se encuentran nuevamente
disponibles con la información retrotraída a los meses de Enero y Febrero principalmente, Marzo a Junio en un porcentaje menor.
Las 655 (18%) bases de datos restantes no se encuentran en un estado que
pueda ser recuperado a producción.

Reporte

El día Lunes 13/06 por la mañana nuestro equipo notó una degradación de
performance severa en cuanto a la velocidad de respuesta del servicio.
Esta situación generaba demora en la carga de sitios de clientes por
arriba de niveles aceptables por lo que nuestro equipo técnico decidió
realizar una suspensión de urgencia del servicio para realizar un
upgrade de hardware, considerando preferible un corte momentaneo a aguardar a un horario nocturno, ya que el servicio estaría severamente
degradado durante el día caso contrario.

Durante el proceso de actualización de hardware, una rutina
perfectamente normal en estas situaciones falló. Esto ocasionó la
perdida total de acceso a todos los datos contenidos. Al tratarse de una
falla en software, y no en hardware, no hubo inconvenientes con el
almacenamiento redundante (RAID), sino en la capa superior. Dicha capa,
a la vez, gestiona el sistema de SnapShots MySQL.

A partir de dicho momento, cercano a las 14.30pm del 13/06 el acceso se
interrumpió por completo, no siendo restaurado de forma parcial hasta
las 18hs. Desde las 18hs del 13/06 hasta las 18hs del 15/06 la
información disponible en un respaldo offsite independiente de los
Snapshots (físicamente separado) de las bases afectadas se fue
restaurando paulatinamente. Este proceso es lento, y la información
offsite es más antigua que la de nuestros Snapshots internos.

Detalle Técnico

El servicio de MySQL SnapShots, integrado a las cuentas Grid 2.0 y
MultiCuenta fue lanzado en 2009 con el objetivo de brindar un acceso
rápido y cómodo a información de días pasados (10) de los datos MySQL de
nuestros clientes.

El desafío de respaldar MySQL es la realización On-Line de los mismos:
Poder tomarlos sin necesidad de interrumpir el servicio.

Nuestra plataforma MySQL está basada en Linux (kernel 2.6) + MySQL (5.1
o superior), EXT3 como sistema de archivos y LVM (Logical Volume
Manager) para la gestión de discos, utilizando RAID1.
LVM nos permite tomar Snapshots (similar a fotografías en momentos
determinados de los datos), sin interrumpir acceso a los datos en vivo,
y sin necesidad de duplicar (en nuestro caso por 10), la información que
queremos brindar en un snapshot.

Lo anterior nos permite una solución versatil en productos con un costo
total inferior a u$s1 mensual (sitios de multicuenta).

Debido a que tanto Snapshots como datos participan de los mismos discos
físicos, los mismos se hayan protegidos contra fallas de hardware usando
sistemas RAID1.

LVM es un software ampliamente utilizado y probado, y hasta ahora,
perfectamente confiable. El bug en LVM que generó la corrupción de
bloques y metadatos de uno de nuestros servidores, sumado a nuestro
error de trabajar con un equipo en producción generó como consecuencia
el resultado que ahora existe. En condiciones normales, se separa
siempre parte del raid previo a cualquier tarea para tener una copia
independiente de todo el sistema.

Medidas a tomar

Desde hace 6 meses nos encontramos actualizando nuestro sistema de
Snapshots y MySQL, con servicio basado en Solaris+ZFS en lugar de
Linux+EXT3+LVM. Esta nueva versión nos permite tomar Snapshots con la
misma funcionalidad que lo anterior, excepto que dichos Snapshots se
encuentran en su -totalidad- en servidores offsite, es decir que aun en
un evento como el de este 13/06 no afectaría la disponibilidad de los
datos más allá de los últimos minutos (Snapshots via ZFS los tomamos
cada 60 minutos, contra 24 horas de LVM)

Actualmente menos de un 30% de nuestra red utiliza esta nueva
tecnología. Vamos a acelerar la migración de sistema para poder aumentar
las garantías ofrecidas a todos nuestros clientes cuanto antes.

Adicionalmente, vamos a aumentar nuestros respaldos offsite manuales
para los sistemas Linux+EXT3+LVM a una vez por semana, hasta tanto la
migración a Solaris+ZFS esté finalizada.

Sobre ambos temas, mantendremos información de avance actualizada.

Estamos al tanto de los inconvenientes que esto genera en nuestros
clientes, y queremos colaborar y asistir en todo lo que nos sea posible
para la normalización de sus sitios.

Nuestro departamento de Atención al Cliente está tomando contacto
telefónico con cada una de las cuentas afectadas para tratar uno por uno
cada caso particular en cuanto a las definiciones técnicas y comerciales
necesarias.

Preguntas Frecuentes:

Veo mi base de datos en el Panel de Control, pero no puedo acceder.
Durante la restauración la información de contraseñas de acceso MySQL
fue blanqueada. Para poder volver acceder a tu base debes volver a crear
el usuario. Puede ser el mismo de antes o uno nuevo.

No veo mi base de datos en el Panel de Control. ¿Esto quiere decir que
no estará disponible ?
Todavía estamos importando algunas bases de datos de nuestro backup
offsite. La misma va a finalizar a las 8am de mañana 17/06. Si pasada este momento no se encuentra en tu panel implica que no estará disponible.

Algunas tablas me figuran corruptas
Podés correr un REPAIR TABLe (tabla) para que MySQL realice una
verificación. En caso que eso no funcione, contactanos.

¿Mis bases de datos ahora tienen nuevamente Snapshots?
Estamos tomando respaldos externos manuales diarios, durante el fin de
semana se normalizará la toma de snapshots.

Estimados,

Queremos presentarte información ampliada sobre el incidente del día de ayer que afecto al servicio MYSQL de varias de las cuentas alojadas en nuestra red de servicios.

Si bien el porcentaje de cuentas afectadas es bajo, entendemos que cada cuenta presenta su situación particular y queremos brindar asistencia a todas y cada una de ellas.

En estos momentos, el 80% de aquellas base de datos afectadas han sido restauradas a un respaldo correspondiente a la información de principios de Enero. Continuamos trabajando en la restauración del 20% restante, así como en la información disponible al día de ayer.

No obstante de esto último, no podemos ofrecer aún, un tiempo estimado de resolución ni contamos con confirmación de que esta información se va a estar restaurando.

ELSERVER.COM cuenta con casi 13 años de trayectoria brindando servicios de WebHosting y mantenemos como hasta ahora nuestra misión de brindar un servicio de calidad y excelencia.

Como uno de los proveedores líderes de la Argentina y la región contamos con una amplia experiencia y con el transcurrir de los años, no estamos exentos de situaciones de error.

Somos concientes de los inconvenientes que presenta esta falla de servicio para nuestros clientes y sabemos a ciencia cierta que vamos a aprender de este error. A tal fin, en paralelo a las tareas de restauración en curso, estamos revisando nuestra metodología actual de respaldos de nuestros servicios a fin de evitar cualquier posibilidad de que un evento como este se repita y también priorizando la incorporación de un tercer sistema de respaldo offsite que estará disponible en las próximas semanas.

Entendemos que el principal valor que obtenemos de nuestros clientes es su confianza y es esta confianza que deseamos poder mantener y recuperar, por tal motivo, nos ponemos a tu entera disposición para asistirte a lo largo de este incidente y te invitamos a comunicarnos tus inquietudes y/o expectativas en el espíritu de seguir contando con tu confianza en nuestro servicios

Hemos habilitado una dirección de correo especial (mysql@elserver.com) donde estamos priorizando las consultas de cada caso y estaremos informando en breve cuando tengamos novedades.

Cordialmente,

Ariel Perelman y Joel Chornik
Directores de ELSERVER.COM