En este artículo vamos a describir desde un punto de vista técnico Verics.

Nos vamos a centrar en describir la tecnología en la que se fundamenta, que páginas web puede analizar, como interpretar “resultados raros” en los análisis, que limitaciones tiene y que bugs conocidos hay en el sistema.

  1. ¿Que es Verics?
  2. Ámbito de funcionamiento
    1. ¿Que entornos web SI puedo analizar con Verics?
    2. ¿Que entornos web NO puedo analizar con Verics?
  3. Sistemas de protección & Verics
    1. ¿Cómo se refleja esto en un análisis?
      1. Verics aplicación web
      2. Verics API
        1. ¿Qué pasa si obtengo un código de error, pero la web es accesible desde el navegador?
  4. Troubleshooting
    1. Puedo acceder a la web, sin embargo obtengo un “error_domain”
      1. Protección contra ataques DDoS
      2. Filtros geográficos
    2. “Mis resultados son raros”
  5. Bugs conocidos
    1. Layout en mi análisis detallado sin filtraciones
  6. ¿Te podemos echar una mano en alguna otra cosa?

¿Que es Verics?

Verics es una araña web (o web crawler). Un robot que de manera sistemática explora el contenido de una página web a partir del dominio de ésta. Por ejemplo:

A partir del dominio de nuestra web, www.suments.com, Verics encontrará todos los archivos que sean públicos y accesibles desde éste. En nuestro caso encontraríamos a este encantador perrito entre otros.

Para nosotros es muy importante la privacidad y las medidas de seguridad que nuestros clientes utilizan en sus webs. Por ello, SIEMPRE se vamos a respetar todas las medidas que haya tomado la persona que administra la página web.

>> Puedes leer más detalles sobre como afectan las medidas de seguridad a un análisis <AQUÍ>


Ámbito de funcionamiento

Como todos sabemos, hay muchas tecnologías diferentes que permiten crean un entorno web. Según los requisitos de lo que vayamos a hacer, nos decantaremos por una tecnolgía u otra.

Desde el punto de vista del usuario humano esto suele ser transparente y no debe interferir en su experiencia de usuario. Para un robot como Verics es esencial conocer en que se basa.

Entendemos como entorno web un sitio web o una aplicación web. Un entorno web, se construye a partir de un framework. Dentro del desarrollo web, podemos encontrar un framework web o frameworks web progresivos. Un ejemplo para aclarar:

La página web www.suments.com es un sitio web basado en framework web CMS

El sitio donde puedes utilizar Verics, suite.suments.com, es una aplicación web basada en un framework web progresivo

¿Que entornos web SI puedo analizar con Verics?

Cualquier entorno web basado en un framework web no progresivo. Joomla, Prestashop, WordPress, ….

>> Puedes leer más detalles sobre como afectan las medidas de seguridad a un análisis <AQUÍ>

¿Que entornos web NO puedo analizar con Verics?

Un entorno web basado en un framework progesivo. React, Vue.js, Angular, …

>> Puedes leer más detalles sobre como afectan las medidas de seguridad a un análisis <AQUÍ>


Sistemas de protección & Verics

Desde Suments Data, entendemos que las medidas de seguridad activas o pasivas que nuestros clientes implementan en sus webs son algo de vital importancia para los datos de su negocio. Por ese motivo, Verics está diseñado para respetar todas ellas.

Hay infinidad de sistemas de protección en entornos web. Cada uno de ellos pretende solucionar un problema diferente dentro del gran número de amenazas que hay. Todos estamos familiarizados con elementos como:

  • Captcha: El objetivo es distinguir entre un humano y un robot.
  • Login o autenticación: Tratan de verificar la identidad de un humano en concreto.
  • robots.txt (o estandar de exclusión de robots): Pretenden gestionar como van a interactuar con un entorno web las arañas.
  • y un larguísimo etc.

No todos los sistemas tienen el mismo impacto en los resultados de un análisis.

¿Cómo se refleja esto en un análisis?

Esto va a depender de como estés utilizando Verics. Hay dos sabores:

Verics aplicación web

Este caso no lo hemos visto en “el mundo real”, aunque de modo teórico podría darse. Al ser un usuario humano quien introduce la URL, de manera intrínseca se está haciendo una comprobación sobre el dominio al cogerlo de la barra de direcciones del navegador.

>> El acceso a esta aplicación lo puedes encontrar <AQUÍ>

Verics API

En los sistemas automatizados que usan esta vía es más habitual el caso en el que se introduce una URL en la que ningún humano ha comprobado si existe un sistema de seguridad que pueda afectar al éxito del análisis.

>> La documentación de la API la puedes encontrar <AQUÍ>

En este caso, cuando se hace uso del servicio VAnalysisGetStatus para comprobar en que estado se encuentra, éste devolverá dentro del payload:

 "status":"error_domain",

Este error se da cuando Verics encuentra alguna de las siguientes causas:

  • La URL introducida tiene un formato incorrecto. (Puede
  • El dominio que se ha introducido para analizar ha caducado.
  • Hay un error en los DNSs
  • Se ha introducido la URL con protocolo “http” y ésta no tiene una redirección a “https”

>> En versiones posteriores se va a detallar cual de estos motivos es el que se ha encontrado para aportar más información.

¿Qué pasa si obtengo un código de error, pero la web es accesible desde el navegador?

Este apartado se trata con mayor extensión en la sección Troubleshooting.


Troubleshooting

En esta sección vamos a describir casos que no son obvios ni inmediatos.

Puedo acceder a la web, sin embargo obtengo un “error_domain”

Este caso puede darse por muchas circunstancias diferentes. Aquí resumimos los casos que nos hemos encontrado hasta ahora:

Protección contra ataques DDoS:

Hay muchos proveedores de sistemas para protegerse ante este tipo de ataques. Éste comprueba que el usuario que intenta acceder a la página web es un humano y no un robot como Verics.

Ante esta situación, el sitio web se cataloga como “error_domain” ya que ha sido bloqueado el acceso a éste.

Algunos productos disponibles en el mercado son:

>> Este fantástico artículo detalla estos sistemas de protección.

Filtros geográficos

Algunas webs utilizan este tipo de filtros para limitar el tráfico que venga de paises que no les interesa.

En nuestra experiencia, estos sistemas aparece en rarísimas ocasiones, pero se dan.

>> Este fantástico artículo detalla esta tecnología.


Mis resultados son raros

En algunas ocasiones los resultados que aparecen en el informe final parece que no concuerdan con el contenido que se puede ver en el navegador. Un caso típico es cuando navegamos en una página web rica en contenido y el análisis de Verics reporta que ha analizado un número muy pequeño de archivos. Por ejemplo:


Bugs conocidos

Aquí vamos a resumir los bugs conocidos que se han identificado mientras tengan

Layout en mi análisis detallado sin filtraciones

En la versión de la aplicación donde se accede a un informe detallado de una web en la que ésta no tiene ninguna filtración, hay un bug a la hora de visualizar los resultados.

Los resultados de los análisis son correctos, el error reside en la visualización de éstos.

¿Que se muestra?

¿Como debería mostrarse?


¿Te podemos echar una mano en alguna otra cosa?

Si todavía tienes alguna duda, o crees que algo no es suficientemente preciso, estaremos encantadísimos de atenderte como siempre en nuestro centro de soporte através de mail:

hola@suments.com

Share on facebook
Share on linkedin
Share on twitter
Share on email
Share on whatsapp
Share on telegram