Datos personales

Mi foto
Quito, Ecuador
Ingeniero en Informática / Magíster en Gestión Tecnológica / Máster en Gestión de las TIC

sábado, 7 de julio de 2012

Inteligencia de Negocios - PARTE V

Visón General | Parte I | Parte II | Parte III | Parte IV | Parte V |


En la ejecución del proyecto de DWA participará un equipo de personas con distintos roles pertenecientes a distintos niveles de la organización así como personal externo a la misma, como consultores y expertos en tecnología de Data Warehouse e Inteligencia de Negocios. 


Estos últimos participaran en el desarrollo e implantación del DWA ya que el Departamento de Sistemas de Información de las organizaciones suele asumir el rol de gestor si no dispone de personal suficiente, ni de los conocimientos necesarios para llevar a cabo estas tareas por si solo.  Todo parte de plantearse la pregunta:

¿Qué actores son convenientes y cuáles imprescindibles para que un proyecto de implementación de Data Warehouse Analítico un Sistema de Inteligencia de Negocios tenga éxito? 

A esto respondemos, identificando roles que casi siempre son comunes en todo proyecto de implementación tecnológica, así los participantes o roles identificados, como “convenientes”, para llevar a cabo el proyecto de DWA, pueden ser:

Roles necesarios en un proyecto de implementación de un SIN

Comité de Dirección. Formado por los ejecutivos de alto nivel en representación de los usuarios que harán uso del DWA (Departamento Comercial, Finanzas, Contabilidad, Marketing, Atención al Cliente), es muy importante que las personas que conformen el comité respalden el proyecto y tengan potestad para tomar decisiones respecto a requerimientos.  Estas personas realizan el seguimiento del proyecto e intervienen para priorizar objetivos y redirigir esfuerzos cuando es necesario.  Este comité lo lideraría el patrocinador del proyecto.

Patrocinador del proyecto.  Debe ser un directivo de alto nivel que respalda el proyecto.  Es el principal valedor del proyecto, la cara visible de la organización frente al proveedor, y garantiza que los objetivos del proyecto de DWA están alineados con los objetivos de negocio y con la estrategia de la dirección de la empresa, asimismo se asegura de que se dispongan de los recursos necesarios para el proyecto. 

Director de Sistemas de Información.  Como responsable de Tecnologías de la Información de la empresa es fundamental su participación ya que existe una fuerte dependencia del proyecto de DWA de  los recursos y personal adscritos a dicho departamento TI o TIC en algunos casos,  esta dependencia no es solo durante el desarrollo e implantación del DWA sino también para en su posterior mantenimiento y evolución, así como el aseguramiento de la calidad técnica de las solución adoptada y la integración a la plataforma tecnológica de la organización.  Esta dependencia no se relaciona a la operación del sistema ya que aquello es responsabilidad exclusiva del área usuaria, la dependencia se enfoca al soporte tecnológico subyacente en una solución informática donde se requieren conocimientos avanzados de administración de aplicaciones informáticas y aseguramiento de la calidad del servicio entregado al usuario final.

Grupo de Usuarios de Referencia. Representando a los usuarios finales del DWA y formado típicamente por cargos intermedios y analistas, si desean participar, deben aportar su conocimiento del negocio y de la información existente en los sistemas actuales de la organización para la toma de requisitos, así como en la validación de las herramientas y resultados derivados de la explotación de datos del DWA, asumiendo su responsabilidad frente a pedidos o cambios que pudieran introducir, esto implica firmar documentos, formalizar pedidos, luego esto se evaluará con el proveedor y probablemente implique cambios en el alcance, cronogramas y costes.

Jefe de Proyecto.  Se encarga de realizar la planificación, ejecución y control del proyecto y coordinar y supervisar al equipo técnico así como de reportar al Comité de Dirección sobre la marcha del mismo, generalmente se opta por un alto perfil del Departamento de Sistemas de Información o personal con experiencia en gestión de proyectos, del lado del proveedor existirá también esta figura, se debe lograr un adecuado balance entre la gestión de requisitos, los cambios introducidos y los ajustes en los cronogramas, es fundamental a este nivel un manejo claro de la comunicación, la habilidad para detectar problemas de forma temprana y evitarlos, así como resolver conflictos y lograr acuerdos.

Analista del Negocio. Sirve de enlace entre los usuarios de referencia y el equipo técnico del proyecto (sea del proveedor o del cliente). Su función consiste en identificar,  documentar y modelar los requisitos de negocio y escenarios de uso del DWA para asegurar que el resultado final satisface las necesidades de los usuarios.

Arquitecto de DWA. A partir de los requisitos de información planteados diseña la estructura de datos del DWA convenientemente, teniendo en cuenta además el crecimiento y la escalabilidad de la solución a implementar.

Administrador de DWA. Implementa el esquema diseñado por el arquitecto de DWA y se encarga de las tareas de administración del mismo (carga de datos, optimización, análisis de rendimiento, administración de metadatos, etc.)

Programadores ETL.  Diseñan y ejecutan los procesos de extracción, transformación carga  necesarios para alimentar el DWA, a partir de las distintas fuentes de datos existentes actualmente.

Formador. Se encarga de formar a los usuarios finales acerca de la información contenida en el DWA y en el uso de  las herramientas de explotación de datos disponibles.

Además de estos actores también será necesaria la participación del personal de TI (administradores de sistemas y bases de datos) que atiende los sistemas operacionales actuales de la organización ya que el DWA se deberá integrar en la infraestructura TI existente y además debe alimentarse de la información contenida en los mismos.

Si se pertenece al mundo TIC, se conocerá de primera mano que a la empresa u organización siempre le faltan recursos, las personas están siempre ocupadas y es complejo que dediquen al menos parte de su tiempo a los proyectos, incluso si estos son críticos para el negocio.   En el peor de los casos los roles imprescindibles para el éxito del proyecto son los siguientes:

Patrocinador. Porque es quien asegura el respaldo por parte de la dirección al proyecto y la alineación de los objetivos del mismo con la estrategia de la empresa.

Director de Sistemas de Información. Porque es el responsable de atender las necesidades de información de la empresa tanto actuales como futuras.

Jefe de Proyecto. Porque de él depende la correcta ejecución del proyecto y que por tanto las necesidades de los usuarios queden satisfechas.
                       
Los demás roles pueden provenir o bien del proveedor, o cubrirse temporalmente mediante un esquema de contratación de tareas específicas con terceros (OUT-TASKING), o delegando a otra empresa toda la gestión del DWA (OUTSORCING).

No olvidar que es fundamental, pedir al proveedor cuestiones clave, como:

Implementación del concepto de metadatos, esto ha sido definido tradicionalmente como “datos acerca de los datos”, en el contexto de DWA puede definirse como una forma de abstracción utilizada para describir la estructura y el contenido del DWA.  El uso de metadatos  es importante por varias razones:

  1. Establecen el contexto de los datos contenidos en el DWA.
  2. Facilitan el proceso de análisis de la información.
  3. Sirven para documentar el origen de los datos del DWA a partir de los sistemas operacionales y las transformaciones realizadas.
  4. Mejoran la calidad de los datos.


Pueden distinguirse dos categorías principales de metadatos:

Metadatos Administrativos o Técnicos. Usados para describir la estructura y componentes del DWA, ya sean fuentes de datos, objetos del DWA, reglas de negocio y políticas empleadas, etc.

Metadatos de Negocio o Usuario. Ayudan a los usuarios en el proceso de creación de consultas e interpretación de los resultados

El uso de metadatos para enmascarar el nombre técnico de las columnas es un claro ejemplo de uso de metadatos de negocio y permitirá a los usuarios abstraerse, olvidarse por completo, de los nombres técnicos dados a las columnas para en su lugar manejar conceptos de negocio que le resultan más familiares y comprensibles, por tanto resulta muy conveniente su empleo. 

Como inconvenientes podrían citarse los siguientes:

  • Los conceptos de negocio empleados en este tipo de metadatos deben ser consensuados de manera que todos los usuarios de negocio los interpreten de la misma manera.
  • Sobrecarga administrativa, pues dicho repositorio de metadatos requiere su adecuada supervisión y mantenimiento.

Los Metadatos como parte del SIN


¿Cuántos tipos de roles de usuario se deberían definir en un Sistema de Inteligencia de Negocios?

Hay que tener en cuenta que no todos los usuarios tienen las mismas necesidades ni deben de disponer de los mismos privilegios de acceso a la información del Data Warehouse.

Se definen 3 tipos de roles, bien diferenciados en base a las necesidades de cada grupo y, por lo tanto, a los privilegios de acceso que serán otorgados para acceder a la información del Data Warehouse. 

Los tres tipos de usuario son los siguientes: Alta dirección, ejecutivos y cargos intermedios y, por último, los distintos analistas  y usuarios de negocio de los departamentos de la compañía que necesiten usar el SIN.


¿Qué aporta realmente un Sistema de Inteligencia de Negocios?


Un Sistema de Inteligencia de Negocios,
debe ser una ayuda práctica en la Empresa


La alta dirección se beneficiará de la solución SIN, principalmente, haciendo uso de cuadros de mando que es una herramienta de control empresarial que permite establecer y monitorizar los objetivos de una empresa y de sus diferentes áreas o unidades.

Vista tradicional de un cuadro de mando

Los ejecutivos y cargos intermedios usarán un sistema de soporte a la decisión (DSS), con el cual se podrán analizar los datos de la organización explotando al máximo la información residente en el DWA y mostrando informes muy dinámicos y con gran potencial de navegación.

Así como también harán uso de cubos OLAP (Procesamiento analítico en línea), que permiten procesar grandes volúmenes de información y con un acceso inmediato a los datos para su consulta y posterior análisis.

Estas herramientas sirven a los cargos intermedios para poder realizar informes y análisis que, posteriormente, usará la alta dirección para tomar decisiones inteligentes y optimizar los tiempos en el descubrimiento de problemas y atención de incidencias que puedan afectar a la competitividad en el mercado.

Con respecto al último grupo, los usuarios de negocio, el proceso de Inteligencia de Negocios, puede realizar diversas aportaciones a cada departamento con el uso de minería de datos, cuyo objetivo es encontrar patrones repetitivos, tendencias o reglas que expliquen el comportamiento de los datos en un determinado contexto.

Un cuadro de mando no debe limitarse a formatos tradicionales
responde a necesidades, incluso en formatos de ayuda geográfica


Por ejemplo, el departamento de marketing podrá beneficiarse identificando de forma más precisa los segmentos de clientes y estudiando con mayor detalle su comportamiento, así como identificando tendencias.

El departamento de reclamaciones e incidencias puede realizar estudios de las reclamaciones para centrar las ventas en productos y empresas fiables, determinar tiempos de respuesta, mejorar sus índices de atención, identificar las causas más comunes por línea de producto y atacarlas.  El proceso de Inteligencia de Negocios, aportará conocimiento en profundidad de la casuística de las reclamaciones, las tipologías, su tiempo de resolución, porcentaje de reapertura y el perfil de los clientes que las abren. Con dicha información una empresa podrá tomar decisiones importantes para encaminarse a la satisfacción de los clientes y además reducir costes.

A través del Sistema de Inteligencia de Negocios, por ejemplo el departamento comercial podrá obtener de forma efectiva y rápida toda la información que requiere para realizar su trabajo y poder elaborar sesiones informativas eficientes dónde se muestre el tiempo y los ingresos a corto y medio plazo.


Siglas y Abreviaturas:

BD Base de Datos
BI Business intelligence
DSS Decision Support System
DWA Data Warehouse Analítico
ERP Enterprise Resource Planning
ETL Extraction, Transform and Load
ODS Operational Data Store
OLAP On-Line Analytical Processing
SGI Sistema de Gestión de Incidencias
SQL Structured Query Language
TI Tecnologías de la Información
UPC Universidad Politécnica de Cataluña
SIN    Sistema de Inteligencia de Negocios


Visón General | Parte I | Parte II | Parte III | Parte IV | Parte V |

jueves, 7 de junio de 2012

Inteligencia de Negocios - PARTE IV

Visón General | Parte I | Parte II | Parte III | Parte IV | Parte V |




Una vez que se ha revisado los conceptos de extracción y transformación, la carga de datos ocurre al emplear las herramientas ETL para colocar los datos conforme lo establece el modelado adoptado.  La carga puede realizarse en los diferentes repositorios que conforman el almacén de datos analítico (siglas en inglés: DWA), lo importante es que se haga una adecuada gestión sobre la calidad de los datos para que los resultados en las herramientas de explotación cumplan las necesidades de los usuarios del Sistema de Inteligencia de Negocios (SIN) y no menos importante resulta también algo que no ve el usuario, esto es que se tomen en cuenta estrategias eficientes al momento de realizar la carga de datos en los repositorios, tomando en cuenta las capacidades y tiempos que los equipos de cómputo disponibles emplearán en las tareas de procesamiento, una estrategia usual es la carga incremental y el seguimiento de un calendario en franjas horarias establecidas como de bajo impacto, esto quiere decir reducir al mínimo los riesgos de llevar al sistema a condiciones de no disponibilidad.

Los problemas de calidad de datos no se tienen siempre en cuenta al principio del proceso ETL, cuando el equipo está centrado más bien en mover una gran cantidad de datos que en pequeños datos individuales que no sean correctos.  Sin embargo, la mala calidad de los datos o la falta de los mismos suponen problemas, ya que la información base que se usa para su explotación es errónea.  Es primordial que los usuarios tengan la seguridad de que los datos e información que están usando son correctos y no tienen ningún tipo de errata o desviación.

Existen muchas causas que no se pueden controlar para que un dato no sea correcto, la experiencia sin embargo determina que las principales causas de falta de calidad en los datos podrían ser:

  • Valores perdidos o incompletos en la fuente de datos
  • Falta de integridad referencial en el sistema origen
  • Errores en datos precalculados
  • Diferentes unidades de medida
  • Datos duplicados
  • Campos divididos
  • Múltiples jerarquías
  • Reglas conflictivas o inconsistentes


La evaluación de la calidad puede llevarse a cabo en diferentes puntos a lo largo del proceso ETL. Puede realizarse sobre la fuente origen de los datos, en el proceso de carga de los datos o cuando los datos están cargados en el DWA.

Lo ideal, es realizar los controles en la propia fuente de los datos, antes de cargarlos. Con esta práctica nos aseguramos que luego se trabajará con datos validados y limpios. Aunque la experiencia ha demostrado, sin embargo, que la corrección de datos en el sistema origen es complicada de realizar debido a dos principales razones:

  • La primera, es que sería el personal operativo el que tendría que asumir la responsabilidad adicional de rastrear y corregir los errores de datos pasados 
  • La segunda, que los datos correctos pueden ser desconocidos, siendo una tarea complicada y tediosa determinar los datos correctos.


Con respecto a quién debe ser el encargado de validar la calidad de los datos, el personal adecuado para esta función ha de ser alguien que conozca el negocio y todos sus procesos a la perfección, ya que así podrá distinguir y predecir aquellos datos que sean erróneos y guiar el proceso de control de la calidad de los mismos.



LA ETAPA DE EXPLOTACIÓN 

Es posible mediante las herramientas de explotación, suena redundante pero el esfuerzo realizado por los proveedores de soluciones en conseguir interfaces cada vez más intuitivas y orientadas a ejecutivos, posibilita el análisis de la información que se haya cargado en el DWA con las diferentes metodologías y  tecnologías.  Este conjunto de herramientas y metodologías actúan en torno a tres ejes fundamentales:

  1. Accesibilidad a la información. Lo primero que deben garantizar este tipo de herramientas y técnicas será el acceso de los usuarios autorizados a los datos con independencia de la procedencia de estos.
  2. Apoyo en la toma de decisiones. Se busca ir más allá en la presentación de la información, de manera que los usuarios tengan acceso a herramientas de análisis que les permitan seleccionar y manipular sólo aquellos datos que les interesen.
  3. Orientación al usuario final. Se busca independencia entre los conocimientos técnicos de los usuarios y su capacidad para utilizar estas herramientas. Para ello dichas herramientas deben basarse en conceptos de negocio familiares para el usuario  con interfaces gráficas de fácil usabilidad.


¿Cómo elegir la herramienta o conjunto de herramientas para la explotación de un SISTEMA DE INTELIGENCIA DE NEGOCIOS?

Cada organización es conocedora de sus necesidades, limitaciones o habilitantes financieras, de personal, culturales y tecnológicas.  Realizar una recomendación genérica resultaría demasiado ambicioso, sin embargo existen referencias a tomar en cuenta al momento de enfrentarse a la tarea de seleccionar una herramienta de Inteligencia de Negocios que apoye efectivamente a las tareas de análisis del negocio. 




CONSULTAR REFERENCIAS DE OPINIÓN

El mundo del software es dinámico, los principios conceptuales permanecen por más tiempo que las herramientas que se presentan a los mercados consumidores, por ello es muy importante estar atento a los analistas o creadores de opinión de reconocido prestigio, que aunque no puedan resultar cien por cien acertados han invertido fondos económicos y tiempo en realizar sus análisis y esto es ya un componente que permite acercarse a información de primera mano para dilucidar una opción.  Un ejemplo de ello son los informes presentados por la consultora GARTNER, mediante su ya famoso cuadrante mágico, que representa la condición del mercado para un producto tecnológico en un momento determinado, presenta para el caso de Inteligencia de Negocios las diferentes empresas proveedoras, clasificadas en zonas donde mediante un punto de color naranja se puede distinguir donde están posicionados sus productos:


http://businessintelligence.info/docs/estudios/Gartner-Business-Intelligence-2011.pdf




Líderes (leaders): aquellos que tienen la mayor puntuación resultante al combinar su habilidad para ejecutar (lo bien que un vendedor vende y ofrece soporte a sus productos y servicios a nivel global) y el alcance de visión, que se refiere a su potencial. 

Aspirantes (challengers): caracterizados por ofrecer buenas funcionalidades y un número considerable de instalaciones del producto, pero sin la visión de los líderes.

Visionarios (visionaries): estos pueden tener todas las capacidades que ha de ofrecer un Sistema de Inteligencia de Negocios, bien pudiera ser mediante alianzas con otros socios, lo cual significa un fuerte impulso a la integración de programas y plataformas así como una habilidad para anticiparse a las necesidades del mercado que ellos no puedan cubrir.

Nichos específicos (niche players): enfocados a determinadas áreas de las tecnologías de Inteligencia de Negocios, pero sin disponer de una suite completa.

Esta información puede orientar una decisión pero no debe ser determinante, pues hay otras cosas que se deben tomar en cuenta, lo que es muy útil de este tipo de análisis son los perfiles de empresas que pueden responder a nuestras necesidades, las herramientas que fabrican y luego a partir de conocer esa información se pueden conocer sus clientes, se les puede contactar, buscar otras empresas de perfil similar, solicitar pruebas piloto, indagar, conocer sus soluciones.  El cuadrante por sí solo no es lo más importante, lo que aporta es usar su información para perfilar el tipo de empresa que puede atender la necesidad del negocio de una organización que busca implementar un SIN.



TOMAR EN CUETA LAS CARACTERÍSTICAS NO FUNCIONALES


Cuando se analiza la adquisición o implementación de un SIN, del cual se espera apoye a la toma de decisiones, es importante comprender que existen dos puntos de vista, el del usuario quien no está interesado en conocer detalles técnicos ni plataformas de desarrollo, ni que el código con el que se programó cumpla estándares, lo único que le interesa que el costo haya sido razonable, que se resuelvan sus problemas y el punto de vista técnico.  

La complejidad en el punto de vista técnico debe evitarse en reuniones ejecutivas de alto nivel, sin embargo debe transmitirse las implicaciones técnicas sin emplear un lenguaje complejo que los directivos no podrán comprender.  

Quizá el servicio de ventas del proveedor tiene un gran enganche con usuarios clave, con personas capaces de tomar decisiones en la organización, entra en ese momento en escena la razón de ser de un departamento TIC, analizando el nivel de integración de  las herramientas que se están proponiendo a la plataforma tecnológica de la organización y considerando otros aspectos que para los usuarios resultan prácticamente invisibles:

  1. La solución resuelve los problemas del usuario en todos los demos y pruebas, sin embargo existe la necesidad de dimensionar y cuantificar: los costos de la configuración de los entornos donde va a operar el sistema, permisos de acceso, servidores necesarios, permisos de red, firewalls, medios físicos de almacenamiento y respaldo de la información, incompatibilidades tecnológicas a resolver con la plataforma informática de la organización, necesidades de integración con otros sistemas, políticas de recuperación de los datos en caso de desastre informático, costos y tiempos de la capacitación a usuarios, costos de mantenimiento, costos y tiempos de formación a personal técnico, mecanismos de ayuda a los usuarios durante la explotación, cronogramas del proyecto, equipo de trabajo del proyecto y tiempo que se le va a dedicar por recurso, los entregables que se espera recibir, las responsabilidades formalizadas en documentos sobre los niveles de  aprobación de usuarios y técnicos sobre los entregables recibidos.
  2. Dimensionar el impacto del volumen de información a procesar sobre la capacidad de cómputo que se dispone para el proyecto del SIN (Sistema de Inteligencia de Negocios), esto puede requerir mayor inversión en Hardware y capacidad de cómputo (servidores, memoria, CPU, almacenamiento).
  3. Definir los niveles de servicio y perfiles de los usuarios del SIN, antes de la implementación y luego afinarlos progresivamente.
  4. Se debe comprometer al proveedor a cubrir un período de mantenimiento y soporte, remoto o en sitio, conforme a los intereses de la organización y en base a un ANS (Acuerdo de Nivel de Servicio). 

Para elegir un motor de datos específicos se requiere conocer el presupuesto de la empresa ante el tema de adquirir licencias, implantación y escalabilidad, considerando la posibilidad de migrar los sistemas a nuevos motores de bases de datos.  Un DWA en sus repositorios deben cubrir al menos las siguientes características:

  • Repositorio de datos analítico centralizado
  • Alto performance en el acceso concurrente
  • Tiempos reducidos de consulta en bases de datos históricas
  • Alta disponibilidad 
  • Permitir la creación y configuración de mecanismos de respaldos y restauración de datos
  • Alto nivel de integración con herramientas de explotación 

Cada empresa debería poder determinar sus estándares en cuanto al acceso y rendimiento.  Se presentan a continuación los  resultados de un estudio realizado como parte de un Máster en Tecnologías de la Información, en la Facultad de Informática de la Universidad de Barcelona – UPC en Septiembre de 2009 cuyo autor es Pol Rojas Bartomeus, se trata de un análisis de las diferentes bases de datos analíticas partiendo de crear un entorno de pruebas que consiste en el montaje de máquinas virtuales con volúmenes de datos de gran tamaño y produciendo niveles de stress que simulan la operación de una empresa en entorno cercano a un caso real, aplicando cinco tipos de consulta que buscaron identificar medidas para comparar de manera cuantitativa, los resultados y la exigencia que el software hace al hardware, esto permite aproximar posibles comportamientos de las aplicaciones, y obviamente ayuda a tomar decisiones.

En el trabajo mencionado se definen cinco tipos de consultas, las cuales se ejecutan en diferentes máquinas virtuales, en cada máquina virtual se ha instalado una solución tecnológica diferente, las soluciones tecnológicas que se comparan son: Oracle, SQL Server, Alterian y QkilkView.

No entraremos en detalle del trabajo en mención, pero resumiremos algunos de sus aspectos destacados, la siguiente tabla muestra el planteamiento de las cinco consultas:   


Medición de resultados, % medio de uso de CPU por consulta y por sistema: 


Medición de resultados, cantidad de memoria virtual utilizada en megabytes por consulta y por sistema:



Medición de resultados, cantidad de memoria RAM utilizada en megabytes por consulta y por sistema:


Medición de resultados, tiempo de respuesta de las consultas en cada sistema:


En conclusión, después de la realización de las pruebas sobre Oracle, SQL Server, Alterian, Qlik View, se obtiene los resultados presentados en la siguiente tabla:


Como se puede apreciar es una forma de comparar, creando escenarios de pruebas.  Se puede solicitar al proveedor una serie de test que permitan determinar el sistema más conveniente.  Claro esto dependerá del tamaño del SIN, del poder de negociación que se tenga, de las dimensiones del proyecto, pues en una etapa de oferta implica recursos del proveedor por los cuales no recibe pago.  La simulación da una idea, lo cual ayuda mucho, pero no será igual que una situación real.  Sin embargo es preferible a no tener referencias.  


TOMAR EN CUENTA LAS CARACTERÍSTICAS MÍNIMAS  A CUMPLIR 

Sea cual sea la opción elegida, el usuario del SIN debe tener a su disposición una herramienta de explotación que incorpore al menos las siguientes características:


  1. Reporting predefinido. Si la herramienta posee reporting, cualquier persona de la compañía que lo requiera para realizar sus funciones podrá acceder a información en línea, con internet como medio de acceso si es posible. Es importante para obtener una visión de cómo se encuentra la empresa de cara a la toma de decisiones.
  2. Drill-down. Se trata de la funcionalidad que permite navegar de los datos generales a los particulares en la información presentada. Es relevante si se desea obtener información sobre un aspecto a nivel inferior.
  3. Análisis avanzado. Consiste en identificar conocimiento que no se puede ver de una forma intuitiva en base a los datos que maneja la empresa. Es importante ya que así se puede analizar por qué se dan una serie de aspectos y tomar decisiones al respecto.
  4. Análisis predictivo. Se trata de la capacidad de las herramientas informáticas para poder realizar análisis sobre los datos del negocio e identificar patrones y tendencias que ayuden a tomar decisiones con respecto al rumbo de la empresa de cara al futuro.
  5. Enriquecerse de datos externos sobre la marcha. La herramienta debe permitir cambios en los reportes generados y en la presentación de los mismos sin una dependencia alta del personal de sistemas 
  6. Capacidad de acceso a grandes volúmenes de datos. Es necesario debido a que la organización maneja generalmente una gran cantidad de datos y el sistema ha de poder trabajar correctamente con las cargas estimadas y luego con las reales.
  7. No dependencia de expertos. Es importante que la herramienta esté orientada al usuario y no haga falta grandes conocimientos técnicos para manejarla debido a que no todas las personas que harán uso de ella tendrán dichas capacidades.


Adicionalmente las herramientas que permiten la explotación de un SIN suelen incorporar cuadros de mando, incluso algunas herramientas presentan diagramas de conjuntos de datos, intersecciones, uniones, en definitiva la finalidad es tener mecanismos gráficos donde la información puede verse en forma resumida por ejemplo un manómetro, esto ayuda mucho a determinar de una sola mirada el estado de los indicadores de la empresa, por ejemplo:



  • Rentabilidad por tipos de clientes
  • Rentabilidad por tipos de productos: internet, telefonía fija y móvil, teléfonos 
  • Índice de abandonos en un período determinado
  • Uso que realizan los clientes de los distintos servicios
  • Nivel de morosidad de clientes



Si se desea profundizar aún más en las tendencias de los comportamientos por ejemplo de clientes puede incorporarse el concepto de Minería de Datos, aunque esto suele en general implicar la intervención de otras herramientas que trabajan por fuera del SIN pero sobre sus bases de datos analíticas, lo que suelen requerir es que se disponga de un repositorio físico para construir las vistas necesarias para realizar análisis de predictibilidad, pero hay que tener cuidado de contar con el personal adecuado en este ámbito ya que el perfil requiere conocimientos avanzados de estadística.

Un ejemplo de tabla comparativa simple que permita acercarnos más a una decisión se refleja a continuación, ya dependerá de cada organización complicarse más, considerar costos, tiempos de implantación y todo aquello que haga falta, o menos, dependerá de sus métodos de selección de tecnología de Inteligencia de Negocios:


  1. Marcar con una "X" si no se cumple el requisito 
  2. Marcar con un "OK" si se cumple el requisito 



En la última entrega revisaremos algunas consideraciones adicionales para proyectos que buscan implementar un Sistema de Inteligencia de Negocios.


Referencias:


Visón General | Parte I | Parte II | Parte III | Parte IV | Parte V |

lunes, 14 de mayo de 2012

Inteligencia de Negocios - PARTE III

Visón General | Parte I | Parte II | Parte III | Parte IV | Parte V |



TRANSFORMACIÓN

Al realizar la extracción, la identificación de las fuentes de datos puede tener un aspecto parecido al siguiente, en herramientas ETL como TALEND OPEN STUDIO o PENTAHO DATA INTEGRATION.


Extraer consiste en entender las reglas de negocio que regulan la información, para poder
navegar entre las fuentes de datos y mediante facilidades gráficas como: arrastrar y soltar; colocar sobre un lienzo los objetos que representan una conexión específica a la fuente de datos y enlazarlos mediante relaciones o flujos representados por líneas que encierran las  referencias a los datos por extraer.  Identificar el flujo de la información es importante, ello facilita el entendimiento de cada repositorio y su afectación al implementar un SIN.  El enfrentarse a diversas problemáticas de negocio y modelos; permite ir generando las habilidades necesarias para emplear efectivamente las herramientas ETL, de tal manera que las fuentes y los destinos de los datos sean enlazados de forma coherente.

La etapa de transformación ocurre precisamente una vez que se han extraído los datos y colocado en las tablas de destino, siendo la primera actividad verificar que se cumplen las pautas o estructuras que se han definido en el análisis. De no ser así los datos deben ser rechazados o depurados.  Esta fase de transformación aplica una serie de reglas de negocio o funciones sobre los datos extraídos para convertirlos en datos que serán cargados en el DWA, en ese paso intermedio interviene el área de Staging.  El data profiling, es el soporte indispensable de la transformación y consiste en:

  • Emplear métodos analíticos que revisan los datos para obtener una comprensión completa de su contenido, estructura y calidad
  • Identificar inconsistencias, eliminar información "basura" de determinados campos, corregir valores corruptos, revisar errores manualmente para decidir como corregirlos
  • Determinar si el proyecto debe reprogramarse (cambios en el alcance, cambios en cronogramas),  para ello deben detectarse problemas que no se puedan resolver en el corto plazo y analizar la situación caso por caso

No suele ser muy tomado en cuenta, pero no deja de ser importante al tratarse de el transporte de datos; el haber configurado con la suficiente antelación los entornos informáticos donde se desplegará el sistema de Inteligencia de Negocios, el cumplir con las normativas de seguridad organizacionales, el contar con las autorizaciones explicitas para el acceso a la información y cumplir con lo exigido por entes de control superiores (por ejemplo Leyes de Protección de Datos) .


MODELADO

Es parte de la transformación, se trabaja en él desde el inicio de un proyecto para implementar un SIN, con participación de analistas con habilidad en el uso de herramientas informáticas de modelado de bases de datos analíticas, con experiencia en DWA y conocedores del negocio de la organización.  Sin el modelado de datos del DWA no hay Sistema de Inteligencia de Negocios, este paso es requisito indispensable para realizar la extracción y carga. 

Las herramientas más populares para modelado suelen estar incorporadas en los sistemas que permiten la explotación del Sistema de Inteligencia de Negocios, ya que la tendencia actual es conformar entornos o ecosistemas que brindan soluciones integrales, la mayoría de fabricantes con experiencia, dotan a sus clientes de herramientas que les permitan atender cada etapa en un proyecto de Inteligencia de Negocios (Modelado, ETL, Explotación).



Pero, ¿Qué es el modelado?.  Consiste en representar gráficamente lo que se almacena en el repositorio y cómo se gestiona dicho almacén.  Es definir las estructuras de datos en las bases de datos Staging, DWA y Data Mart, de tal forma que se logre organizar gran cantidad de información  proveniente de los sistemas transaccionales, siguiendo las reglas del negocio para que los datos puedan ser presentados por los sistemas de explotación (cuadros de mando, reportes dinámicos, gráficas, informes ejecutivos, análisis en línea, análisis predictivos, minería de datos), como muestra el esquema típico de una solución BI de las partes I o II.

El modelado se divide en dos partes, una independiente de la tecnología denominada Modelado Lógico  (puede hacerse en un procesador de palabras, una hoja electrónica o una simple hoja de papel) y el Modelado Físico que consiste en la implementación mediante software de las estructuras de datos que almacenarán la información, las cuales fueron identificadas en el modelado lógico. 

Para quien ha realizado modelos entidad-relación esto no es ninguna novedad, sin embargo los modelos de datos de un Sistema de Inteligencia de Negocios, guardan sus diferencias respecto a los modelos de datos transaccionales.  Antes de empezar se debe conocer que el modelo contendrá únicamente dos tipos de tablas: las de hechos y las de dimensión.


HECHOS

Son aquello que se desea analizar:

  • Representan medidas del Negocio: Número de expedientes, compras, ventas, etc
  • La identificación de hechos y sus dimensiones asociadas permite controlar diferentes niveles de  granularidad, esto quiere decir que se puede agrupar los datos en intervalos mas grandes o más pequeños conforme a necesidad y darle al  análisis diferentes niveles de vista de la información, por ejemplo: ventas diarias, ventas semanales, ventas mensuales, ventas trimestrales
  • Se implementan mediante muchos registros y pocas columnas
  • Suelen agregar valores numéricos

Para más detalles se puede consultar:  http://es.wikipedia.org/wiki/Tabla_de_hechos



DIMENSIONES

Representan lo que se quiere describir y contienen los datos que permiten restringir y agrupar los datos contenidos en la tabla de Hechos asociada:

  • Se aproximan al concepto de “Datos Maestros” en un sistema operacional
  • Son descriptores del negocio
  • Implementan jerarquías
  • Suelen tener muchas columnas, pocos registros
Un concepto al que está relacionada una tabla de dimensión es la jerarquía, incorpora diferentes columnas que permiten establecer una clasificación específica de los datos de la tabla de Hechos, por ejemplo:

  • Localización geográfica identificada por país, región, provincia, ciudad, barrio
  • Intervalos de tiempo como día, semana, mes, trimestre, semestre, año
  • Categoría de un producto como familia , clase, subclase 

Para más detalles se puede consultar: http://es.wikipedia.org/wiki/Tabla_de_dimensi%C3%B3n



MODELADO LÓGICO

Representa el esquema de lo que se almacena en el repositorio de datos identificando los  elementos de información y su relación con el negocio.  Está formado por los hechos por ejemplo cantidades, totales facturados u otros que son las medidas del negocio, atributos que representan el cuándo, quién, qué; es decir describen el contexto de los hechos y las relaciones entre los atributos.  A tomar en cuenta en un modelo lógico:

  • Representa el esquema de qué se almacena en el repositorio: elementos de información y su relación con el negocio
  • Modelo de datos: definición, características y relaciones
  • Se concibe a nivel de negocio o conceptual
  • Es independiente de la tecnología de almacenamiento
  • Está orientado al usuario final
  • Los componentes del modelo lógico son:

            1. Hechos(facts): medidas de negocio (cantidad, importe, saldo, suma, media, …)
            2. Atributos: describen el contexto del hechos (cuándo, quién, qué, ámbito, …).
            3. Agregaciones (sumas, medias, máximo, mínimo, …)
            4. Relaciones, cardinalidad y jerarquías entre atributos


MODELADO FISICO

Representa el esquema de cómo se almacena la información en el repositorio informacional. El modelo se compone de columnas y tablas. Se trata de la manifestación física del modelo lógico de datos en tablas de bases de datos y claves foráneas. Los esquemas de modelado pueden ser de tres tipos: Modelo en estrella, modelo en copo de nieve y modelo en constelación de estrellas.

EJEMPLOS DE MODELADO

Modelo en Estrella
  •      Una sola tabla de hechos
  •     Una sola tabla para cada dimensión


Modelo en Copo de Nieve
  • Una sola tabla de hechos
  • Varias tablas de dimensiones normalizadas


Modelo en Constelación de Estrellas (modelo mixto)
  • Varias tablas de hechos
  • Comparten dimensiones


MAS EJEMPLOS








IMPLEMENTACIÓN FÍSICA DE MODELOS EN BASES DE DATOS


MOLAP: OLAP Multidimensional
1.      Datos pre-calculados
2.      Almacenados  en cubos de dimensiones



ROLAP: OLAP Relacional.
1.      Funcionalidad similar a MOLAP
2.      Basada en bases de datos relacionales

HOLAP: OLAP Hibrido
1.      Se accede a ROLAP desde MOLAP

CBAT: Column Based Analytical Technology
1.      Datos almacenados en columnas
2.      Cálculos realizados on-line o precalculados








El cambio de paradigma hacia organizar la información en columnas se emplea con la finalidad de reducir considerablemente el tiempo de consulta sobre grandes volúmenes de información y es el resultado que los fabricantes de software analítico innovador dan al problema de costo y rendimiento, al intentar recuperar datos que se encuentran insertos en gigantescos cúmulos de almacenamiento.

En la siguiente entrega se revisaran las herramientas de explotación y se plantearán sugerencias para proyectos de Inteligencia de Negocios.




Visón General | Parte I | Parte II | Parte III | Parte IV | Parte V |