20130617 - Datalytics - Instalacion y Administracion de la Plataforma - Romina Pontiroli (1)

www.datalytics.com Instalación y Administración de la Plataforma Pentaho Material confeccionado para Romina Pontiroli – Defensoría del Pueblo

Agenda Introducción Arquitectura

Pentaho Pentaho está compuesta por un conjunto de herramientas, una por cada etapa de su proyecto de BI. Estructura modular y embebible: Data Integration Pentaho Reporting Pentaho Analysis Pentaho Dashboards Pentaho Data Mining Arquitectura multiplataforma Énfasis en Big Data (Hadoop, bases analíticas, NoSQL, etc.).

Pentaho Pentaho Data Integration (previamente Kettle), es la herramienta para Data Integration de la suite de Pentaho. Permite tomar información de diferentes fuentes, consolidarla y cargarla en un repositorio analítico.

Pentaho Pentaho Business Intelligence Platform es la plataforma de Business Intelligence de Pentaho que integra todos los módulos de la solución, integrando la seguridad y las reglas de negocio en un único punto.

Pentaho: Reporting Pentaho Reporting es la solución de Pentaho para Reporting. Conectividad con múltiples fuentes de información:  Bases de datos (SQL Server, Oracle, DB2, Teradata, Sybase, …)  Transformaciones de Pentaho Data Integration  Otros: Metadata de Pentaho, OLAP (XML/A, MDX), XML Principales Características:  Reportes pixel-perfect  Desarrollo 100% drag & drop  Utilización de parámetros y variables  Posibilidad de descargar la información en diversos formatos (html, pdf, etc.)

Pentaho: Report Designer

Pentaho: Analysis Pentaho Analysis (Mondrian Project) es la solución de Pentaho para análisis OLAP. Mondrian es un motor ROLAP que traduce consultas multidimensionales en SQL tradicional; tiene una cache para mejorar la performance. Los cubos OLAP permiten a los usuarios interacturar y visualizar la información de manera multi-dimensional.

Pentaho: Analysis A través de su motor OLAP, Pentaho provee la capacidad de analizar información de manera sencilla e intuitiva. Navegar y explorar la información de manera 100% intuitiva:  Web, Drag & Drop  Analisis Ad-Hoc, Self-Service BI  Drill-down, Drill-up  Pivot, Slice and Dice  Seleccionar miembros específicos para el análisis  Export a PDF y XLS Interactuar con alto rendimiento.

Pentaho: Dashboards Pentaho Dashboards es la solución de Pentaho para la generación de tableros de control. Mashups de componentes, reportes & análisis en conjunto con la generación gráficos nuevos.  Mashup de: Pentaho Reporting, Pentaho Analysis, Google Maps, websites, componentes AJAX, etc.  Generación de gráficos/tablas desde scratch utilizando el esquema de metadata centralizado de Pentaho. Links y filtros entre componentes.

Pentaho: Dashboards

Pentaho: Dashboards

Pentaho: Dashboards

Pentaho: Data Mining Pentaho Data Mining (Weka) es la solución de Pentaho para Data Mining. Weka es una aplicación desktop que provee técnicas de machine learning como ser algoritmos de clustering, árboles de decisión, regresiones, etc.

Pentaho: Resumen

Pentaho: Arquitectura

Pentaho: Arquitectura

Pentaho: Arquitectura

Pentaho: MondrianFuente de Datos Entorno de Análisis DWH Base de Datos1 ETL SQL MDXBase de Datos2 Staging Estructura Servidor Cliente Extracc. Dimensional OLAP OLAPArchivos Transf.Planos Users ETL Repositorio

Anexo: Detalle Mondrian

Pentaho: Arquitectura

Agenda Instalación de la Plataforma

Estructura de Directorios Principales directorios son:  pentaho-solutions, contiene todas las soluciones: de usuario (cubos, vistas, etc) y de sistema (\system).  pentaho-solutions\system, contiene los archivos de configuración de la plataforma. Como pentaho.xml, archivo de la configuración global. Templates de reportes Ad-Hoc, archivos de configuración de Mondrian, archivos de configuración de Metadata, archivos de configuración de data- access, etc.  tomcat, tiene todos los archivos referidos al Application Server.  tomcat\lib, guarda los drivers (.JARs) necesarios para la conexión a distintas bases de datos y servidores.  tomcat\webapps\pentaho, webapp de la consola de usuario de Pentaho. Incluye los subdirectorios para la configuración visual de la plataforma, autenticación, URL principal, etc.  tomcat\logs, almacena los archivos de logs de la plataforma.

Start y Stop del servidor Pentaho puede configurarse como servicio de windows. En el caso que no se encuentre como servicio, para iniciar o detener la plataforma se debe ejecutar: Inicio  BI Server: \biserver-ce\start-pentaho.bat (start-pentaho.sh en UNIX).  Administration Console: \administration-console\start-pac.bat (start- pac.sh en UNIX) Detener  BI Server: \biserver-ce\stop-pentaho.bat (stop-pentaho.sh en UNIX).  Administration Console: \administration-console\stop-pac.bat (stop- pac.sh)

Start y Stop del servidor Si Pentaho está como servicio, para iniciarlo se debe: 1. Ir a las Herramientas Administrativas de windows y allí a Servicios (Panel de control\Herramientas administrativas). 2. En la lista de servicios se debe buscar el nombre del mismo, ej:“pentaho45CE”, seleccionarlo y hacer click en iniciar. 3. Existe la opción para que inicie automáticamente, para esto se debe seleccionarlo, hacer click derecho, luego propiedades y en Tipo de Inicio elegir Automático (Por default el servicio se encuentra en manual). Para detenerlo: 1. Ir a las Herramientas Administrativas de windows y allí a Servicios (Panel de control\Herramientas administrativas). 2. En la lista de servicios se debe buscar el nombre del mismo, ej:“pentaho45CE”, seleccionarlo y hacer click en detener.

Agenda Pentaho Administration Console

Creación de usuarios y roles Crear Usuarios Para crear nuevos usuarios para la plataforma o modificar los existentes se deben seguir los siguientes pasos: Acceder a la consola de administración: Por ej. http://localhost:8099 Administration > Users

Creación de usuarios y rolesCrear UsuariosPara crear nuevos usuarios para la plataforma o modificar los existentes se debenseguir los siguientes pasos:Acceder a la consola de administración: Por ej. http://localhost:8099Administration > UsersAl crear un usuario por defecto se le asigna el rol Authenticated, ya que esestrictamente necesario para poder ingresar a la plataforma.Contraseña Nombre del usuarioBreve descripción Confirmación de la contraseña(Opcional)

Creación de usuarios y roles Crear Roles Para crear un nuevo rol los pasos son similares a la creación de un usuario, pero en Administration debemos seleccionar Roles.

Creación de usuarios y roles Crear Roles Para crear un nuevo rol los pasos son similares a la creación de un usuario, pero en Administration debemos seleccionar Roles. Nombre del rolBreve descripción(Opcional)

Agenda Laboratorio

Conexiónes JNDI Conexión JNDI a múltiples fuentes de información Para dar de alta o modificar las conexiones utilizadas por los cubos o reportes se debe: Acceder a la consola de administración: http://localhost:8099 Administration > Database Connections > +

Conexiónes JNDI Conexión JNDI a múltiples fuentes de información Para dar de alta o modificar las conexiones utilizadas por los cubos o reportes se debe: Acceder a la consola de administración: http://localhost:8099 Administration > Database Connections > +Driver: va a depender de Nombre de la conexiónla base de datos a la cualnos queremos Nombre de usuarioconectar. (habilitado por la base de datos).Contraseña del usuario URL (el formato va a Test de la conexión depender de la base de datos).

Conexiónes JNDI Conexión JNDI a múltiples fuentes de información Para dar de alta o modificar las conexiones utilizadas por los cubos o reportes se debe: Acceder a la consola de administración: http://localhost:8099 Administration > Database Connections > +

Conexiónes JNDI Para tener disponibles los drivers de las distintas bases de datos que necesitamos, hay que colocarlos en los siguientes directorios (donde aplique):

Creación de usuarios y roles Cambiar contraseña de un usuario de PAC Para cambiar la clave de un usuario existente se puede abrir con un editor de texto el archivo “login.properties” ubicando en “…\administration-console\resource\config\” y allí cambiar tanto el método de encriptación como la clave para el usuario deseado. Por ejemplo cambiar el método de encriptación OBF por MD5 y la clave “password” por “pass” del usuario admin: Original>admin: OBF:1v2j1uum1xtv1zej1zer1xtn1uvk1v1v,admin Nueva>admin: MD5:1a1dc91c907325c69271ddf0c944bc72,admin Reiniciamos PAC y ya se puede ingresar con la nueva contraseña. También se puede cambiar la clave de un usuario con el comando que se muestra a continuación:java -cp lib/jetty-6.1.2.jar;lib/jetty-util-6.1.9.jar org.mortbay.jetty.security.Password <username> <clave>

Agenda Laboratorio Instalar drivers de MySQL Crear usuario administrador de PAC Revisión archivos importantes

Post-Instalación: Consola de Usuario Configurar la URL principal La URL principal de Pentaho es la dirección que se debe ingresar en el navegador para acceder a la plataforma. Para cambiar la dirección que viene por defecto debe editarse el archivo web.xml (…\tomcat\webapps\pentaho\WEB-INF\web.xml) y reemplazar la URL que se resalta en la imagen por la correspondiente. Por ejemplo: http://miempresa.com:8080/pentaho

Post-Instalación: Consola de Usuario Establecer contraseña para publicar a través de HTTP

Post-Instalación: Consola de Usuario Pentaho.xml Recomendación: Realizar un backup antes de editar

Post-Instalación: pentaho.xmlRol Authenticated: rol definido por default para todos los usuarios autenticados.Principales etiquetas de pentaho.xml:<acl-publisher> : define los permisos de manera genérica <default-acls>: define los permisos que se utilizarán por default al momento de publicar desde el filesystem. Todo directorio creado toma estos permisos por default. <overrides>: excepciones a los permisos definidos anteriormente. Primero se aplican los permisos anteriores, luego las excepciones.</acl-publisher><acl-voter> <admin-role>: Especifica el nombre del rol Administrador<acl-voter><acl-files>: extensiones (archivos.*) sobre los cuales se aplicará la seguridad (ACL’s)

Post-Instalación: pentaho.xml<anonymous-authentication>: Especifica el rol y nombre de usuario para los usuarios no autenticados(en caso de remover la seguridad de la plataforma)< file-upload-defaults>: configuración de la metadata creada a partir de CSV’s <relative-path>: path donde se almacenarán los archivos <max-file-limit>:máximo tamaño de los archivos subidos <max-folder-limit>: máximo tamaño para el conjunto total de archivos subidos

Post-Instalación Seguridad de Mondrian Para utilizar seguridad dentro de los cubos, necesitamos editar el archivo pentahoObjects.spring.xml para habilitar esta característica de mondrian. Al hacerlo se asocian los usuarios y roles de pentaho con los de mondrian. pentahoObjects.spring.xml se encuentra en…pentaho-solutions/system/, en dicho archivo descomentar las líneas que se recuadran en la siguiente imagen.

Modificación de Puertos Consola de Usuario Para cambiar el puerto de la consola de usuario se debe editar el archivo web.xml ubicado en …/biserver-ce/tomcat/webapps/pentaho/WEB-INF/web.xml Actualizar el valor del parámetro fully-qualified-server-url resaltado: Editar el archivo server.xml ubicado…/biserver-ce/tomcat/conf/server.xml En caso de requerirse modificar el Puerto de shutdown de Tomcat, dentro del mismo archivo:

Modificación de Puertos Consola Administrativa Para modificar el puerto de la consola de administrativa se debe modificar el siguiente archivo: .../administration-console/resource/config/console.properties

Asignación de recursos HW Consola de Usuario  La consola de usuario de Pentaho (PUC) como el resto de los componentes están desarrollados en Java y por lo tanto corren en una VM (Máquina Virtual).  La asignación de memoria que puede hacerse, implica el máximo de memoria que la aplicación puede usar a lo largo del tiempo.  Por defecto, PUC utiliza la configuración standard de Tomcat: sólo 512MB de RAM de máximo (parámetro XMX).  Para evitar paginaciones innecesarias a disco y en consecuencia una degradación en la performance de cara al usuario final, se recomienda aumentar esta cantidad de memoria.  Para modificar el máximo de memoria asignada debe editarse el archivo start- pentaho.bat (start-pentaho.sh en UNIX):

Asignación de recursos HWPara asignarle más memoria cuando tomcat seencuentra como servicio se debe realizar losiguiente:1. Abrir una terminal o una consola de Windows.2. Ubicarse en el directorio: <…biserver- ce\tomcat\bin>3. Luego ejecutar el comando: < tomcat6w.exe //ES//nombreServicio >(Si no hemos cambiado el nombre que elegimos al poner tomcat como servicio, él mismo es: “Apache Tomcat <NombreDelServicio>”). Aparecerá una ventana (ver Imagen) con varias pestañas, se selecciona la pestaña “Java” y en esta se pueden especificar los valores: a) Xms (Initial memory pool). b) Xmx (Maximum memory pool).

Asignación de recursos HW Siendo los parámetros: Xms: cantidad de RAM asignada al inicio de la aplicación. Xmx: cantidad de RAM máxima que podrá usar Pentaho. Recomendación: Aumentar el parámetro XMX al mayor disponible en el equipo, sin penalizar el resto de las aplicaciones o el sistema operativo.

Asignación de recursos HW Consola Administrativa Para modificar el máximo de memoria asignada debe editarse el archivo \biserver-ce\start-pac.bat (start-pac.sh UNIX): Siendo los parámetros: Xms: cantidad de RAM asignada al inicio de la aplicación. Xmx: cantidad de RAM máxima que podrá usar Pentaho.

Agenda Laboratorio Ingresar una clave para realizar publicaciones. Habilitar la seguridad de Mondrian. Ajustar la cantidad de memoria RAM asignada