A fines de mayo de este 2023 Hitachi lanzó la última edición de la suite de Business Intelligence & Analytics (v9.5). Un release fuertemente orientado a simplificar los procesos de migración o implementación de arquitecturas en la nube.
Dado la creciente tendencia de los clientes de migrar hacia la nube, Hitachi desde la edición 9.3 venía orientando la suite hacia el fortalecimiento de herramientas que simplifiquen este proceso. La suite tenía un contenedor prediseñado (DockMaker) para Análisis e integración de datos y ahora la versión 9.5, viene con procesos documentados para implementar contenedores estandarizados, (independientes y dentro de Kubernetes), en las nubes públicas AWS, Azure y GCP.
Continúan las mejoras a nivel de integración y certificación con la plataforma Cloudera (On Premise y Cloud) y sus capas de seguridad Kerberos y Knox.
Principales novedades de este release:
Contenedores Pentaho en Cloud Hyperscaler
Ahora se podrá implementar Pentaho en Amazon Web Services (AWS), Microsoft Azure y Google Cloud Platform utilizando imágenes Docker preconfiguradas, totalmente compatibles y certificadas. Esto hará significativamente más fácil y más rápido el proceso, ya que no se va a requerir escribir scripts de instalación, ni investigar qué ajustes deben configurarse.
Ejemplo de implementación en Pentaho en AWS
Mejoras en la experiencia del usuario de Pentaho
A nivel de administración y uso (Experiencia de Usuario), con altos estándares empresariales. Dentro de las mejoras de este release destacan:
El paso ETL Metadata Injection se mejoró para agregar una nueva columna "Requerido", que se puede actualizar para especificar el tipo de datos que se deben insertar, eliminar o actualizar.
Se habilitó autenticación OAuth2.0 para la configuración del servidor de correo.
Autentificación LDAP (múltiples servidores LDAP y múltiples dominios dentro de LDAP y LDAP failover)
Actualización y soporte para que Pentaho pueda trabajar con Mac M1/Chipset y OS Windows 11
Asistente para importar fuentes de datos: usando archivos ZIP
Instalador mejorado: Actualice Install Anywhere 2022, basado en texto, Instalador paso a paso y #file Automation step in UI.
Metadata Discovery (EE): Permite agregar metadata de archivos de texto delimitados dentro de PDI
MDI mejorado: Insertar/Actualizar Insertar (Salida de tabla), Actualizar Eliminar pasos para proporcionar mayor consistencia
Soporte para Cloudera Data Platform (CDP)
CDP Public Cloud ahora cuenta con soporte y está certificado para su uso con Pentaho v9.5. Además, permite utilizar autenticación Kerberos para CDP Public Cloud en AWS y autenticación Apache Knox para CDP Public Cloud en AWS (componentes principales). esto permitirá apoyar a los clientes que migran y a optimizar la capacidad de moverse desde clústeres de Hadoop a Cloudera.
Acceso seguro para conectarse desde Pentaho a CDP via Knox
Descubrir metadatos de un archivo de texto
PDI Incluye un nuevo paso "Descubrir metadatos de un archivo de texto" para analizar el archivo con datos delimitados y producir metadatos precisos, como el nombre, el tipo y el tamaño del campo. Los metadatos se pueden utilizar en pasos posteriores de una transformación. También puede utilizar esta mejora para detectar columnas de encabezado y procesar datos de encabezado de archivos de texto con datos delimitados.
Mejoras de seguridad en Snowflakes
Pentaho v9.5 Enterprise Edition se actualizó con la versión del controlador Snowflake JDBC a 3.13.29 para abordar la vulnerabilidad de seguridad de Snowflake.
Integración de PDI con Pentaho Data Catalog (PDC)
Los usuarios de PDI ahora podrán trabajar con creación de perfiles de datos de Data Catalog para Transformaciones y Jobs. Este recopila metadatos para distintos tipos de activos e indica su ubicación.
Los ingenieros, científicos y usuarios de datos pueden utilizar Data Catalog para acelerar el descubrimiento de metadatos y su categorización. Los administradores pueden utilizarlo para gestionar aspectos de confidencialidad.
Esto permite crear una transformación PDI que lea la ubicación de almacenamiento, recupere los datos, los transforme, escriba y reescriba sobre ellos y luego los registre transformados como un nuevo recurso (con ubicación y etiquetas de metadatos descriptivos).
Todas estas novedades están disponibles de forma gratuita para los clientes suscritos a la suite. Cabe destacar que el upgrade siempre debe ser parte de las actividades planificadas de los administradores de la suite, de manera de aprovechar las mejoras que lanza el fabricante 2 a 3 veces al año.