Quantcast
Channel: Business Intelligence y Big Data: ¡Aprende Gratis sobre Analytics!
Viewing all 575 articles
Browse latest View live
↧

¿Que es OLAP?

August 22, 2019, 3:02 am
$
0
0
olap2


En muchos de los artículos que aquí comentamos aparece el término OLAP. Aunque otras veces hablemos de multidimensional, de cubos... nos referimos a lo mismo.
Dado que es uno de los temas que más me interesan voy a intentar explicar que significa, que características tiene y, sobre todo, para que nos puede ser útil.

OLAP significa ‘On-Line Analytical Processing’, que se contrapone con el término OLTP ‘On-Line Transactional Processing’. Término más habitual, que define los sistemas de bases de datos relacionales usadas ampliamente en el mundo empresarial.
En estos últimos sistemas lo importante es el registro de los datos, y en OLAP, lo importante es el análisis. Esta es la diferencia más general que os puedo dar. Pero existe mucho más.

Ver cubos en funcionamiento, desde informes y Cuadros de Mando (Demo Online). También puedes ver OLAP sobre tecnología Big Data



Es importante saber ésto, por que muchos vendedores dicen que tienen productos con capaciadad OLAP, cuando ésto no es cierto del todo.

Desde el punto de vista teórico un sistema OLAP debe cumplir las reglas del Dr. Codd, recientemente fallecido, y 'padre' del concepto:
  1. Se tiene que tener una visión multidimensional de los datos. Pensar en dimensiones y métricas de Negocio. No en tablas y en campos.
  2. La manipulación de los datos tiene que ser intuitiva y sencilla. Son los análistas y altos ejecutivos los que manejan estas herramientas, y hay que pensar en ello.
  3. El motor OLAP debe ser un organizador intermedio para que las aplicaciones finales: Cuadros de mando, Scorecard, aplicaciones de análiticas financieras, etc... provean de datos al usuario.
  4. Posibilidad de acceder a datos almacenados directamente o en procesos batch, desde el relacional. Es decir, posibilidad de tener un sitema híbrido. Algo más parecido a un sistema HOLAP.
  5. Creación de modelos basados en OLAP. Este requerimiento es muy subjetivo y depende de la complejidad de los modelos. Cuantos más tipos de modelo, mejor OLAP será.
  6. Arquitectura Cliente/Servidor, pensado como la posibilidad de que los usuarios interactuen y colaboren en la aplicación.
  7. Transparente para los usuarios. Se debe ocultar la capa de complejidad, de procesos batch, de cargas ETL... dejando sólo una capa de abstracción de negocio.
  8. Acceso multiusuario a las aplicaciones, de forma concurrente, con posibilidad de modificaciones, estableciendo colas de trabajo, etc...
  9. Integracion de datos no normalizados en el cubo OLAP, que garanticen que las modificaciones en datos no origen no afectan a los datos finales.
  10. Mantener los cálculos y resultados de queries OLAP separados y almacenados en una ubicación diferente del sistema fuente.
  11. DIferenciación de los valores vacíos de los valores 0. Muy importante a la hora de realizar cálculos matemáticos.
  12. Posibilidad de ignorar todos los valores vacíos, las celdas del cubo sin datos.
  13. Flexibilidad en la creación de informes.
  14. Rendimiento uniforme de todos los informes, es otra forma de hacer 'transparente' la aplicación.
  15. El sistema OLAP debe adaptar automáticamente su estructura según sean las dimensiones, métricas, etc... ésto no es fácil y, generalmente, requiere intervención manual.
  16. Posibilidad de crear dimensiones de cualquier tipo.
  17. Sin límite de dimensiones, niveles de agregación, jerarquías, etc... Debe ser la complejidad del negocio la que marque el límite.
  18. No establecer restricciones a las operaciones que crucen cualquier dimensión o elementos de la dimensión.
Desde un punto de vista práctico me gustaría añadir algunas otras características:

- Debe ser rápido. No debe transcurrir mucho tiempo entre la necesidad de información y el resultado.
- Debe tener un lenguaje funcional y de negocio.
- Debe ser de manejo sencillo, con wizards y templates.
- Debe poder integrar API.
- Debe tener potentes posibilidades gráficas.
- Debe utilizar mapas de forma habitual.
- Posibilidad de almacenar y compartir los informes y cálculos creados por los usuarios.
- La administración la deben llevar los usuarios, no IT.
- El tiempo de implementación (proyecto) debe ser muy corto.
- Deber generar respuestas medibles para la toma de decisiones.
- Tenemos que ser capaces de obtner ROI con las aplicaciones OLAP.
Mas info: MOLAP, ROLAP, HOLAP no es solo jerga 

Tags: Destacado, teoria
↧
Search

Conociendo un poco sobre Data Cleaner

August 22, 2019, 7:04 am
$
0
0


DataCleaneres una herramienta que sirve para analizar la calidad de los datos obtenidos, con capacidad para encontrar patrones y supervisar los valores de los datos. 

Descargar Paper

Está construida para poder manejar pequeñas y grandes cantidades de datos. Es posible diseñar nuestras propias reglas de limpieza de datos y componerlas en múltiples escenarios distintos o bases de datos objetivo, dichas reglas pueden ser: reglas de búsqueda y/o reemplazo, expresiones regulares, coincidencia de patrones (pattern matching) o transformaciones totalmente personalizadas.


Ofrece también un ecosistema de integraciones de extensiones de aplicaciones impulsadas por la comunidad, contenido compartido, etc. Es posible hacer que DataCleaner funcione Hadoop y Apache Spark, además es viable integrarlo en otras aplicaciones como Pentaho Data Integration
↧
↧

Ranking de las mejores 50 peliculas y series sobre Analytics y Big Data

August 23, 2019, 12:58 am
$
0
0

Hemos hecho una recopilación, para todos los apasionados del Analytics, Machine Learning y Big Data. Un ranking de las películas y series que, de uno y otro modo, tocan temas que nos gustan en esta web y esperamos que también os gusten a vosotros

Es una lista amplia, incluye películas sobre computacion, biografías de personajes ilustres, de inteligencia artificial, infantiles, de humor, series, documentales, de animación y, en general, que pueden gustar a los apasionados del Analytics.... No dudéis en contarnos vuestras recomendaciones y sugerencias. Quizás, también, descubráis películas que no conociais

Hemos hecho también un ranking, aunando su relación con la materia y su calidad. Evidentemente, es totalmente subjetivo, por parte del equipo de TodoBI.com y seguro que tendréis opiniones diferentes, pero os puede servir de guía


50. The Cube



Se trata de una película de acción, con misterio lógico, de la que se hicieron varias secuelas. Su atmósfera, su relación geométrica y, sobre todo, los recuerdos que nos trae a los análisis muldimensionales nos ha llevado a incluirla


49. Descifrando el Código



Unos cuantos, bastantes, años antes de la aclamada 'The imitation Game' sobre la vida de Alan Turing, se realizó otra película para television, menos recordada, pero que igualmente, merece estar en esta lista.


48. X+Y
Película sentimental, sobre amistad, relaciones personales... en donde las Olimpiadas Matemáticas y el genio adolescente juegan un papel importante


47.  La gran apuesta



Película muy pegada a la actualidad, sobre la burbuja inmobiliaria que sufrimos hace unos años y la ingeniería financiera y matemática que había por detrás y que explican en gran parte lo que sucedió


46. Silicon Valley

Para todos los que estéis embarcados en el lanzamiento de una startup y están negociando con inversores y como lanzar producto, esta es vuestra serie. Tecnología, dinero y emprendedores


45.  Raising Genius



Cuando un adolescente se obsesiona con las matemáticas y se encierra en el baño, las situaciones se pueden precipitar


44. Project Almanac



Jovenes con talento para la física, los inventos, el cálculo y un descubrimiento de viajes en el tiempo


43. The Bank

Cuando especialistas en Informática y Economía se unen para crear un sistema que puede predecir la evolución de la bolsa y ganar grandes cantidades de dinero, no podía faltar en la lista


42. Trabajo Basura



El día a día de un grupo de informáticos en su oficina, en clave de humor, en donde podrás encontrar muchas situaciones que te serán familiares


41. Flatland



Una película animada, con cubos, esferas y dimensiones, que te sorprenderá


40. Atrápame si puedes



Popular película con actores muy conocidos que introduce las posibilidades del manejo de datos para la falsificación, la usurpación de personalidades e información para obtener dinero y vivir de los beneficios


39. La teoría del todo



La biografía de Stephen Hawking, reciente y con grandes interpretaciones, imprescindible para todos los que trabajan con datos y algoritmos


38. Donald en el mágico mundo de las matemáticas



Sí, el título lo explica muy bien. Pelicula de animación de Disney, en donde nuestro pato favorito se encuentra con Pitágoras, entre otros hallazgos


37. Piratas de Silicon Valley



En los comienzos de la informatica de consumo, la rivalidad entre Microsoft y Apple se hacía evidente. Una gran película para los nostálgicos de aquella época


36.  La habitacion de Fermat



Sí, una película española se ha colado en la lista. Dirigida por el monologuista Luis Piedrahita, incluye misterio y desafíos matemáticos para resolver el enigma


35. The Net



Una analista informática descubre que un programa a través de Internet permite acceder a Bases de Datos secretas. Buen planteamiento inicial, no?


34. The rise and rise of bitcoin



Se trata de un documental, también representados en esta lista, en donde se explica de forma muy amena, lo planteado en el título del mismo


33. La red social



Todos sabemos a que red social se refiere el título de la película. Por el impacto que esta red social tiene en nuestras vidas, le hemos reservado el puesto 33


32. Este muerto esta muy vivo



Sí, las comedias también han usado el análisis y explotación de los datos. En esta divertida película, los jóvenes protagonistas descubren manipulación en los datos y fraude de su compañía de seguros, que da pie a muchas situaciones cómicas


31. Superman III



Peliculas de superheroes? Sí, aunque en este caso, la habilidad recae en el personaje interpretado por Richard Pryor, que gracias a su habilidad con los datos y la informática consigue grandes sumas de dinero


30. Nivel 13



Una máquina de realidad virtual, que puede llegar a hacer que no sepas cual es la verdadera y auténtica realidad


29. Juegos de Guerra



Uno de los grandes clásicos representados en esta lista. Un hacker, guerra fría, DEFCON...


28. Almas de Metal



Quizas, ahora que se ha estrenado la serie de Westworld, como secuela, parezca antigua. Pera esta película y la actuacion de Yul Brynner son enormes


27. Codebreaker



Gran documental sobre la vida de Alan Turing, incluyendo muchos testimonios y entrevistas, como la de Steve Wozniak


26. El cortador de césped



Película que describe bastante bien, con intensidad y tensión, los experimentos para conseguir un aumento de la intelligencia, basada en una novela de Stephen King


25. Intelligence



Imagina que en tu cerebro tienes un chip que te permite estar conectado a Internet y a otras muchas redes de seguridad. Esta serie aplicaba dicha premisa


24. PI



Pueden las matemáticas explicar todo el mundo que nos rodea? Desde aplicarse a la bolsa, como al mundo de los negocios, en una película thriller y ciencia ficción que no deja indiferente, como es el cine de Aronofsky


23. Big Bang Theory



Humor, en esta ya larga sitcom, que sabemos que cuenta con muchos seguidores entre la comunidad de Data Scientist


22. Metropolis



La obra clásica del año 1927, de Fritz Lang, que describe como sería el mundo en el 2026 (queda poco) y que cobra actualidad con las dudas sobre el trabajo en el futuro y quien lo realizará. Pelicula es considerada 'Memoria de la Unesco'
Probablemente, también, uno de los mejores diseños de carteles cinematográficos


21. Ex_Machina



Probando la inteligencia artificial. Una de las mejores películas de los últimos años dentro de este género


20.  2001, una odisea en el espacio



No podía faltar el clásico de Stanley Kubrick,  basado en el las novelas de Arthur C. Clark, que creó una nueva forma de plasmar la tecnología, ciencia ficción y realidad virtual, con un nuevo lenguaje visual. HAL --- IBM


19. Person of Interest



Gran ejemplo de manejo de datos, análisis predictivo, smart cities, vigilancia inteligente para predecir crímenes en esta serie con ilustres creadores


18. Tron



Un nuevo clásico. Los juegos han sido un componente fundamental en el desarrollo de la computación y en la explotación masiva de datos. Por cierto, la película original, no la secuela


17. Yo Robot



Los robots ya forman parte de la vida cotidiana, la inteligencia artificial cada vez es mas evolucionada


16. Snowden



Las brechas de datos que, cada vez con más frecuencia, son divulgadas ponen de manifiesto el uso que hacen de ellos los gobiernos y grandes multinacionales. Una buena historia de un informático, basada en hechos reales


15. Blade Runner



Esta película, precursora de muchas otras, en cuanto a predicción del impacto de la tecnología en nuestra sociedad, no podía faltar.
"Yo he visto cosas que vosotros no creeríais. Atacar naves en llamas más allá de Orión. He visto Rayos-C brillar en la oscuridad cerca de la puerta de Tannhäuser. Todos esos momentos se perderán en el tiempo... como lágrimas en la lluvia. Es hora de morir"


14.  Mentes Criminales



Esta serie, que cuenta con muchísimas temporadas a sus espaldas, hace un uso muy acertado del análisis de bases de datos en tiempo real, cruces de información, etc... para atrapar a los asesinos


13. Matrix



Matrix (ojo, la primera película), es indispensable en este ranking. Tanto en el aspecto estético, la recreación del universo onírico, como por sus implicaciones tecnológicas.


12. Margin Call



Los activos tóxicos pueden derrumbar una gran empresa, si no se han analizado correctamente los datos y analizado las previsiones. En esta película se explica perfectamente


11. Mr. Robot



Una de las series más recientes que, desde el punto de vista de los hackers y los programadores, deja clara la importancia y protagonismo que pueden alcanzar


10. AI, Inteligencia Artificial



Una de las películas que mejor explicaban lo que podría suponer la Inteligencia Artificial. Un proyecto que inicialmente iba a realizar Stanley Kubrick, pero que finalmente fue Spielberg


9. Her



Te puedes enamorar de un nuevo sistema operativo avanzado? Una historia original y bien planteada


8. 21



Si eres un gran matemático en el MIT, probablemente también puedes hacer dinero en Las Vegas, aprovechando el talento. Además, de ser una gran forma de demostrarlo


7. El indomable Will Hunting



Tener talento para el cálculo y las matemáticas, no tiene por qué obligatoriamente a querer ser un alumno destacado de una gran Universidad o de una gran empresa


6. The Prestige



"Cualquier tecnología lo suficientemente avanzada es indistingible de la magia" (Arthur C. Clark)


5. Una mente maravillosa



La historia del nobel de Economía, John Nash, matemático que sufría de esquizofrenia, debe estar entre las cinco destacadas


4. Minority Report



Una de las mejores películas de ciencia ficción y de acción que reflejan la importancia del análisis de la información, el análisis predictivo y la visualización avanzada


3. Black Mirror



La serie británica, cuyos capítulos son independientes, aborda de forma magistral el impacto de la tecnología en la vida cotidiana. Muchos de sus capítulos, anticipan realidades a la vuelta de la esquina


2. Moneyball



Se trata de la película que aborda de forma más clara y evidente, el beneficio de aplicar business intelligence. En este caso a la gestión de equipos deportivos. Además, esta basada en hechos reales


1. The imitation Game



Sin duda, el homenaje cinematográfico a Alan Turing, además se corresponde con una gran película que arroja las luces sobre uno de los grandes genios de la computación y el análisis de datos al que no se reconoció su labor en vida



Bonus: Películas convertidas en visualizaciones













↧

Create Dashboards in minutes with Open Source

August 23, 2019, 1:02 am
$
0
0


Just a sneak preview of new functionalities we are including in Pentaho in order end user can create their own powerful dashboards in minutes. We call it STDashboard, by our colleagues of Stratebi.

These new functionalities include: new templates, panel resize, drag and drop, remove and create panels, Pentaho 7 upgrade...

As always and as other Pentaho plugins we´ve created (STPivot, STCard and STReport), they are free and included in all of our projects. Check the Demo Pentaho Online, where all new components are updated frequently

It's also part of the predefined BI Open Source based solution, LinceBI

You can use it too, directly in your own projects, including configuration, training and support with our help


Video in action (Dashboards in minutes):

↧

Diferencias entre Data Lake y Data Warehouse

August 26, 2019, 4:01 am
$
0
0


Let’s briefly take a look at each one:
  • Data. A data warehouse only stores data that has been modeled/structured, while a data lake is no respecter of data. It stores it all—structured, semi-structured, and unstructured. [See my big data is not new graphic. The data warehouse can only store the orange data, while the data lake can store all the orange and blue data.]

  • Processing. Before we can load data into a data warehouse, we first need to give it some shape and structure—i.e., we need to model it. That’s called schema-on-write. With a data lake, you just load in the raw data, as-is, and then when you’re ready to use the data, that’s when you give it shape and structure. That’s called schema-on-read. Two very different approaches.

  • Storage. One of the primary features of big data technologies like Hadoop is that the cost of storing data is relatively low as compared to the data warehouse. There are two key reasons for this: First, Hadoop is open source software, so the licensing and community support is free. And second, Hadoop is designed to be installed on low-cost commodity hardware.

  • Agility. A data warehouse is a highly-structured repository, by definition. It’s not technically hard to change the structure, but it can be very time-consuming given all the business processes that are tied to it. A data lake, on the other hand, lacks the structure of a data warehouse—which gives developers and data scientists the ability to easily configure and reconfigure their models, queries, and apps on-the-fly.

  • Security. Data warehouse technologies have been around for decades, while big data technologies (the underpinnings of a data lake) are relatively new. Thus, the ability to secure data in a data warehouse is much more mature than securing data in a data lake. It should be noted, however, that there’s a significant effort being placed on security right now in the big data industry. It’s not a question of if, but when.

  • Users. For a long time, the rally cry has been BI and analytics for everyone! We’ve built the data warehouse and invited “everyone” to come, but have they come? On average, 20-25% of them have. Is it the same cry for the data lake? Will we build the data lake and invite everyone to come? Not if you’re smart. Trust me, a data lake, at this point in its maturity, is best suited for the data scientists.
Visto en kdnuggets
↧
↧

Cuadros de mando con Tableau y Apache Kylin (OLAP con Big Data)

August 27, 2019, 1:34 am
$
0
0

Hace ya algunos meses que mostramos cómo el motor OLAP de código libre Apache Kylin hace posible el análisis OLAP sobre Big Data, o lo que es lo mismo, la posibilidad de realizar consultas analíticas con tiempos de respuesta inferiores al segundo sobre enormes volúmenes de datos (hasta billones y trillones de filas).
Y a los que además acompañan otras características como la necesidad de capturarlos y analizarlos en tiempo real, o la integración desde múltiples fuentes datos menos estructuradas.

Además, mostramos en un caso de estudio cómo integrar Apache Kylin con el motor OLAP Pentaho Mondrian para la creación de vistas multidimensionales con visores como STPivot, haciendo también posible la consulta del Big Data mediante el lenguaje MDX. También mostramos cómo integrar Apache Kylin con Apache Zeppelin, herramienta de exploración de datos para la creación de cuadros de mando interactivos.

Sin embargo, en este nuevo caso de estudio hemos querido analizar la integración de Kylin con herramientas comerciales como Tableau, una de las herramientas para la creación de cuadros de mando y exploración de datos por usuarios finales más conocidas en el mundo del Business Intelligence. A continuación mostramos el vídeo del making off de nuestra nueva demo.




Y, aquí, el diagrama de la arquitectura Kylin + Tableau:
Como puede verse en el diagrama anterior, el almacén de datos (Data Warehouse, DW) se crea en forma de modelo estrella o copos de nieve (nuevo en Kylin 2.0)  y se mantiene en Apache Hive. 
A partir de este modelo y mediante la definición de un modelo de metadatos del cubo OLAP, Apache Kylin, mediante un proceso offline con Map Reduce o Spark (nuevo en Kylin 2.0), crea un cubo multidimensional (MOLAP) en la BD NoSQL Apache HBase. 
En el caso de Kylin, el cubo MOLAP lo forman un conjunto de estructuras que pre agregan o resumen los datos a distinto nivel, siendo esta característica una de las que más reducen el tiempo de consulta. A partir de este momento, Kylin permite hacer consultas sobre el cubo MOLAP generado a través de su interfaz SQL, también accesible a través de conectores J/ODBC.
Precisamente gracias a la disponibilidad de conexión ODBC, es posible conectar Kylin con herramientas como Tableau o Power BI.  En nuestro caso, hemos hecho uso de las herramientas Tableau Desktop y Tableau Public para la creación de un cuadro mando sobre un cubo OLAP que contiene datos académicos, relativos a los últimos 15 años de una universidad de gran tamaño. A partir de esta fuente de datos Big Data, se ha diseñado un modelo multidimensional para el análisis del rendimiento académico. 
En él contamos con unos 100 millones de medidas cómo los créditos relativos a asignaturas aprobadas, suspendidas o matriculadas. Estos hechos se analizan en base a distintas dimensiones o contextos de análisis, como el Sexo, la Calificación o el Año Académico.
En primer lugar hemos usado Tableau Desktop, herramienta comercial, para la conexión con Apache Kylin y la creación de un cuadro de mando similar al que realizamos para el ejemplo con Apache Zeppelin. 

La herramienta Tableau Desktop facilita a los usuarios finales de los datos (ej. analistas u otras personas del negocio) la creación y publicación de completos cuadros de mando, arrastrando y soltando las fuentes de datos y gráficos en un lienzo. A continuación mostramos una captura del diseño del cuadro de mando con Tableau Desktop.


Tras esto, publicamos nuestro cuadro de mando para compartirlo con el resto de nuestra organización. Si requerimos una conexión en vivo necesitaremos una licencia de Tableau Server o Tableau Online. 

Sin embargo, podemos optar por crear un extracto de los datos y publicar el cuadro de mando con la herramienta gratuita Tableau Public, como es el caso de nuestro cuadro de mando de ejemplo. Como podemos ver la web de la demo y en la siguiente captura, el resultado es un cuadro de mando con un aspecto profesional y cuyo desarrollo es fácil, incluso para un usuario no experto en Big Data y herramientas BI como Tableau.


Cómo veis, se abren unas posibilidades increibles, al poder realizar auténtico Business Intelligence sobre Big Data. Para cualquier cuestión, estaremos encantados de ayudaros en vuestros proyectos
↧

Cursos sobre Open Source, Machine Learning, Big Data y Business Intelligence

August 27, 2019, 7:24 am
$
0
0

Si estáis buscando cursos en Open Source, Machine Learning, Big Data y Business Intelligence, os dejamos los cursos que convocan nuestros amigos y grandes especialistas de Stratebi, calendario de cursos, que incluyen una gran variedad de ellos, que vienen realizando los últimos años, tanto 'in company', como presenciales y online a cualquier asistente



En ambos casos, tanto en sus modalidades online, como presencial. Más de 3.000 alumnos se han formado con estos cursos, recibiendo sus Certificados, Documentación, software packs, camisetas...

Mira algunos ejemplos de aplicaciones creadas con estas tecnologías:

Analytics
Big Data-ML



Fórmate en las tecnologías del Futuro!!
↧

Para que sirve el Business Intelligence?

August 28, 2019, 1:31 am
↧
Search

BI meet Big Data, a Happy Story

August 28, 2019, 4:30 am
$
0
0

Cada vez esta más cerca poder hacer análisis BI OLAP tradicionales sobre entornos Big Data, gracias a Kylin. Hace unas semanas, lo comentábamos en esta entrada, en donde también mostrábamos ejemplos reales de vistas OLAP y Dashboards en funcionamiento.



Ahora, os actualizamos con información reciente de los programadores de Kylin (inglés)

What is Apache Kylin?

Kylin is an OLAP engine on Hadoop. As shown in Figure 1, Kylin sits on top of Hadoop and exposes relational data to upper applications via the standard SQL interface.
Get O'Reilly's weekly data newsletter

Kylin can handle big data sets and is fast in terms of query latency, which differentiates it from other SQL on Hadoop. For example, the biggest instance of Kylin in production that we’re aware of is at toutiao.com, a news feed app in China. This app has a table of three trillion rows and the average query response time is less than one second. We’ll discuss what makes Kylin so fast in the next section.

Another feature of the Kylin engine is that it can support complex data models. For example, there is a 60-dimension model running at CPIC, an insurance group in China. Kylin provides standard JDBC / ODBC / RestAPI interfaces, enabling a connection with any SQL application.


Kyligence has also developed an online demo, showcasing the BI experience on 100 million airline records. Check it out to learn, for example, the most delayed airline to San Francisco International Airport in the past 20 years. (Login with username “analyst”, password “analyst”, select the “airline_cube”, drag and drop dimensions and measures to play with the data set.)
↧
↧

Como construir un bot conversacional con Microsoft Azure

August 28, 2019, 8:34 am
$
0
0


Architecture

The architecture shown here uses the following Azure services. Your own bot may not use all of these services, or may incorporate additional services.

Bot logic and user experience

  • Bot Framework Service (BFS). This service connects your bot to a communication app such as Cortana, Facebook Messenger, or Slack. It facilitates communication between your bot and the user.
  • Azure App Service. The bot application logic is hosted in Azure App Service.

Bot cognition and intelligence

  • Language Understanding (LUIS). Part of Azure Cognitive Services, LUIS enables your bot to understand natural language by identifying user intents and entities.
  • Azure Search. Search is a managed service that provides a quick searchable document index.
  • QnA Maker. QnA Maker is a cloud-based API service that creates a conversational, question-and-answer layer over your data. Typically, it's loaded with semi-structured content such as FAQs. Use it to create a knowledge base for answering natural-language questions.
  • Web app. If your bot needs AI solutions not provided by an existing service, you can implement your own custom AI and host it as a web app. This provides a web endpoint for your bot to call.

Data ingestion

The bot will rely on raw data that must be ingested and prepared. Consider any of the following options to orchestrate this process:
  • Azure Data Factory. Data Factory orchestrates and automates data movement and data transformation.
  • Logic Apps. Logic Apps is a serverless platform for building workflows that integrate applications, data, and services. Logic Apps provides data connectors for many applications, including Office 365.
  • Azure Functions. You can use Azure Functions to write custom serverless code that is invoked by a trigger— for example, whenever a document is added to blob storage or Cosmos DB.

Logging and monitoring

  • Application Insights. Use Application Insights to log the bot's application metrics for monitoring, diagnostic, and analytical purposes.
  • Azure Blob Storage. Blob storage is optimized for storing massive amounts of unstructured data.
  • Cosmos DB. Cosmos DB is well-suited for storing semi-structured log data such as conversations.
  • Power BI. Use Power BI to create monitoring dashboards for your bot.

Security and governance

Quality assurance and enhancements


  • Azure DevOps. Provides many services for app management, including source control, building, testing, deployment, and project tracking.
  • VS Code A lightweight code editor for app development. You can use any other IDE with similar features.

Mas info
↧

Microsoft Power BI: The future of modern BI - roadmap and vision

August 28, 2019, 9:25 am
$
0
0


Time to check how PowerBI is improving
↧

Talent Analytics, gestión del talento (RRHH) con Analytics y Big Data

August 29, 2019, 1:45 am
$
0
0

Las empresas apuestan cada vez más por soluciones de business intelligence (BI) para mejorar su estrategia de negocio. Sin embargo, no se aplican con tanta frecuencia al área de Recursos Humanos, donde incluso los diferentes verticales (Formación, Laboral, Selección) no suelen cruzar datos entre sí

''Se trata de un gap de mejora que ya han comenzado a identificar las direcciones de RRHH con visión más estratégica. Es fundamental obtener una perspectiva de conjunto del área, ya que en definitiva todos los procesos empiezan o terminan en el mismo sitio: la persona, el activo más importante de toda organización y el que más condiciona su éxito'', sostiene David Martínez, socio director del Área de Transformación Digital de Watch & Act, empresa española especializada en servicios de consultoría de transformación, quien defiende la importancia de aplicar la analítica de datos a este departamento para poder alinear la gestión del talento con la estrategia de negocio, habiendo creado Talent Analytics

En este sentido, la compañía plantea una estrategia 'data driven', en la que el dato sea el que ayude a los directivos a tomar las decisiones relacionadas con la gestión del talento, y no las impresiones u otro tipo de influencias de carácter interno o externo. Gracias a la analítica de datos aplicada al departamento de Recursos Humanos es posible identificar a las personas con mayor potencial, las más comprometidas, las más rentables y, al mismo tiempo, entender mejor la organización y detectar oportunidades de mejora.
''La clave —apunta Martínez— consiste en hacerse las preguntas adecuadas para tratar de encontrar en el dato las respuestas: ¿Mis mejores comerciales son los que más formación realizan? ¿En qué tipo de perfil curricular tengo más empleados de alto potencial? ¿Qué tipo de evaluación del desempeño ayuda realmente a mejorar dicho rendimiento? ¿Obtengo mejores ratios de eficiencia en las áreas con más colaboración online? ¿Es eficaz mi proceso de acogida?''.


Con el fin de proporcionar a las empresas metodologías con las que poder obtener un análisis predictivo a partir de los procesos de retención y desarrollo del talento, Watch&Act ha desarrollado su propio modelo FourFlags de gestión de personas, que les permite fundamentar las decisiones de apostar por determinados perfiles profesionales y alinear sus resultados con la mejora de los resultados del negocio. ''Sin duda, los datos compartidos son una información de gran valor para la empresa y permiten hallar sinergias entre sus diferentes áreas de negocio que repercuten en su mejora competitiva'', precisa el socio de Watch&Act.

Alianza estratégica con Stratebi

La clave de éxito de los proyectos de business intelligence radica en la capacidad de combinar el expertise tecnológico con la visión de negocio y el conocimiento del funcionamiento sectorial. Por ello, con el fin de poder ofrecer a sus clientes un servicio diferenciador y de valor añadido en el ámbito de la analítica de datos, Watch&Act ha alcanzado una alianza estratégica con Stratebi, compañía especializada en soluciones de BI con 15 años de experiencia en empresas de ámbito internacional.

Por su parte, Watch&Act aporta su profundo conocimiento en gestión de personas y su orientación al negocio (identificación de tendencias de mercado, definición de indicadores clave, correlaciones y predicciones, diseño de proyectos piloto y valoración del retorno de la inversión). “Queremos que nuestras soluciones sean, además de punteras tecnológicamente hablando, orientadas al negocio, y que contemplen las últimas tendencias de un mercado cada vez más ágil y cambiante”, apunta David Martínez.

Ambas compañías recomiendan comenzar a implantar herramientas de analítica de datos en las verticales de las áreas de RRHH para continuar después cruzando los datos de otras áreas funcionales, como la Comercial, vinculando o correlacionando sus resultados de negocio con los esfuerzos realizados desde la Gestión de Recursos Humanos para el desarrollo de personas y equipos.




↧

IoT Analytics and Industry 4.0

August 30, 2019, 12:49 am
$
0
0


Cada vez más el uso de Analytics para IoT, alrededor del concepto de Industry 4.0 está suponiendo una revolución en la digitación del sector productivo e industria. El despegue del Big Data, de uso de Analytics y de tecnologías abiertas lo están haciendo posible

El gráfico superior explica muy bien estas posibilidades

En TodoBI hemos hablado bastante de IoT y su explotación con Analytics,
Incluimos algunas de las mejores soluciones open source para su uso 
↧
↧

Todas las presentaciones del Workshop ‘El Business Intelligence del Futuro’

August 30, 2019, 6:10 am
$
0
0

Hace unas semanas, se celebró en Madrid el Workshop ‘El Business Intelligence del Futuro’, que organizamos desde TodoBI, con toda la sala repleta


En el, podías conocer las tecnologías líderes de integración, base de datos y visualización de Data Lakes (Talend, Vertica, PowerBI, Big Data, LinceBI...), de la mano de fabricantes, empresas que las utilizan y especialistas


Agenda:

0. Introducción al Workshop 
    1. Big Data Analytics: Concepto y arquitecturas
    • a. Definición e implantación en grandes empresas.
    • b. Business Intelligence Stack: Solución completa para la implementación de un Data Lake con Talend, Vertica y PowerBI.
    • c. Business Intelligence y Big Data Demos: Demostraciones interactivas de casos de uso usando las tecnologías anteriores.
    2. Talend: Completa herramienta de Integración ETL
    • a. Arquitectura y características principales.
    • b. Módulos ETL, Data Quality, MDM, Cloud...
    • c. Demostración práctica del funcionamiento de Talend.
    • d. Presentación de un caso de uso real con Talend.
    • e. Presente y futuro de Talend.
    3. Vertica: Tecnología columnar y MPP para el Business Intelligence y Big Data estructurado 
    • a. Arquitectura y características principales.
    • b. Demostración práctica del uso de Vertica.
    • c. Benchmark de rendimiento de. Vertica 50 veces más rápido que DB relacional.
    • d. Presentación de un caso de uso real con Vertica.
    4. Caso de uso real con Vertica y PowerBI 
      5. PowerBI: La herramienta de visualización Business Intelligence más completa y potente del mercado 
      • a. Arquitectura y características principales.
      • b. Como usar PowerBI para Machine Learning (R, Python...) y Big Data.
      • c. Demostración práctica del uso de PowerBI.
      • d. Ejemplos de uso y casos reales.


      Descargar Presentaciones:

      Desde este enlace os podéis descargar todas las presentaciones



      Enlaces a Demos:



      ↧

      Whitepaper gratuito 'Usos de Machine Learning por sectores'

      September 2, 2019, 9:53 am
      $
      0
      0


      Ya tenéis disponible un Estudio muy interesante de más de 60 páginas, que os podéis descargar gratuitamente desde el enlace anterior

      Que podéis encontrar?






      Más información:

      -         Otros VideoTutoriales:
      o    Jupyter Notebooks con Anaconda y Python 3 Scikit Learn, Pandas, Numpy
      o    Curso de Introducción a Pentaho
      o    Introducción a Data Mining

      -         Otras Presentaciones:
      o    Benchmark Big Data OLAP Analytics
      o    Machine Learning con Anaconda, Jupyter y Python
      o    Introducción al Machine Learning
      o    53 Claves para conocer Machine Learning
      o    Introducción al Data Mining




      Artículos interesantes sobre Machine Learning:

      ↧
      Search

      Oferta de empleo Business Analytics (Business Intelligence, Big Data)

      September 3, 2019, 1:25 am
      $
      0
      0

      Nuestros compañeros de Stratebi tienen posiciones abiertas para trabajar en el campo del Business Intelligence, Big Data y Social Intelligence en Madrid y Barcelona. Si estás interesado, no dejes de echarle un vistazo y enviarnos tu CV: rrhh@stratebi.com


      Posiciones Abiertas: Septiembre 2019

       
      Debido a la ampliación de operaciones en Madrid y Barcelona, estamos buscando verdaderos apasionados por el Business Analytics y que hayan tenido interés en soluciones Open Source y en el desarrollo de tecnologías abiertas. Y, sobre todo, con ganas de aprender en nuevas tecnologías como Big Data, Social Intelligence, IoT, etc... 
      En Barcelona, podrías tener la posibilidad de teletrabajo 

      Si vienes del mundo frontend, desarrollo de visualizaciones en entornos web, también serás un buen candidato 

      Si estas leyendo estas lineas, seguro que te gusta el Business Intelligence. Estamos buscando a personas con gran interés en este área, que tengan una buena formación técnica y alguna experiencia en la implementación de proyectos Business Intelligence en importantes empresas con (PowerBI, Oracle, MySQL, Powercenter, Business Objects, Pentaho, Microstrategy...) o desarrollos web adhoc, aunque no es imprescindible.
      También se valorarán candidaturas sin experiencia profesional en este campo, pero con interés en desarrollar una carrera profesional en este área.

      Mucho mejor, si además fuera con BI Open Source, como Pentaho, Talend... y conocimientos de tecnología Big Data y Social Media, orientado a la visualización y front-end



      Nuestras camisetas te están esperando!!

      Todo ello, será muy útil para la implementación de soluciones BI/DW con la plataforma BI Open Source que está revolucionando el BI: Pentaho, con la que mas trabajamos, junto con el desarrollo de soluciones Big Data, Social Intelligence y Smart Cities, así como la nueva plataforma que hemos creado: LinceBI, adaptada a los diferentes sectores

      Si ya conoces, o has trabajado con Pentaho u otras soluciones BI Open Source será también un punto a favor. De todos modos, nuestro Plan de Formación te permitirá conocer y mantenerte actualizado en estas soluciones.
       
      ¿Quieres saber un poco mas sobre nosotros y las características de las personas y perfiles que estamos buscando para 'subirse al barco'?

      ¿Qué ofrecemos?

      - Trabajar en algunas de las áreas de mayor futuro y crecimiento dentro del mundo de la informática: Business Intelligence, Big Data y el Open Source.
      - Colaborar en la mejora de las soluciones Bi Open Source, entre las que se encuentran desarrollando algunas de las empresas tecnológicas más importantes.
      - Entorno de trabajo dinámico, aprendizaje continuo, variedad de retos.
      - Trabajo por objetivos.
      - Considerar el I+D y la innovación como parte principal de nuestros desarrollos.
      - Retribución competitiva.
      - Ser parte de un equipo que valora a las personas y al talento como lo más importante.

      Ya sabes, si te gusta la idea, escribenos, contando tu interés y un CV a:  rrhh@stratebi.com

      O si conoces a alguien, que crees que le podría encajar, no dudes en reenviarselo.



      Detalle de algunas tecnologías que manejamos:

      Conocimientos de Bases de datos:
      - Administracion
      - Desarrollo
      - Conocimientos de PowerBI y entornos Microsoft
      - Oracle, MySql, PostgreSQL, Vertica, Big Data
      - Conocimientos de BI y Datawarehousing con Pentaho u otros BI comerciales (BO, Powercenter, Microstrategy...)
      - Modelado de DataWarehouse
      - ETL
      - Cuadros de mando
      - Reporting, OLAP...
      - Conocimientos de linux
      - Bash scripting
      - Configuracion de servidores y servicios
      - Conocimientos de Java y J2EE      - Tomcat
      - Spring
      - Hibernate
      - Git
      - Conocimientos Big Data y Machine Learning
      ↧

      Use Case Big Data “Dashboards with Hadoop and Power BI”

      September 3, 2019, 1:26 am
      $
      0
      0


      In recent posts, we explained how to fill the gap between Big Data and OLAP, using Tableau, Pentaho and Apache Zeppelin.

      Now, we´ll show you how to use PowerBI for Big Data Dashboards using Apache Kylin. Also try online in our Big Data Demo site


      Arquitecture:
      In this use case we have used together Apache Kylin and Power BI to support interactive data analysis (OLAP) and developing a dashboard, from data source with Big Data features (Volume, Speed, Variety).


      The data source contains the last 15 years of academic data from a big university. Over this data source, we have designed a multidimensional model with the aim of analyze student’s academic performance. We have stored in our Data Warehouse about 100 million rows, with metrics like credits, passed subjects, etc. The analysis of these facts is based on dimensions like gender, qualification, date, time or academic year.
      However this data volume is too large to be analyzed using traditional database systems for OLAP interactive analysis. To address this issue, we decide to try Apache Kylin, a new technology that promises sub second interactive queries for data Volumes over billions and trillion of rows on the fact table.
      Apache Kylin architecture is based on two Hadoop stack technologies: Apache Hive and HBase. First, we have to implement the Data Warehouse (DW) on Hive database using a star or a snow flake schemas. Once we have implemented one of these data models, we can define an OLAP cube on Kylin. 
      To this end, we have also to define a Kylin’s cube model using Kylin’s GUI with wizard. At this moment, Kylin can generate the MOLAP cube in an automatic process. After cube creation, we can query the OLAP cube using SQL queries or connecting to a BI tool using the available J/ODBC connectors.
      With aim to explore the data and generate visualizations that allows users to extract useful knowledge from data, we have chosen Microsoft Power BI tools: Power BI Desktop and Power BI Service (free of charge version).
      Power BI Desktop is a completely free desktop self-service BI tool that enable users to create professional dashboards easily, dragging and dropping data concepts and charts to a new dashboard. Using this tool we have developed a dashboard, similar to our use cases with Tableau or Apache Zeppelin.
      Once designed the dashboard, we have published it on the Web with Power BI cloud service (free edition). In other to do that, we have to create an extract of the data and upload it with the dashboard.  This process is transparent to users, who also can program data refreshing frequency using Pro or Premium versions of the Power BI service (commercial tools).


      Apache Kylin:


      Developed by eBay and later released as Apache Open Source Project, Kylin is an open source analytical middle ware that supports the support analysis OLAP of big volumes of information with Big Data charactertistics, (Volume, Speed, and Variety).
      But nevertheless, until Kylin appeared in the market, OLAP technologies was limited to Relational Databases, or in some cases optimized for multidimensional storage, with serious limitations on Big Data.
      Apache Kylin, builded on top of many technologies of Hadoop environment, offer an SQL interface that allows querying data set for multidimensional analysis, achieving response time of a few seconds, over 10 millios rows.
      There are keys technologies for Kylin; Apache Hive and Apache HBase. 
      The Data Warehouse is based on a Start Model stored on Apache Hive. 
      Using this model and a definition of a meta-data model, Kylin builds a multidimensional MOLAP Cube in HBase. 
      After the cube is builded the users can query it, using an SQL based language with its JDBC driver.
      When Kylin receives an SQL query, decide if it can be resolved using the MOLAP cube in HBase (in milliseconds), or not, in this case Kylin build its own query and execute it in the Apache Hive Storage, this case is rarely used.
      As Kylin has a JDBC driver, we can connect it, to most popular BI tools, like Tableau, or any framework that uses JDBC.

      PowerBI:



      Power BI is a set of Business Intelligence (BI) tools created by Microsoft. Due to its simplicity and powerful, this emerging tools are becoming a leader BI technology like others such as Tableau, Pentaho or Microstrategy. 
      Like these technologies, Power BI is a self-service BI tool, extremely simple but with a lot of powerful features as the following: dashboard developing (called reports in Power BI), web and intra organization sharing and collaborative work, including dozens of powerful charts (ej. line chart with forecasting on page 2 of our demo), connection to relational and Big Data sources, support for natural language Q & A, support to execute and visualize R statistic programs or data preprocessing (ETL).
      The above features are implemented across the different tools of Power BI suite. Power BI desktop is a desktop tool for data discovery, transformation and visualization. It is a completely free tool with connectors to the most used relational and Big Data sources. Although for same data sources there are specific connectors, with Apache Kylin we have to use the ODBC connector available on Apache Kylin web page. In this way, we connect to Kylin and a data extract from data source is automatically generated by Power BI. 
      At this moment we can create our demo visualization as follows: i) define data model, ii), apply some data transformations if needed (e.g. date format), iii) generate calculated metrics (e.g. student success rate), and then, iv), create the dashboard visualization, with one or multiple pages (e.g. our demo has two page interchangeable with bottom bar selector).
      At this time, we have used Power BI service (cloud) to publish on the web our new dashboard join with data extract. To this end, we created an account of Power BI free. In this case, there are also Pro and Premium commercial editions with additional features like data extraction automatic refreshing and direct connections to some data sources such as SQL Server (also Analysis Services), Oracle or Cloudera Impala. 
      However none of these direct connectors are for Apache Kylin, then with Kylin we have to use data extraction and data extract refreshing approaches.  
      In addition to Power BI Desktop and Power BI Services (Free, Pro and Premium) there are other Power BI tools such as Power BI Mobile (access to dashboard from smartphone and collaborative work) or Power BI Embedded (to use visualizations in ad-hoc apps, web portals, etc).

      If you are interested to implement your BI company project with Power BI do not hesitate to contact us on StrateBI.
      ↧
      ↧

      Cual es el nivel de Big Data en tu compañía?

      September 4, 2019, 4:06 am
      $
      0
      0
      En esta infografía podéis ubicar a vuestra compañía y conocer el nivel de madurez en que se encuentra. Muy últil. 
      Para estar actualizado en Big Data, echa un vistazo a la mejor recopilación de posts sobre Big Data que hemos publicado

       
      ↧

      Charla introducción a Apache Cassandra y NoSQL

      September 5, 2019, 1:01 am
      $
      0
      0
      Si hace unos días, os dejábamos disponibles la charla de los Open Spaces sobre Real Time Big Data con Apache Storm, hoy tenéis el video y la presentación del más que interesante de Cassandra, pieza fundamental en gran parte de los proyectos y desarrollos Big Data Analytics.
      También se realiza una breve introducción al ecosistema NoSQL. Siempre con el foco en su implementación real en proyectos y su vertiente analítica 

      Si os es útil y os gusta, no dejéis de darnos feedback para continuar con nuevos materiales





      ↧

      21 nuevos puestos IT para el futuro

      September 6, 2019, 2:03 am
      $
      0
      0



      1. Data detective

      Data detectives would investigate organizational data across a company, generating meaningful business answers and recommendations based on examining information generated by Internet of Things (IoT) endpoints, devices, sensors, biometric monitors, traditional computing infrastructure, and next-gen fog, mesh, edge, and neural capabilities.

      2. Bring your own IT facilitator

      Someone in this position would be responsible for fusing an organization's shadow IT operations with its digital workplace strategy. This facilitator would create a system for visibility into on- and off-premises environments, mobile and desktop systems, and applications and services consumed by corporate users to mitigate risks.

      3. Ethical sourcing officer

      An ethical sourcing officer would lead an ethics team, and ensure that the allocation of corporate incomes aligns with the standards set by customers and employees. This person would also investigate, track, negotiate, and forge agreements around the automated provisioning of goods and services, to ensure ethical agreement with stakeholders.

      4. Artificial intelligence business development manager

      An AI business development manager would work to sell AI products to customers. This professional would work with sales, marketing, and partner teams to develop and deploy targeted AI sales and business development activities.

      5. Master of edge computing

      The master of edge computing would define a company's IoT roadmap, carefully evaluate the technical requirements needed, and assess the feasibility for establishing the edge processing unit and measure the return on investments.

      6. Walker/talker

      A walker/talker would act as a conversational companion to elderly people, connecting with seniors through a platform similar to Uber.

      7. Fitness commitment counselor

      This individual would remotely provide one-on-one regular coaching and counseling sessions to improve wellness for participants, and track their progress via wearables.

      8. AI-assisted healthcare technician

      In this role, a person would be on the road and in surgery to examine, diagnose, administer and prescribe appropriate treatment to patients, aided by the latest AI technology and remotely accessible doctors.

      9. Cyber city analyst

      A cyber city analyst would ensure the safety, security, and functionality of a city, by ensuring a steady flow of data and keeping all technical equipment functioning.

      10. Genomic portfolio director

      This individual would be a business executive with a strong commercial background, who can shape the future growth of a company's biotechnology research and ensure that new product offerings fit customers' ongoing health requirements.




      11. Man-machine teaming manager

      As humans and robots increasingly collaborate, a man-machine teaming manager would help combine the strengths of each to meet business goals.

      12. Financial wellness coach

      A financial wellness coach could offer banking customers coaching to understand digital banking options and improve their financial health.

      13. Digital tailor

      Digital tailors would go to retail customers' homes to perfect the fit and finish of their e-commerce-ordered clothes.

      14. Chief trust officer

      This professional would work alongside finance and PR teams to advise on traditional and cryptocurrency trading practices to maintain integrity and brand reputation.

      15. Quantum machine learning analyst

      Quantum machine learning analysts would research and develop innovative solutions by applying quantum technologies to improve the speed and performance of machine learning algorithms, and address real-world business problems in the fastest time possible.

      16. Virtual store sherpa

      A virtual store sherpa would assist customers with their online shopping, to help them better find the product that will meet their needs.

      17. Personal data broker

      These individuals would execute data trades on behalf of clients, and track new ways of maximizing a client's return on data.

      18. Personal memory curator

      A personal memory curator would create seamless virtual environments for elderly customers to inhabit. This person would consult with patients and stakeholders to generate specifications for virtual reality experiences that bring a particular time, place, or event to life to combat memory loss.

      19. Augmented reality journey builder

      AR journey builders would design, write, create, calibrate, gamify, and personalize the next generation of AR experiences.

      20. Highway controller

      This professional would act as a full-time space controller to regulate road and airspace in a large city by monitoring and programming AI platforms used for space management of autonomous cars and drones.

      21. Genetic diversity officer

      Beyond racial or gender diversity, a genetic diversity officer would work closely with business unit heads to ensure genetic inclusion within an organization.

      Visto en Techrepublic


      ↧
      Viewing all 575 articles
      Browse latest View live
      Search