• Latest
  • Trending
CA-GIP despliega bases tecnológicas compartidas para sus negocios

CA-GIP despliega bases tecnológicas compartidas para sus negocios

abril 9, 2022
CANADA POCO SERIO

El paternalismo canadiense afecta a todos | Excluyendo Bitcoin, Ethereum y algunos otros

agosto 19, 2022
Qualcomm pronto regresa al mercado de chips para servidores

Qualcomm pronto regresa al mercado de chips para servidores

agosto 19, 2022
Seis personas heridas en tiroteo afuera de hospital de Tennessee

Tropas turcas y combatientes kurdos intercambian fuertes disparos en Kobane, Siria

agosto 19, 2022
Redwire lanzará el primer invernadero espacial comercial en 2023

Redwire lanzará el primer invernadero espacial comercial en 2023

agosto 19, 2022
La unidad impulsora de SAIC Motor recauda 1.000 millones de yuanes en financiación Serie B

La unidad impulsora de SAIC Motor recauda 1.000 millones de yuanes en financiación Serie B

agosto 19, 2022
Vuelve la Nantes Digital Week del 15 al 25 de septiembre

Vuelve la Nantes Digital Week del 15 al 25 de septiembre

agosto 18, 2022
Illustration shows Chinese and Taiwanese flags

Taiwán acusa a China de exagerar con imágenes de islas

agosto 18, 2022
EXCLUSIVA: Tencent planea vender la participación de $ 24 mil millones de Meituan

EXCLUSIVA: Tencent planea vender la participación de $ 24 mil millones de Meituan

agosto 18, 2022
El tribunal alemán deja que los anuncios de Tesla sigan haciendo referencia a la conducción autónoma

El tribunal alemán deja que los anuncios de Tesla sigan haciendo referencia a la conducción autónoma

agosto 18, 2022
LOS ANGELES RAMS

Los Angeles Rams lanzan su NFT | Esto es lo que han preparado.

agosto 18, 2022
Para acelerar su crecimiento, Pliops recauda $100 millones

Para acelerar su crecimiento, Pliops recauda $100 millones

agosto 18, 2022
Odinga de Kenia rechaza los resultados de las elecciones y lanzará un desafío legal

Odinga de Kenia rechaza los resultados de las elecciones y lanzará un desafío legal

agosto 18, 2022
Mundo Informático
viernes, agosto 19, 2022
  • Inicio
  • Ciencia
  • Artículos
  • Criptomonedas
  • Tecnología
  • Otros
No Result
View All Result
Mundo Informático
No Result
View All Result

CA-GIP despliega bases tecnológicas compartidas para sus negocios

by Mundo Informatico
abril 9, 2022
in Otros
0

Durante la feria Cap IT, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, entidad a cargo de la producción del grupo Crdit Agricole, explicó cómo su equipo implementa plataformas de datos compartidos. Un enfoque ilustrado con la presentación de una base diseñada en torno a las soluciones Confluent Kafka y MongoDB.

La Plataforma de Infraestructuras del Grupo Crédit Agricole (CA-GIP) es la entidad que gestiona la mayoría de las infraestructuras del grupo bancario Crédit Agricole. Su equipo de datos está desplegando gradualmente plataformas de datos para ofrecer bases tecnológicas compartidas para sus negocios. Con motivo de la exposición Cap IT, un evento sobre la transformación digital de la banca y los seguros que se celebró los días 23 y 24 de marzo de 2022, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, compartió su experiencia de retroalimentación en la creación de este nuevo modelo. Tomó como ejemplo una plataforma diseñada en torno a las soluciones Confluent Kafka y MongoDB.

“CA-GIP alberga más del 80% de la producción del Grupo Crédit Agricole. Nuestros principales desafíos son asegurar la calidad de los servicios prestados, apoyar a las distintas entidades del grupo en sus proyectos y ser un socio estratégico de los negocios en la transformación digital”, recordó Julien Legrand en la introducción. Para apoyar estas diferentes misiones, CA-GIP ha optado por una organización en dos niveles. Por un lado, clusters próximos a comercios; por otro, fundamentos técnicos en diferentes campos, como la ciberdefensa, el lugar de trabajo digital o la nube, los devops y los datos, fundamento al que se adhiere Julien Legrand. “Nos encargamos de la construcción de ofertas de servicios, de brindar un catálogo al alcance de los arquitectos en los clusters y diferentes entidades empresariales”, resumió este último.

Industrialice el despliegue de soluciones complejas

El equipo de datos, al que pertenece Julien Legrand, se ha construido gradualmente desde 2018. Está organizado de acuerdo con un modelo ágil, con tres escuadrones y siete equipos de desarrollo, así como roles multifuncionales como administrador de datos, propietario de producto , un arquitecto o un ingeniero de trenes de lanzamiento. En total, el equipo tiene unas cuarenta personas. “Estamos organizados por producto: cada equipo de desarrollo es responsable de la creación y ejecución de su oferta”, dice Julien Legrand. Entre los productos se encuentran plataformas de big data como Cloudera, tecnologías NoSQL como MongoDB o Cassandra o incluso soluciones de transmisión de eventos como Confluent Kafka. Este modelo tiene como objetivo diseñar ofertas de servicios compartidos, capaces de dar respuesta a diferentes clientes. «Se trata de industrializar el despliegue de una solución técnica compleja, agregando un conjunto de herramientas para que el usuario final sea autónomo», explica Julien Legrand.

Para ello, los equipos están implementando pasos progresivos con el fin de construir y enriquecer las bases. Todo comienza con la identificación de una necesidad, que conduce al desarrollo de una lista de posibles soluciones, y luego a una elección entre ellas. Luego viene una fase de diseño e industrialización, en particular gracias a la plataforma de automatización Ansible. “Se trata de poder entregar cajas de arena a los clientes lo más rápido posible, para obtener un retorno. Buscamos adquirir certeza, saber si necesitamos ir más allá”, dice Julien Legrand. Si este es el caso, el equipo desplegará varias herramientas para brindar supervisión y monitoreo, proporcionar mecanismos de resiliencia y construir un modelo de derechos. Finalmente, el último paso es la producción de la base técnica, con una serie de requisitos previos para su integración en los entornos técnicos del grupo: contratos de servicios; «reglas de oro», conjuntos de reglas de configuración esenciales que deben respetarse para garantizar los SLA; suficiente documentación y APIs.

Pasar de una oferta de servicios a una plataforma de datos

A continuación, Julien Legrand presentó un ejemplo de una oferta de servicios basada en MongoDB, un sistema de gestión de bases de datos (DBMS) orientado a documentos. Esta oferta está disponible en dos versiones, para atender diferentes tipos de proyectos: en un caso, el cliente tiene acceso a un conjunto de réplicas compartidas, una opción económica y disponible de inmediato; en el otro, tiene un clúster dedicado a su aplicación, con licencia empresarial. Los beneficios de este enfoque basado en la oferta son de varios órdenes. Primero, ayuda a desarrollar experiencia dentro del equipo que construye la oferta, con un aumento en las habilidades y la capitalización del conocimiento de un proyecto a otro. Esto también agiliza la relación con el editor, cuyos arquitectos de soluciones adquieren así un buen conocimiento del entorno CA-GIP. Otra ventaja se observa durante el despliegue, el uso de Ansible facilitando y acelerando el establecimiento de clústeres. De igual manera, se optimiza la supervisión y el seguimiento. La centralización de herramientas evita aportar nuevas con cada nueva solución, permitiendo a los clientes encontrar coherencia entre las diferentes bases. «El objetivo es ofrecer al cliente todo lo que necesita para ejecutar su aplicación», destaca Julien Legrand. Las bases así diseñadas son también más utilizables. «Por ejemplo, en streaming, un escuadrón puede administrar fácilmente varios clústeres de Kafka», ilustra el líder del escuadrón. Sin embargo, algunos problemas persisten. «A veces es complicado operar una aplicación de manera homogénea, centralizando diferentes tableros», señala Julien Legrand. Asimismo, la implementación de modelos de derechos transversales, aplicables de una base a otra, sigue siendo un tema complejo. Finalmente, en cuanto a la planificación, es necesario identificar los puntos de atraque de clientes con las diferentes cuadrillas.

Para ir más allá, el equipo a cargo de la base de datos ahora busca construir plataformas de datos. “Ya no se trata solo de proporcionar un clúster o una oferta de servicios, sino de permitir el consumo de la base en un contexto más global”, explica Julien Legrand. Con esto en mente, el escuadrón de datos rápidos ha diseñado una plataforma en torno a las soluciones Kafka y MongoDB. Inicialmente, recupera datos sin procesar a través de agentes de datos Kafka de temas como servicio. Si es necesario, se puede realizar un procesamiento simple inicial en estos datos con ksqlDB. Luego, los datos se alimentan a un clúster de MongoDB a través de Kafka Connect, que también se puede usar para archivar o replicar. El clúster de MongoDB está en sharding para aumentar las capacidades de almacenamiento y así poder albergar varios terabytes de datos. Este clúster controla la mayoría de las transformaciones, ya sea a través de flujos de cambios para aplicaciones que realizan cambios inmediatos en los datos (la mayoría de los cuales se implementan en Kubernative, la plataforma de contenedores de CA-GIP) o a través de canalizaciones de agregación para el procesamiento en modo por lotes. Al final de la cadena, los datos pueden alimentar otras bases de datos analíticas, a las que se suman herramientas de ciencia de datos y MLOps como Dataiku.

Un modelo a aplicar en otros ámbitos

“Con esta plataforma, podemos confiar en MongoDB para alta disponibilidad, replicación nativa y otros aspectos clave”, enfatiza Julien Legrand. Su equipo ahora planea aplicar patrones similares de manera más intensiva para satisfacer las diferentes necesidades comerciales. «También estamos pensando en la malla de datos (arquitectura de datos descentralizada NDLR) para tener un conjunto de soluciones para abordar cada área», dice Julien Legrand para concluir.

Durante la feria Cap IT, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, entidad a cargo de la producción del grupo Crdit Agricole, explicó cómo su equipo implementa plataformas de datos compartidos. Un enfoque ilustrado con la presentación de una base diseñada en torno a las soluciones Confluent Kafka y MongoDB.

La Plataforma de Infraestructuras del Grupo Crédit Agricole (CA-GIP) es la entidad que gestiona la mayoría de las infraestructuras del grupo bancario Crédit Agricole. Su equipo de datos está desplegando gradualmente plataformas de datos para ofrecer bases tecnológicas compartidas para sus negocios. Con motivo de la exposición Cap IT, un evento sobre la transformación digital de la banca y los seguros que se celebró los días 23 y 24 de marzo de 2022, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, compartió su experiencia de retroalimentación en la creación de este nuevo modelo. Tomó como ejemplo una plataforma diseñada en torno a las soluciones Confluent Kafka y MongoDB.

“CA-GIP alberga más del 80% de la producción del Grupo Crédit Agricole. Nuestros principales desafíos son asegurar la calidad de los servicios prestados, apoyar a las distintas entidades del grupo en sus proyectos y ser un socio estratégico de los negocios en la transformación digital”, recordó Julien Legrand en la introducción. Para apoyar estas diferentes misiones, CA-GIP ha optado por una organización en dos niveles. Por un lado, clusters próximos a comercios; por otro, fundamentos técnicos en diferentes campos, como la ciberdefensa, el lugar de trabajo digital o la nube, los devops y los datos, fundamento al que se adhiere Julien Legrand. “Nos encargamos de la construcción de ofertas de servicios, de brindar un catálogo al alcance de los arquitectos en los clusters y diferentes entidades empresariales”, resumió este último.

Industrialice el despliegue de soluciones complejas

El equipo de datos, al que pertenece Julien Legrand, se ha construido gradualmente desde 2018. Está organizado de acuerdo con un modelo ágil, con tres escuadrones y siete equipos de desarrollo, así como roles multifuncionales como administrador de datos, propietario de producto , un arquitecto o un ingeniero de trenes de lanzamiento. En total, el equipo tiene unas cuarenta personas. “Estamos organizados por producto: cada equipo de desarrollo es responsable de la creación y ejecución de su oferta”, dice Julien Legrand. Entre los productos se encuentran plataformas de big data como Cloudera, tecnologías NoSQL como MongoDB o Cassandra o incluso soluciones de transmisión de eventos como Confluent Kafka. Este modelo tiene como objetivo diseñar ofertas de servicios compartidos, capaces de dar respuesta a diferentes clientes. «Se trata de industrializar el despliegue de una solución técnica compleja, agregando un conjunto de herramientas para que el usuario final sea autónomo», explica Julien Legrand.

Para ello, los equipos están implementando pasos progresivos con el fin de construir y enriquecer las bases. Todo comienza con la identificación de una necesidad, que conduce al desarrollo de una lista de posibles soluciones, y luego a una elección entre ellas. Luego viene una fase de diseño e industrialización, en particular gracias a la plataforma de automatización Ansible. “Se trata de poder entregar cajas de arena a los clientes lo más rápido posible, para obtener un retorno. Buscamos adquirir certeza, saber si necesitamos ir más allá”, dice Julien Legrand. Si este es el caso, el equipo desplegará varias herramientas para brindar supervisión y monitoreo, proporcionar mecanismos de resiliencia y construir un modelo de derechos. Finalmente, el último paso es la producción de la base técnica, con una serie de requisitos previos para su integración en los entornos técnicos del grupo: contratos de servicios; «reglas de oro», conjuntos de reglas de configuración esenciales que deben respetarse para garantizar los SLA; suficiente documentación y APIs.

Pasar de una oferta de servicios a una plataforma de datos

A continuación, Julien Legrand presentó un ejemplo de una oferta de servicios basada en MongoDB, un sistema de gestión de bases de datos (DBMS) orientado a documentos. Esta oferta está disponible en dos versiones, para atender diferentes tipos de proyectos: en un caso, el cliente tiene acceso a un conjunto de réplicas compartidas, una opción económica y disponible de inmediato; en el otro, tiene un clúster dedicado a su aplicación, con licencia empresarial. Los beneficios de este enfoque basado en la oferta son de varios órdenes. Primero, ayuda a desarrollar experiencia dentro del equipo que construye la oferta, con un aumento en las habilidades y la capitalización del conocimiento de un proyecto a otro. Esto también agiliza la relación con el editor, cuyos arquitectos de soluciones adquieren así un buen conocimiento del entorno CA-GIP. Otra ventaja se observa durante el despliegue, el uso de Ansible facilitando y acelerando el establecimiento de clústeres. De igual manera, se optimiza la supervisión y el seguimiento. La centralización de herramientas evita aportar nuevas con cada nueva solución, permitiendo a los clientes encontrar coherencia entre las diferentes bases. «El objetivo es ofrecer al cliente todo lo que necesita para ejecutar su aplicación», destaca Julien Legrand. Las bases así diseñadas son también más utilizables. «Por ejemplo, en streaming, un escuadrón puede administrar fácilmente varios clústeres de Kafka», ilustra el líder del escuadrón. Sin embargo, algunos problemas persisten. «A veces es complicado operar una aplicación de manera homogénea, centralizando diferentes tableros», señala Julien Legrand. Asimismo, la implementación de modelos de derechos transversales, aplicables de una base a otra, sigue siendo un tema complejo. Finalmente, en cuanto a la planificación, es necesario identificar los puntos de atraque de clientes con las diferentes cuadrillas.

Para ir más allá, el equipo a cargo de la base de datos ahora busca construir plataformas de datos. “Ya no se trata solo de proporcionar un clúster o una oferta de servicios, sino de permitir el consumo de la base en un contexto más global”, explica Julien Legrand. Con esto en mente, el escuadrón de datos rápidos ha diseñado una plataforma en torno a las soluciones Kafka y MongoDB. Inicialmente, recupera datos sin procesar a través de agentes de datos Kafka de temas como servicio. Si es necesario, se puede realizar un procesamiento simple inicial en estos datos con ksqlDB. Luego, los datos se alimentan a un clúster de MongoDB a través de Kafka Connect, que también se puede usar para archivar o replicar. El clúster de MongoDB está en sharding para aumentar las capacidades de almacenamiento y así poder albergar varios terabytes de datos. Este clúster controla la mayoría de las transformaciones, ya sea a través de flujos de cambios para aplicaciones que realizan cambios inmediatos en los datos (la mayoría de los cuales se implementan en Kubernative, la plataforma de contenedores de CA-GIP) o a través de canalizaciones de agregación para el procesamiento en modo por lotes. Al final de la cadena, los datos pueden alimentar otras bases de datos analíticas, a las que se suman herramientas de ciencia de datos y MLOps como Dataiku.

Un modelo a aplicar en otros ámbitos

“Con esta plataforma, podemos confiar en MongoDB para alta disponibilidad, replicación nativa y otros aspectos clave”, enfatiza Julien Legrand. Su equipo ahora planea aplicar patrones similares de manera más intensiva para satisfacer las diferentes necesidades comerciales. «También estamos pensando en la malla de datos (arquitectura de datos descentralizada NDLR) para tener un conjunto de soluciones para abordar cada área», dice Julien Legrand para concluir.

Durante la feria Cap IT, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, entidad a cargo de la producción del grupo Crdit Agricole, explicó cómo su equipo implementa plataformas de datos compartidos. Un enfoque ilustrado con la presentación de una base diseñada en torno a las soluciones Confluent Kafka y MongoDB.

La Plataforma de Infraestructuras del Grupo Crédit Agricole (CA-GIP) es la entidad que gestiona la mayoría de las infraestructuras del grupo bancario Crédit Agricole. Su equipo de datos está desplegando gradualmente plataformas de datos para ofrecer bases tecnológicas compartidas para sus negocios. Con motivo de la exposición Cap IT, un evento sobre la transformación digital de la banca y los seguros que se celebró los días 23 y 24 de marzo de 2022, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, compartió su experiencia de retroalimentación en la creación de este nuevo modelo. Tomó como ejemplo una plataforma diseñada en torno a las soluciones Confluent Kafka y MongoDB.

“CA-GIP alberga más del 80% de la producción del Grupo Crédit Agricole. Nuestros principales desafíos son asegurar la calidad de los servicios prestados, apoyar a las distintas entidades del grupo en sus proyectos y ser un socio estratégico de los negocios en la transformación digital”, recordó Julien Legrand en la introducción. Para apoyar estas diferentes misiones, CA-GIP ha optado por una organización en dos niveles. Por un lado, clusters próximos a comercios; por otro, fundamentos técnicos en diferentes campos, como la ciberdefensa, el lugar de trabajo digital o la nube, los devops y los datos, fundamento al que se adhiere Julien Legrand. “Nos encargamos de la construcción de ofertas de servicios, de brindar un catálogo al alcance de los arquitectos en los clusters y diferentes entidades empresariales”, resumió este último.

Industrialice el despliegue de soluciones complejas

El equipo de datos, al que pertenece Julien Legrand, se ha construido gradualmente desde 2018. Está organizado de acuerdo con un modelo ágil, con tres escuadrones y siete equipos de desarrollo, así como roles multifuncionales como administrador de datos, propietario de producto , un arquitecto o un ingeniero de trenes de lanzamiento. En total, el equipo tiene unas cuarenta personas. “Estamos organizados por producto: cada equipo de desarrollo es responsable de la creación y ejecución de su oferta”, dice Julien Legrand. Entre los productos se encuentran plataformas de big data como Cloudera, tecnologías NoSQL como MongoDB o Cassandra o incluso soluciones de transmisión de eventos como Confluent Kafka. Este modelo tiene como objetivo diseñar ofertas de servicios compartidos, capaces de dar respuesta a diferentes clientes. «Se trata de industrializar el despliegue de una solución técnica compleja, agregando un conjunto de herramientas para que el usuario final sea autónomo», explica Julien Legrand.

Para ello, los equipos están implementando pasos progresivos con el fin de construir y enriquecer las bases. Todo comienza con la identificación de una necesidad, que conduce al desarrollo de una lista de posibles soluciones, y luego a una elección entre ellas. Luego viene una fase de diseño e industrialización, en particular gracias a la plataforma de automatización Ansible. “Se trata de poder entregar cajas de arena a los clientes lo más rápido posible, para obtener un retorno. Buscamos adquirir certeza, saber si necesitamos ir más allá”, dice Julien Legrand. Si este es el caso, el equipo desplegará varias herramientas para brindar supervisión y monitoreo, proporcionar mecanismos de resiliencia y construir un modelo de derechos. Finalmente, el último paso es la producción de la base técnica, con una serie de requisitos previos para su integración en los entornos técnicos del grupo: contratos de servicios; «reglas de oro», conjuntos de reglas de configuración esenciales que deben respetarse para garantizar los SLA; suficiente documentación y APIs.

Pasar de una oferta de servicios a una plataforma de datos

A continuación, Julien Legrand presentó un ejemplo de una oferta de servicios basada en MongoDB, un sistema de gestión de bases de datos (DBMS) orientado a documentos. Esta oferta está disponible en dos versiones, para atender diferentes tipos de proyectos: en un caso, el cliente tiene acceso a un conjunto de réplicas compartidas, una opción económica y disponible de inmediato; en el otro, tiene un clúster dedicado a su aplicación, con licencia empresarial. Los beneficios de este enfoque basado en la oferta son de varios órdenes. Primero, ayuda a desarrollar experiencia dentro del equipo que construye la oferta, con un aumento en las habilidades y la capitalización del conocimiento de un proyecto a otro. Esto también agiliza la relación con el editor, cuyos arquitectos de soluciones adquieren así un buen conocimiento del entorno CA-GIP. Otra ventaja se observa durante el despliegue, el uso de Ansible facilitando y acelerando el establecimiento de clústeres. De igual manera, se optimiza la supervisión y el seguimiento. La centralización de herramientas evita aportar nuevas con cada nueva solución, permitiendo a los clientes encontrar coherencia entre las diferentes bases. «El objetivo es ofrecer al cliente todo lo que necesita para ejecutar su aplicación», destaca Julien Legrand. Las bases así diseñadas son también más utilizables. «Por ejemplo, en streaming, un escuadrón puede administrar fácilmente varios clústeres de Kafka», ilustra el líder del escuadrón. Sin embargo, algunos problemas persisten. «A veces es complicado operar una aplicación de manera homogénea, centralizando diferentes tableros», señala Julien Legrand. Asimismo, la implementación de modelos de derechos transversales, aplicables de una base a otra, sigue siendo un tema complejo. Finalmente, en cuanto a la planificación, es necesario identificar los puntos de atraque de clientes con las diferentes cuadrillas.

Para ir más allá, el equipo a cargo de la base de datos ahora busca construir plataformas de datos. “Ya no se trata solo de proporcionar un clúster o una oferta de servicios, sino de permitir el consumo de la base en un contexto más global”, explica Julien Legrand. Con esto en mente, el escuadrón de datos rápidos ha diseñado una plataforma en torno a las soluciones Kafka y MongoDB. Inicialmente, recupera datos sin procesar a través de agentes de datos Kafka de temas como servicio. Si es necesario, se puede realizar un procesamiento simple inicial en estos datos con ksqlDB. Luego, los datos se alimentan a un clúster de MongoDB a través de Kafka Connect, que también se puede usar para archivar o replicar. El clúster de MongoDB está en sharding para aumentar las capacidades de almacenamiento y así poder albergar varios terabytes de datos. Este clúster controla la mayoría de las transformaciones, ya sea a través de flujos de cambios para aplicaciones que realizan cambios inmediatos en los datos (la mayoría de los cuales se implementan en Kubernative, la plataforma de contenedores de CA-GIP) o a través de canalizaciones de agregación para el procesamiento en modo por lotes. Al final de la cadena, los datos pueden alimentar otras bases de datos analíticas, a las que se suman herramientas de ciencia de datos y MLOps como Dataiku.

Un modelo a aplicar en otros ámbitos

“Con esta plataforma, podemos confiar en MongoDB para alta disponibilidad, replicación nativa y otros aspectos clave”, enfatiza Julien Legrand. Su equipo ahora planea aplicar patrones similares de manera más intensiva para satisfacer las diferentes necesidades comerciales. «También estamos pensando en la malla de datos (arquitectura de datos descentralizada NDLR) para tener un conjunto de soluciones para abordar cada área», dice Julien Legrand para concluir.

Durante la feria Cap IT, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, entidad a cargo de la producción del grupo Crdit Agricole, explicó cómo su equipo implementa plataformas de datos compartidos. Un enfoque ilustrado con la presentación de una base diseñada en torno a las soluciones Confluent Kafka y MongoDB.

La Plataforma de Infraestructuras del Grupo Crédit Agricole (CA-GIP) es la entidad que gestiona la mayoría de las infraestructuras del grupo bancario Crédit Agricole. Su equipo de datos está desplegando gradualmente plataformas de datos para ofrecer bases tecnológicas compartidas para sus negocios. Con motivo de la exposición Cap IT, un evento sobre la transformación digital de la banca y los seguros que se celebró los días 23 y 24 de marzo de 2022, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, compartió su experiencia de retroalimentación en la creación de este nuevo modelo. Tomó como ejemplo una plataforma diseñada en torno a las soluciones Confluent Kafka y MongoDB.

“CA-GIP alberga más del 80% de la producción del Grupo Crédit Agricole. Nuestros principales desafíos son asegurar la calidad de los servicios prestados, apoyar a las distintas entidades del grupo en sus proyectos y ser un socio estratégico de los negocios en la transformación digital”, recordó Julien Legrand en la introducción. Para apoyar estas diferentes misiones, CA-GIP ha optado por una organización en dos niveles. Por un lado, clusters próximos a comercios; por otro, fundamentos técnicos en diferentes campos, como la ciberdefensa, el lugar de trabajo digital o la nube, los devops y los datos, fundamento al que se adhiere Julien Legrand. “Nos encargamos de la construcción de ofertas de servicios, de brindar un catálogo al alcance de los arquitectos en los clusters y diferentes entidades empresariales”, resumió este último.

Industrialice el despliegue de soluciones complejas

El equipo de datos, al que pertenece Julien Legrand, se ha construido gradualmente desde 2018. Está organizado de acuerdo con un modelo ágil, con tres escuadrones y siete equipos de desarrollo, así como roles multifuncionales como administrador de datos, propietario de producto , un arquitecto o un ingeniero de trenes de lanzamiento. En total, el equipo tiene unas cuarenta personas. “Estamos organizados por producto: cada equipo de desarrollo es responsable de la creación y ejecución de su oferta”, dice Julien Legrand. Entre los productos se encuentran plataformas de big data como Cloudera, tecnologías NoSQL como MongoDB o Cassandra o incluso soluciones de transmisión de eventos como Confluent Kafka. Este modelo tiene como objetivo diseñar ofertas de servicios compartidos, capaces de dar respuesta a diferentes clientes. «Se trata de industrializar el despliegue de una solución técnica compleja, agregando un conjunto de herramientas para que el usuario final sea autónomo», explica Julien Legrand.

Para ello, los equipos están implementando pasos progresivos con el fin de construir y enriquecer las bases. Todo comienza con la identificación de una necesidad, que conduce al desarrollo de una lista de posibles soluciones, y luego a una elección entre ellas. Luego viene una fase de diseño e industrialización, en particular gracias a la plataforma de automatización Ansible. “Se trata de poder entregar cajas de arena a los clientes lo más rápido posible, para obtener un retorno. Buscamos adquirir certeza, saber si necesitamos ir más allá”, dice Julien Legrand. Si este es el caso, el equipo desplegará varias herramientas para brindar supervisión y monitoreo, proporcionar mecanismos de resiliencia y construir un modelo de derechos. Finalmente, el último paso es la producción de la base técnica, con una serie de requisitos previos para su integración en los entornos técnicos del grupo: contratos de servicios; «reglas de oro», conjuntos de reglas de configuración esenciales que deben respetarse para garantizar los SLA; suficiente documentación y APIs.

Pasar de una oferta de servicios a una plataforma de datos

A continuación, Julien Legrand presentó un ejemplo de una oferta de servicios basada en MongoDB, un sistema de gestión de bases de datos (DBMS) orientado a documentos. Esta oferta está disponible en dos versiones, para atender diferentes tipos de proyectos: en un caso, el cliente tiene acceso a un conjunto de réplicas compartidas, una opción económica y disponible de inmediato; en el otro, tiene un clúster dedicado a su aplicación, con licencia empresarial. Los beneficios de este enfoque basado en la oferta son de varios órdenes. Primero, ayuda a desarrollar experiencia dentro del equipo que construye la oferta, con un aumento en las habilidades y la capitalización del conocimiento de un proyecto a otro. Esto también agiliza la relación con el editor, cuyos arquitectos de soluciones adquieren así un buen conocimiento del entorno CA-GIP. Otra ventaja se observa durante el despliegue, el uso de Ansible facilitando y acelerando el establecimiento de clústeres. De igual manera, se optimiza la supervisión y el seguimiento. La centralización de herramientas evita aportar nuevas con cada nueva solución, permitiendo a los clientes encontrar coherencia entre las diferentes bases. «El objetivo es ofrecer al cliente todo lo que necesita para ejecutar su aplicación», destaca Julien Legrand. Las bases así diseñadas son también más utilizables. «Por ejemplo, en streaming, un escuadrón puede administrar fácilmente varios clústeres de Kafka», ilustra el líder del escuadrón. Sin embargo, algunos problemas persisten. «A veces es complicado operar una aplicación de manera homogénea, centralizando diferentes tableros», señala Julien Legrand. Asimismo, la implementación de modelos de derechos transversales, aplicables de una base a otra, sigue siendo un tema complejo. Finalmente, en cuanto a la planificación, es necesario identificar los puntos de atraque de clientes con las diferentes cuadrillas.

Para ir más allá, el equipo a cargo de la base de datos ahora busca construir plataformas de datos. “Ya no se trata solo de proporcionar un clúster o una oferta de servicios, sino de permitir el consumo de la base en un contexto más global”, explica Julien Legrand. Con esto en mente, el escuadrón de datos rápidos ha diseñado una plataforma en torno a las soluciones Kafka y MongoDB. Inicialmente, recupera datos sin procesar a través de agentes de datos Kafka de temas como servicio. Si es necesario, se puede realizar un procesamiento simple inicial en estos datos con ksqlDB. Luego, los datos se alimentan a un clúster de MongoDB a través de Kafka Connect, que también se puede usar para archivar o replicar. El clúster de MongoDB está en sharding para aumentar las capacidades de almacenamiento y así poder albergar varios terabytes de datos. Este clúster controla la mayoría de las transformaciones, ya sea a través de flujos de cambios para aplicaciones que realizan cambios inmediatos en los datos (la mayoría de los cuales se implementan en Kubernative, la plataforma de contenedores de CA-GIP) o a través de canalizaciones de agregación para el procesamiento en modo por lotes. Al final de la cadena, los datos pueden alimentar otras bases de datos analíticas, a las que se suman herramientas de ciencia de datos y MLOps como Dataiku.

Un modelo a aplicar en otros ámbitos

“Con esta plataforma, podemos confiar en MongoDB para alta disponibilidad, replicación nativa y otros aspectos clave”, enfatiza Julien Legrand. Su equipo ahora planea aplicar patrones similares de manera más intensiva para satisfacer las diferentes necesidades comerciales. «También estamos pensando en la malla de datos (arquitectura de datos descentralizada NDLR) para tener un conjunto de soluciones para abordar cada área», dice Julien Legrand para concluir.

YOU MAY ALSO LIKE

Qualcomm pronto regresa al mercado de chips para servidores

Vuelve la Nantes Digital Week del 15 al 25 de septiembre

Durante la feria Cap IT, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, entidad a cargo de la producción del grupo Crdit Agricole, explicó cómo su equipo implementa plataformas de datos compartidos. Un enfoque ilustrado con la presentación de una base diseñada en torno a las soluciones Confluent Kafka y MongoDB.

La Plataforma de Infraestructuras del Grupo Crédit Agricole (CA-GIP) es la entidad que gestiona la mayoría de las infraestructuras del grupo bancario Crédit Agricole. Su equipo de datos está desplegando gradualmente plataformas de datos para ofrecer bases tecnológicas compartidas para sus negocios. Con motivo de la exposición Cap IT, un evento sobre la transformación digital de la banca y los seguros que se celebró los días 23 y 24 de marzo de 2022, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, compartió su experiencia de retroalimentación en la creación de este nuevo modelo. Tomó como ejemplo una plataforma diseñada en torno a las soluciones Confluent Kafka y MongoDB.

“CA-GIP alberga más del 80% de la producción del Grupo Crédit Agricole. Nuestros principales desafíos son asegurar la calidad de los servicios prestados, apoyar a las distintas entidades del grupo en sus proyectos y ser un socio estratégico de los negocios en la transformación digital”, recordó Julien Legrand en la introducción. Para apoyar estas diferentes misiones, CA-GIP ha optado por una organización en dos niveles. Por un lado, clusters próximos a comercios; por otro, fundamentos técnicos en diferentes campos, como la ciberdefensa, el lugar de trabajo digital o la nube, los devops y los datos, fundamento al que se adhiere Julien Legrand. “Nos encargamos de la construcción de ofertas de servicios, de brindar un catálogo al alcance de los arquitectos en los clusters y diferentes entidades empresariales”, resumió este último.

Industrialice el despliegue de soluciones complejas

El equipo de datos, al que pertenece Julien Legrand, se ha construido gradualmente desde 2018. Está organizado de acuerdo con un modelo ágil, con tres escuadrones y siete equipos de desarrollo, así como roles multifuncionales como administrador de datos, propietario de producto , un arquitecto o un ingeniero de trenes de lanzamiento. En total, el equipo tiene unas cuarenta personas. “Estamos organizados por producto: cada equipo de desarrollo es responsable de la creación y ejecución de su oferta”, dice Julien Legrand. Entre los productos se encuentran plataformas de big data como Cloudera, tecnologías NoSQL como MongoDB o Cassandra o incluso soluciones de transmisión de eventos como Confluent Kafka. Este modelo tiene como objetivo diseñar ofertas de servicios compartidos, capaces de dar respuesta a diferentes clientes. «Se trata de industrializar el despliegue de una solución técnica compleja, agregando un conjunto de herramientas para que el usuario final sea autónomo», explica Julien Legrand.

Para ello, los equipos están implementando pasos progresivos con el fin de construir y enriquecer las bases. Todo comienza con la identificación de una necesidad, que conduce al desarrollo de una lista de posibles soluciones, y luego a una elección entre ellas. Luego viene una fase de diseño e industrialización, en particular gracias a la plataforma de automatización Ansible. “Se trata de poder entregar cajas de arena a los clientes lo más rápido posible, para obtener un retorno. Buscamos adquirir certeza, saber si necesitamos ir más allá”, dice Julien Legrand. Si este es el caso, el equipo desplegará varias herramientas para brindar supervisión y monitoreo, proporcionar mecanismos de resiliencia y construir un modelo de derechos. Finalmente, el último paso es la producción de la base técnica, con una serie de requisitos previos para su integración en los entornos técnicos del grupo: contratos de servicios; «reglas de oro», conjuntos de reglas de configuración esenciales que deben respetarse para garantizar los SLA; suficiente documentación y APIs.

Pasar de una oferta de servicios a una plataforma de datos

A continuación, Julien Legrand presentó un ejemplo de una oferta de servicios basada en MongoDB, un sistema de gestión de bases de datos (DBMS) orientado a documentos. Esta oferta está disponible en dos versiones, para atender diferentes tipos de proyectos: en un caso, el cliente tiene acceso a un conjunto de réplicas compartidas, una opción económica y disponible de inmediato; en el otro, tiene un clúster dedicado a su aplicación, con licencia empresarial. Los beneficios de este enfoque basado en la oferta son de varios órdenes. Primero, ayuda a desarrollar experiencia dentro del equipo que construye la oferta, con un aumento en las habilidades y la capitalización del conocimiento de un proyecto a otro. Esto también agiliza la relación con el editor, cuyos arquitectos de soluciones adquieren así un buen conocimiento del entorno CA-GIP. Otra ventaja se observa durante el despliegue, el uso de Ansible facilitando y acelerando el establecimiento de clústeres. De igual manera, se optimiza la supervisión y el seguimiento. La centralización de herramientas evita aportar nuevas con cada nueva solución, permitiendo a los clientes encontrar coherencia entre las diferentes bases. «El objetivo es ofrecer al cliente todo lo que necesita para ejecutar su aplicación», destaca Julien Legrand. Las bases así diseñadas son también más utilizables. «Por ejemplo, en streaming, un escuadrón puede administrar fácilmente varios clústeres de Kafka», ilustra el líder del escuadrón. Sin embargo, algunos problemas persisten. «A veces es complicado operar una aplicación de manera homogénea, centralizando diferentes tableros», señala Julien Legrand. Asimismo, la implementación de modelos de derechos transversales, aplicables de una base a otra, sigue siendo un tema complejo. Finalmente, en cuanto a la planificación, es necesario identificar los puntos de atraque de clientes con las diferentes cuadrillas.

Para ir más allá, el equipo a cargo de la base de datos ahora busca construir plataformas de datos. “Ya no se trata solo de proporcionar un clúster o una oferta de servicios, sino de permitir el consumo de la base en un contexto más global”, explica Julien Legrand. Con esto en mente, el escuadrón de datos rápidos ha diseñado una plataforma en torno a las soluciones Kafka y MongoDB. Inicialmente, recupera datos sin procesar a través de agentes de datos Kafka de temas como servicio. Si es necesario, se puede realizar un procesamiento simple inicial en estos datos con ksqlDB. Luego, los datos se alimentan a un clúster de MongoDB a través de Kafka Connect, que también se puede usar para archivar o replicar. El clúster de MongoDB está en sharding para aumentar las capacidades de almacenamiento y así poder albergar varios terabytes de datos. Este clúster controla la mayoría de las transformaciones, ya sea a través de flujos de cambios para aplicaciones que realizan cambios inmediatos en los datos (la mayoría de los cuales se implementan en Kubernative, la plataforma de contenedores de CA-GIP) o a través de canalizaciones de agregación para el procesamiento en modo por lotes. Al final de la cadena, los datos pueden alimentar otras bases de datos analíticas, a las que se suman herramientas de ciencia de datos y MLOps como Dataiku.

Un modelo a aplicar en otros ámbitos

“Con esta plataforma, podemos confiar en MongoDB para alta disponibilidad, replicación nativa y otros aspectos clave”, enfatiza Julien Legrand. Su equipo ahora planea aplicar patrones similares de manera más intensiva para satisfacer las diferentes necesidades comerciales. «También estamos pensando en la malla de datos (arquitectura de datos descentralizada NDLR) para tener un conjunto de soluciones para abordar cada área», dice Julien Legrand para concluir.

Durante la feria Cap IT, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, entidad a cargo de la producción del grupo Crdit Agricole, explicó cómo su equipo implementa plataformas de datos compartidos. Un enfoque ilustrado con la presentación de una base diseñada en torno a las soluciones Confluent Kafka y MongoDB.

La Plataforma de Infraestructuras del Grupo Crédit Agricole (CA-GIP) es la entidad que gestiona la mayoría de las infraestructuras del grupo bancario Crédit Agricole. Su equipo de datos está desplegando gradualmente plataformas de datos para ofrecer bases tecnológicas compartidas para sus negocios. Con motivo de la exposición Cap IT, un evento sobre la transformación digital de la banca y los seguros que se celebró los días 23 y 24 de marzo de 2022, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, compartió su experiencia de retroalimentación en la creación de este nuevo modelo. Tomó como ejemplo una plataforma diseñada en torno a las soluciones Confluent Kafka y MongoDB.

“CA-GIP alberga más del 80% de la producción del Grupo Crédit Agricole. Nuestros principales desafíos son asegurar la calidad de los servicios prestados, apoyar a las distintas entidades del grupo en sus proyectos y ser un socio estratégico de los negocios en la transformación digital”, recordó Julien Legrand en la introducción. Para apoyar estas diferentes misiones, CA-GIP ha optado por una organización en dos niveles. Por un lado, clusters próximos a comercios; por otro, fundamentos técnicos en diferentes campos, como la ciberdefensa, el lugar de trabajo digital o la nube, los devops y los datos, fundamento al que se adhiere Julien Legrand. “Nos encargamos de la construcción de ofertas de servicios, de brindar un catálogo al alcance de los arquitectos en los clusters y diferentes entidades empresariales”, resumió este último.

Industrialice el despliegue de soluciones complejas

El equipo de datos, al que pertenece Julien Legrand, se ha construido gradualmente desde 2018. Está organizado de acuerdo con un modelo ágil, con tres escuadrones y siete equipos de desarrollo, así como roles multifuncionales como administrador de datos, propietario de producto , un arquitecto o un ingeniero de trenes de lanzamiento. En total, el equipo tiene unas cuarenta personas. “Estamos organizados por producto: cada equipo de desarrollo es responsable de la creación y ejecución de su oferta”, dice Julien Legrand. Entre los productos se encuentran plataformas de big data como Cloudera, tecnologías NoSQL como MongoDB o Cassandra o incluso soluciones de transmisión de eventos como Confluent Kafka. Este modelo tiene como objetivo diseñar ofertas de servicios compartidos, capaces de dar respuesta a diferentes clientes. «Se trata de industrializar el despliegue de una solución técnica compleja, agregando un conjunto de herramientas para que el usuario final sea autónomo», explica Julien Legrand.

Para ello, los equipos están implementando pasos progresivos con el fin de construir y enriquecer las bases. Todo comienza con la identificación de una necesidad, que conduce al desarrollo de una lista de posibles soluciones, y luego a una elección entre ellas. Luego viene una fase de diseño e industrialización, en particular gracias a la plataforma de automatización Ansible. “Se trata de poder entregar cajas de arena a los clientes lo más rápido posible, para obtener un retorno. Buscamos adquirir certeza, saber si necesitamos ir más allá”, dice Julien Legrand. Si este es el caso, el equipo desplegará varias herramientas para brindar supervisión y monitoreo, proporcionar mecanismos de resiliencia y construir un modelo de derechos. Finalmente, el último paso es la producción de la base técnica, con una serie de requisitos previos para su integración en los entornos técnicos del grupo: contratos de servicios; «reglas de oro», conjuntos de reglas de configuración esenciales que deben respetarse para garantizar los SLA; suficiente documentación y APIs.

Pasar de una oferta de servicios a una plataforma de datos

A continuación, Julien Legrand presentó un ejemplo de una oferta de servicios basada en MongoDB, un sistema de gestión de bases de datos (DBMS) orientado a documentos. Esta oferta está disponible en dos versiones, para atender diferentes tipos de proyectos: en un caso, el cliente tiene acceso a un conjunto de réplicas compartidas, una opción económica y disponible de inmediato; en el otro, tiene un clúster dedicado a su aplicación, con licencia empresarial. Los beneficios de este enfoque basado en la oferta son de varios órdenes. Primero, ayuda a desarrollar experiencia dentro del equipo que construye la oferta, con un aumento en las habilidades y la capitalización del conocimiento de un proyecto a otro. Esto también agiliza la relación con el editor, cuyos arquitectos de soluciones adquieren así un buen conocimiento del entorno CA-GIP. Otra ventaja se observa durante el despliegue, el uso de Ansible facilitando y acelerando el establecimiento de clústeres. De igual manera, se optimiza la supervisión y el seguimiento. La centralización de herramientas evita aportar nuevas con cada nueva solución, permitiendo a los clientes encontrar coherencia entre las diferentes bases. «El objetivo es ofrecer al cliente todo lo que necesita para ejecutar su aplicación», destaca Julien Legrand. Las bases así diseñadas son también más utilizables. «Por ejemplo, en streaming, un escuadrón puede administrar fácilmente varios clústeres de Kafka», ilustra el líder del escuadrón. Sin embargo, algunos problemas persisten. «A veces es complicado operar una aplicación de manera homogénea, centralizando diferentes tableros», señala Julien Legrand. Asimismo, la implementación de modelos de derechos transversales, aplicables de una base a otra, sigue siendo un tema complejo. Finalmente, en cuanto a la planificación, es necesario identificar los puntos de atraque de clientes con las diferentes cuadrillas.

Para ir más allá, el equipo a cargo de la base de datos ahora busca construir plataformas de datos. “Ya no se trata solo de proporcionar un clúster o una oferta de servicios, sino de permitir el consumo de la base en un contexto más global”, explica Julien Legrand. Con esto en mente, el escuadrón de datos rápidos ha diseñado una plataforma en torno a las soluciones Kafka y MongoDB. Inicialmente, recupera datos sin procesar a través de agentes de datos Kafka de temas como servicio. Si es necesario, se puede realizar un procesamiento simple inicial en estos datos con ksqlDB. Luego, los datos se alimentan a un clúster de MongoDB a través de Kafka Connect, que también se puede usar para archivar o replicar. El clúster de MongoDB está en sharding para aumentar las capacidades de almacenamiento y así poder albergar varios terabytes de datos. Este clúster controla la mayoría de las transformaciones, ya sea a través de flujos de cambios para aplicaciones que realizan cambios inmediatos en los datos (la mayoría de los cuales se implementan en Kubernative, la plataforma de contenedores de CA-GIP) o a través de canalizaciones de agregación para el procesamiento en modo por lotes. Al final de la cadena, los datos pueden alimentar otras bases de datos analíticas, a las que se suman herramientas de ciencia de datos y MLOps como Dataiku.

Un modelo a aplicar en otros ámbitos

“Con esta plataforma, podemos confiar en MongoDB para alta disponibilidad, replicación nativa y otros aspectos clave”, enfatiza Julien Legrand. Su equipo ahora planea aplicar patrones similares de manera más intensiva para satisfacer las diferentes necesidades comerciales. «También estamos pensando en la malla de datos (arquitectura de datos descentralizada NDLR) para tener un conjunto de soluciones para abordar cada área», dice Julien Legrand para concluir.

Durante la feria Cap IT, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, entidad a cargo de la producción del grupo Crdit Agricole, explicó cómo su equipo implementa plataformas de datos compartidos. Un enfoque ilustrado con la presentación de una base diseñada en torno a las soluciones Confluent Kafka y MongoDB.

La Plataforma de Infraestructuras del Grupo Crédit Agricole (CA-GIP) es la entidad que gestiona la mayoría de las infraestructuras del grupo bancario Crédit Agricole. Su equipo de datos está desplegando gradualmente plataformas de datos para ofrecer bases tecnológicas compartidas para sus negocios. Con motivo de la exposición Cap IT, un evento sobre la transformación digital de la banca y los seguros que se celebró los días 23 y 24 de marzo de 2022, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, compartió su experiencia de retroalimentación en la creación de este nuevo modelo. Tomó como ejemplo una plataforma diseñada en torno a las soluciones Confluent Kafka y MongoDB.

“CA-GIP alberga más del 80% de la producción del Grupo Crédit Agricole. Nuestros principales desafíos son asegurar la calidad de los servicios prestados, apoyar a las distintas entidades del grupo en sus proyectos y ser un socio estratégico de los negocios en la transformación digital”, recordó Julien Legrand en la introducción. Para apoyar estas diferentes misiones, CA-GIP ha optado por una organización en dos niveles. Por un lado, clusters próximos a comercios; por otro, fundamentos técnicos en diferentes campos, como la ciberdefensa, el lugar de trabajo digital o la nube, los devops y los datos, fundamento al que se adhiere Julien Legrand. “Nos encargamos de la construcción de ofertas de servicios, de brindar un catálogo al alcance de los arquitectos en los clusters y diferentes entidades empresariales”, resumió este último.

Industrialice el despliegue de soluciones complejas

El equipo de datos, al que pertenece Julien Legrand, se ha construido gradualmente desde 2018. Está organizado de acuerdo con un modelo ágil, con tres escuadrones y siete equipos de desarrollo, así como roles multifuncionales como administrador de datos, propietario de producto , un arquitecto o un ingeniero de trenes de lanzamiento. En total, el equipo tiene unas cuarenta personas. “Estamos organizados por producto: cada equipo de desarrollo es responsable de la creación y ejecución de su oferta”, dice Julien Legrand. Entre los productos se encuentran plataformas de big data como Cloudera, tecnologías NoSQL como MongoDB o Cassandra o incluso soluciones de transmisión de eventos como Confluent Kafka. Este modelo tiene como objetivo diseñar ofertas de servicios compartidos, capaces de dar respuesta a diferentes clientes. «Se trata de industrializar el despliegue de una solución técnica compleja, agregando un conjunto de herramientas para que el usuario final sea autónomo», explica Julien Legrand.

Para ello, los equipos están implementando pasos progresivos con el fin de construir y enriquecer las bases. Todo comienza con la identificación de una necesidad, que conduce al desarrollo de una lista de posibles soluciones, y luego a una elección entre ellas. Luego viene una fase de diseño e industrialización, en particular gracias a la plataforma de automatización Ansible. “Se trata de poder entregar cajas de arena a los clientes lo más rápido posible, para obtener un retorno. Buscamos adquirir certeza, saber si necesitamos ir más allá”, dice Julien Legrand. Si este es el caso, el equipo desplegará varias herramientas para brindar supervisión y monitoreo, proporcionar mecanismos de resiliencia y construir un modelo de derechos. Finalmente, el último paso es la producción de la base técnica, con una serie de requisitos previos para su integración en los entornos técnicos del grupo: contratos de servicios; «reglas de oro», conjuntos de reglas de configuración esenciales que deben respetarse para garantizar los SLA; suficiente documentación y APIs.

Pasar de una oferta de servicios a una plataforma de datos

A continuación, Julien Legrand presentó un ejemplo de una oferta de servicios basada en MongoDB, un sistema de gestión de bases de datos (DBMS) orientado a documentos. Esta oferta está disponible en dos versiones, para atender diferentes tipos de proyectos: en un caso, el cliente tiene acceso a un conjunto de réplicas compartidas, una opción económica y disponible de inmediato; en el otro, tiene un clúster dedicado a su aplicación, con licencia empresarial. Los beneficios de este enfoque basado en la oferta son de varios órdenes. Primero, ayuda a desarrollar experiencia dentro del equipo que construye la oferta, con un aumento en las habilidades y la capitalización del conocimiento de un proyecto a otro. Esto también agiliza la relación con el editor, cuyos arquitectos de soluciones adquieren así un buen conocimiento del entorno CA-GIP. Otra ventaja se observa durante el despliegue, el uso de Ansible facilitando y acelerando el establecimiento de clústeres. De igual manera, se optimiza la supervisión y el seguimiento. La centralización de herramientas evita aportar nuevas con cada nueva solución, permitiendo a los clientes encontrar coherencia entre las diferentes bases. «El objetivo es ofrecer al cliente todo lo que necesita para ejecutar su aplicación», destaca Julien Legrand. Las bases así diseñadas son también más utilizables. «Por ejemplo, en streaming, un escuadrón puede administrar fácilmente varios clústeres de Kafka», ilustra el líder del escuadrón. Sin embargo, algunos problemas persisten. «A veces es complicado operar una aplicación de manera homogénea, centralizando diferentes tableros», señala Julien Legrand. Asimismo, la implementación de modelos de derechos transversales, aplicables de una base a otra, sigue siendo un tema complejo. Finalmente, en cuanto a la planificación, es necesario identificar los puntos de atraque de clientes con las diferentes cuadrillas.

Para ir más allá, el equipo a cargo de la base de datos ahora busca construir plataformas de datos. “Ya no se trata solo de proporcionar un clúster o una oferta de servicios, sino de permitir el consumo de la base en un contexto más global”, explica Julien Legrand. Con esto en mente, el escuadrón de datos rápidos ha diseñado una plataforma en torno a las soluciones Kafka y MongoDB. Inicialmente, recupera datos sin procesar a través de agentes de datos Kafka de temas como servicio. Si es necesario, se puede realizar un procesamiento simple inicial en estos datos con ksqlDB. Luego, los datos se alimentan a un clúster de MongoDB a través de Kafka Connect, que también se puede usar para archivar o replicar. El clúster de MongoDB está en sharding para aumentar las capacidades de almacenamiento y así poder albergar varios terabytes de datos. Este clúster controla la mayoría de las transformaciones, ya sea a través de flujos de cambios para aplicaciones que realizan cambios inmediatos en los datos (la mayoría de los cuales se implementan en Kubernative, la plataforma de contenedores de CA-GIP) o a través de canalizaciones de agregación para el procesamiento en modo por lotes. Al final de la cadena, los datos pueden alimentar otras bases de datos analíticas, a las que se suman herramientas de ciencia de datos y MLOps como Dataiku.

Un modelo a aplicar en otros ámbitos

“Con esta plataforma, podemos confiar en MongoDB para alta disponibilidad, replicación nativa y otros aspectos clave”, enfatiza Julien Legrand. Su equipo ahora planea aplicar patrones similares de manera más intensiva para satisfacer las diferentes necesidades comerciales. «También estamos pensando en la malla de datos (arquitectura de datos descentralizada NDLR) para tener un conjunto de soluciones para abordar cada área», dice Julien Legrand para concluir.

Durante la feria Cap IT, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, entidad a cargo de la producción del grupo Crdit Agricole, explicó cómo su equipo implementa plataformas de datos compartidos. Un enfoque ilustrado con la presentación de una base diseñada en torno a las soluciones Confluent Kafka y MongoDB.

La Plataforma de Infraestructuras del Grupo Crédit Agricole (CA-GIP) es la entidad que gestiona la mayoría de las infraestructuras del grupo bancario Crédit Agricole. Su equipo de datos está desplegando gradualmente plataformas de datos para ofrecer bases tecnológicas compartidas para sus negocios. Con motivo de la exposición Cap IT, un evento sobre la transformación digital de la banca y los seguros que se celebró los días 23 y 24 de marzo de 2022, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, compartió su experiencia de retroalimentación en la creación de este nuevo modelo. Tomó como ejemplo una plataforma diseñada en torno a las soluciones Confluent Kafka y MongoDB.

“CA-GIP alberga más del 80% de la producción del Grupo Crédit Agricole. Nuestros principales desafíos son asegurar la calidad de los servicios prestados, apoyar a las distintas entidades del grupo en sus proyectos y ser un socio estratégico de los negocios en la transformación digital”, recordó Julien Legrand en la introducción. Para apoyar estas diferentes misiones, CA-GIP ha optado por una organización en dos niveles. Por un lado, clusters próximos a comercios; por otro, fundamentos técnicos en diferentes campos, como la ciberdefensa, el lugar de trabajo digital o la nube, los devops y los datos, fundamento al que se adhiere Julien Legrand. “Nos encargamos de la construcción de ofertas de servicios, de brindar un catálogo al alcance de los arquitectos en los clusters y diferentes entidades empresariales”, resumió este último.

Industrialice el despliegue de soluciones complejas

El equipo de datos, al que pertenece Julien Legrand, se ha construido gradualmente desde 2018. Está organizado de acuerdo con un modelo ágil, con tres escuadrones y siete equipos de desarrollo, así como roles multifuncionales como administrador de datos, propietario de producto , un arquitecto o un ingeniero de trenes de lanzamiento. En total, el equipo tiene unas cuarenta personas. “Estamos organizados por producto: cada equipo de desarrollo es responsable de la creación y ejecución de su oferta”, dice Julien Legrand. Entre los productos se encuentran plataformas de big data como Cloudera, tecnologías NoSQL como MongoDB o Cassandra o incluso soluciones de transmisión de eventos como Confluent Kafka. Este modelo tiene como objetivo diseñar ofertas de servicios compartidos, capaces de dar respuesta a diferentes clientes. «Se trata de industrializar el despliegue de una solución técnica compleja, agregando un conjunto de herramientas para que el usuario final sea autónomo», explica Julien Legrand.

Para ello, los equipos están implementando pasos progresivos con el fin de construir y enriquecer las bases. Todo comienza con la identificación de una necesidad, que conduce al desarrollo de una lista de posibles soluciones, y luego a una elección entre ellas. Luego viene una fase de diseño e industrialización, en particular gracias a la plataforma de automatización Ansible. “Se trata de poder entregar cajas de arena a los clientes lo más rápido posible, para obtener un retorno. Buscamos adquirir certeza, saber si necesitamos ir más allá”, dice Julien Legrand. Si este es el caso, el equipo desplegará varias herramientas para brindar supervisión y monitoreo, proporcionar mecanismos de resiliencia y construir un modelo de derechos. Finalmente, el último paso es la producción de la base técnica, con una serie de requisitos previos para su integración en los entornos técnicos del grupo: contratos de servicios; «reglas de oro», conjuntos de reglas de configuración esenciales que deben respetarse para garantizar los SLA; suficiente documentación y APIs.

Pasar de una oferta de servicios a una plataforma de datos

A continuación, Julien Legrand presentó un ejemplo de una oferta de servicios basada en MongoDB, un sistema de gestión de bases de datos (DBMS) orientado a documentos. Esta oferta está disponible en dos versiones, para atender diferentes tipos de proyectos: en un caso, el cliente tiene acceso a un conjunto de réplicas compartidas, una opción económica y disponible de inmediato; en el otro, tiene un clúster dedicado a su aplicación, con licencia empresarial. Los beneficios de este enfoque basado en la oferta son de varios órdenes. Primero, ayuda a desarrollar experiencia dentro del equipo que construye la oferta, con un aumento en las habilidades y la capitalización del conocimiento de un proyecto a otro. Esto también agiliza la relación con el editor, cuyos arquitectos de soluciones adquieren así un buen conocimiento del entorno CA-GIP. Otra ventaja se observa durante el despliegue, el uso de Ansible facilitando y acelerando el establecimiento de clústeres. De igual manera, se optimiza la supervisión y el seguimiento. La centralización de herramientas evita aportar nuevas con cada nueva solución, permitiendo a los clientes encontrar coherencia entre las diferentes bases. «El objetivo es ofrecer al cliente todo lo que necesita para ejecutar su aplicación», destaca Julien Legrand. Las bases así diseñadas son también más utilizables. «Por ejemplo, en streaming, un escuadrón puede administrar fácilmente varios clústeres de Kafka», ilustra el líder del escuadrón. Sin embargo, algunos problemas persisten. «A veces es complicado operar una aplicación de manera homogénea, centralizando diferentes tableros», señala Julien Legrand. Asimismo, la implementación de modelos de derechos transversales, aplicables de una base a otra, sigue siendo un tema complejo. Finalmente, en cuanto a la planificación, es necesario identificar los puntos de atraque de clientes con las diferentes cuadrillas.

Para ir más allá, el equipo a cargo de la base de datos ahora busca construir plataformas de datos. “Ya no se trata solo de proporcionar un clúster o una oferta de servicios, sino de permitir el consumo de la base en un contexto más global”, explica Julien Legrand. Con esto en mente, el escuadrón de datos rápidos ha diseñado una plataforma en torno a las soluciones Kafka y MongoDB. Inicialmente, recupera datos sin procesar a través de agentes de datos Kafka de temas como servicio. Si es necesario, se puede realizar un procesamiento simple inicial en estos datos con ksqlDB. Luego, los datos se alimentan a un clúster de MongoDB a través de Kafka Connect, que también se puede usar para archivar o replicar. El clúster de MongoDB está en sharding para aumentar las capacidades de almacenamiento y así poder albergar varios terabytes de datos. Este clúster controla la mayoría de las transformaciones, ya sea a través de flujos de cambios para aplicaciones que realizan cambios inmediatos en los datos (la mayoría de los cuales se implementan en Kubernative, la plataforma de contenedores de CA-GIP) o a través de canalizaciones de agregación para el procesamiento en modo por lotes. Al final de la cadena, los datos pueden alimentar otras bases de datos analíticas, a las que se suman herramientas de ciencia de datos y MLOps como Dataiku.

Un modelo a aplicar en otros ámbitos

“Con esta plataforma, podemos confiar en MongoDB para alta disponibilidad, replicación nativa y otros aspectos clave”, enfatiza Julien Legrand. Su equipo ahora planea aplicar patrones similares de manera más intensiva para satisfacer las diferentes necesidades comerciales. «También estamos pensando en la malla de datos (arquitectura de datos descentralizada NDLR) para tener un conjunto de soluciones para abordar cada área», dice Julien Legrand para concluir.

ShareTweetPin

Search

No Result
View All Result

Recent News

CANADA POCO SERIO

El paternalismo canadiense afecta a todos | Excluyendo Bitcoin, Ethereum y algunos otros

agosto 19, 2022
Qualcomm pronto regresa al mercado de chips para servidores

Qualcomm pronto regresa al mercado de chips para servidores

agosto 19, 2022
Seis personas heridas en tiroteo afuera de hospital de Tennessee

Tropas turcas y combatientes kurdos intercambian fuertes disparos en Kobane, Siria

agosto 19, 2022
Mundo Informático

© 2022 Mundo Informático

Navegar

  • About
  • advertise
  • Privacy & Policy
  • Contact Us

Síguenos

No Result
View All Result
  • Inicio
  • Ciencia
  • Artículos
  • Criptomonedas
  • Tecnología
  • Otros

© 2022 Mundo Informático

Usamos cookies propias y de terceros para ofrecer nuestros servicios, estadísticas y publicidad. Si navegas aceptas su instalación y uso. Configuración de CookiesAceptar

Privacy Overview

This website uses cookies to improve your experience while you navigate through the website. Out of these cookies, the cookies that are categorized as necessary are stored on your browser as they are essential for the working of basic functionalities of the website. We also use third-party cookies that help us analyze and understand how you use this website. These cookies will be stored in your browser only with your consent. You also have the option to opt-out of these cookies. But opting out of some of these cookies may have an effect on your browsing experience.
Necessary
Siempre activado
Necessary cookies are absolutely essential for the website to function properly. This category only includes cookies that ensures basic functionalities and security features of the website. These cookies do not store any personal information.
Non-necessary
Any cookies that may not be particularly necessary for the website to function and is used specifically to collect user personal data via analytics, ads, other embedded contents are termed as non-necessary cookies. It is mandatory to procure user consent prior to running these cookies on your website.
GUARDAR Y ACEPTAR
Ir a la versión móvil