Durante la feria Cap IT, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, entidad a cargo de la producción del grupo Crdit Agricole, explicó cómo su equipo implementa plataformas de datos compartidos. Un enfoque ilustrado con la presentación de una base diseñada en torno a las soluciones Confluent Kafka y MongoDB.
La Plataforma de Infraestructuras del Grupo Crédit Agricole (CA-GIP) es la entidad que gestiona la mayoría de las infraestructuras del grupo bancario Crédit Agricole. Su equipo de datos está desplegando gradualmente plataformas de datos para ofrecer bases tecnológicas compartidas para sus negocios. Con motivo de la exposición Cap IT, un evento sobre la transformación digital de la banca y los seguros que se celebró los días 23 y 24 de marzo de 2022, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, compartió su experiencia de retroalimentación en la creación de este nuevo modelo. Tomó como ejemplo una plataforma diseñada en torno a las soluciones Confluent Kafka y MongoDB.
“CA-GIP alberga más del 80% de la producción del Grupo Crédit Agricole. Nuestros principales desafíos son asegurar la calidad de los servicios prestados, apoyar a las distintas entidades del grupo en sus proyectos y ser un socio estratégico de los negocios en la transformación digital”, recordó Julien Legrand en la introducción. Para apoyar estas diferentes misiones, CA-GIP ha optado por una organización en dos niveles. Por un lado, clusters próximos a comercios; por otro, fundamentos técnicos en diferentes campos, como la ciberdefensa, el lugar de trabajo digital o la nube, los devops y los datos, fundamento al que se adhiere Julien Legrand. “Nos encargamos de la construcción de ofertas de servicios, de brindar un catálogo al alcance de los arquitectos en los clusters y diferentes entidades empresariales”, resumió este último.
Industrialice el despliegue de soluciones complejas
El equipo de datos, al que pertenece Julien Legrand, se ha construido gradualmente desde 2018. Está organizado de acuerdo con un modelo ágil, con tres escuadrones y siete equipos de desarrollo, así como roles multifuncionales como administrador de datos, propietario de producto , un arquitecto o un ingeniero de trenes de lanzamiento. En total, el equipo tiene unas cuarenta personas. “Estamos organizados por producto: cada equipo de desarrollo es responsable de la creación y ejecución de su oferta”, dice Julien Legrand. Entre los productos se encuentran plataformas de big data como Cloudera, tecnologías NoSQL como MongoDB o Cassandra o incluso soluciones de transmisión de eventos como Confluent Kafka. Este modelo tiene como objetivo diseñar ofertas de servicios compartidos, capaces de dar respuesta a diferentes clientes. «Se trata de industrializar el despliegue de una solución técnica compleja, agregando un conjunto de herramientas para que el usuario final sea autónomo», explica Julien Legrand.
Para ello, los equipos están implementando pasos progresivos con el fin de construir y enriquecer las bases. Todo comienza con la identificación de una necesidad, que conduce al desarrollo de una lista de posibles soluciones, y luego a una elección entre ellas. Luego viene una fase de diseño e industrialización, en particular gracias a la plataforma de automatización Ansible. “Se trata de poder entregar cajas de arena a los clientes lo más rápido posible, para obtener un retorno. Buscamos adquirir certeza, saber si necesitamos ir más allá”, dice Julien Legrand. Si este es el caso, el equipo desplegará varias herramientas para brindar supervisión y monitoreo, proporcionar mecanismos de resiliencia y construir un modelo de derechos. Finalmente, el último paso es la producción de la base técnica, con una serie de requisitos previos para su integración en los entornos técnicos del grupo: contratos de servicios; «reglas de oro», conjuntos de reglas de configuración esenciales que deben respetarse para garantizar los SLA; suficiente documentación y APIs.
Pasar de una oferta de servicios a una plataforma de datos
A continuación, Julien Legrand presentó un ejemplo de una oferta de servicios basada en MongoDB, un sistema de gestión de bases de datos (DBMS) orientado a documentos. Esta oferta está disponible en dos versiones, para atender diferentes tipos de proyectos: en un caso, el cliente tiene acceso a un conjunto de réplicas compartidas, una opción económica y disponible de inmediato; en el otro, tiene un clúster dedicado a su aplicación, con licencia empresarial. Los beneficios de este enfoque basado en la oferta son de varios órdenes. Primero, ayuda a desarrollar experiencia dentro del equipo que construye la oferta, con un aumento en las habilidades y la capitalización del conocimiento de un proyecto a otro. Esto también agiliza la relación con el editor, cuyos arquitectos de soluciones adquieren así un buen conocimiento del entorno CA-GIP. Otra ventaja se observa durante el despliegue, el uso de Ansible facilitando y acelerando el establecimiento de clústeres. De igual manera, se optimiza la supervisión y el seguimiento. La centralización de herramientas evita aportar nuevas con cada nueva solución, permitiendo a los clientes encontrar coherencia entre las diferentes bases. «El objetivo es ofrecer al cliente todo lo que necesita para ejecutar su aplicación», destaca Julien Legrand. Las bases así diseñadas son también más utilizables. «Por ejemplo, en streaming, un escuadrón puede administrar fácilmente varios clústeres de Kafka», ilustra el líder del escuadrón. Sin embargo, algunos problemas persisten. «A veces es complicado operar una aplicación de manera homogénea, centralizando diferentes tableros», señala Julien Legrand. Asimismo, la implementación de modelos de derechos transversales, aplicables de una base a otra, sigue siendo un tema complejo. Finalmente, en cuanto a la planificación, es necesario identificar los puntos de atraque de clientes con las diferentes cuadrillas.
Para ir más allá, el equipo a cargo de la base de datos ahora busca construir plataformas de datos. “Ya no se trata solo de proporcionar un clúster o una oferta de servicios, sino de permitir el consumo de la base en un contexto más global”, explica Julien Legrand. Con esto en mente, el escuadrón de datos rápidos ha diseñado una plataforma en torno a las soluciones Kafka y MongoDB. Inicialmente, recupera datos sin procesar a través de agentes de datos Kafka de temas como servicio. Si es necesario, se puede realizar un procesamiento simple inicial en estos datos con ksqlDB. Luego, los datos se alimentan a un clúster de MongoDB a través de Kafka Connect, que también se puede usar para archivar o replicar. El clúster de MongoDB está en sharding para aumentar las capacidades de almacenamiento y así poder albergar varios terabytes de datos. Este clúster controla la mayoría de las transformaciones, ya sea a través de flujos de cambios para aplicaciones que realizan cambios inmediatos en los datos (la mayoría de los cuales se implementan en Kubernative, la plataforma de contenedores de CA-GIP) o a través de canalizaciones de agregación para el procesamiento en modo por lotes. Al final de la cadena, los datos pueden alimentar otras bases de datos analíticas, a las que se suman herramientas de ciencia de datos y MLOps como Dataiku.
Un modelo a aplicar en otros ámbitos
“Con esta plataforma, podemos confiar en MongoDB para alta disponibilidad, replicación nativa y otros aspectos clave”, enfatiza Julien Legrand. Su equipo ahora planea aplicar patrones similares de manera más intensiva para satisfacer las diferentes necesidades comerciales. «También estamos pensando en la malla de datos (arquitectura de datos descentralizada NDLR) para tener un conjunto de soluciones para abordar cada área», dice Julien Legrand para concluir.
Durante la feria Cap IT, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, entidad a cargo de la producción del grupo Crdit Agricole, explicó cómo su equipo implementa plataformas de datos compartidos. Un enfoque ilustrado con la presentación de una base diseñada en torno a las soluciones Confluent Kafka y MongoDB.
La Plataforma de Infraestructuras del Grupo Crédit Agricole (CA-GIP) es la entidad que gestiona la mayoría de las infraestructuras del grupo bancario Crédit Agricole. Su equipo de datos está desplegando gradualmente plataformas de datos para ofrecer bases tecnológicas compartidas para sus negocios. Con motivo de la exposición Cap IT, un evento sobre la transformación digital de la banca y los seguros que se celebró los días 23 y 24 de marzo de 2022, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, compartió su experiencia de retroalimentación en la creación de este nuevo modelo. Tomó como ejemplo una plataforma diseñada en torno a las soluciones Confluent Kafka y MongoDB.
“CA-GIP alberga más del 80% de la producción del Grupo Crédit Agricole. Nuestros principales desafíos son asegurar la calidad de los servicios prestados, apoyar a las distintas entidades del grupo en sus proyectos y ser un socio estratégico de los negocios en la transformación digital”, recordó Julien Legrand en la introducción. Para apoyar estas diferentes misiones, CA-GIP ha optado por una organización en dos niveles. Por un lado, clusters próximos a comercios; por otro, fundamentos técnicos en diferentes campos, como la ciberdefensa, el lugar de trabajo digital o la nube, los devops y los datos, fundamento al que se adhiere Julien Legrand. “Nos encargamos de la construcción de ofertas de servicios, de brindar un catálogo al alcance de los arquitectos en los clusters y diferentes entidades empresariales”, resumió este último.
Industrialice el despliegue de soluciones complejas
El equipo de datos, al que pertenece Julien Legrand, se ha construido gradualmente desde 2018. Está organizado de acuerdo con un modelo ágil, con tres escuadrones y siete equipos de desarrollo, así como roles multifuncionales como administrador de datos, propietario de producto , un arquitecto o un ingeniero de trenes de lanzamiento. En total, el equipo tiene unas cuarenta personas. “Estamos organizados por producto: cada equipo de desarrollo es responsable de la creación y ejecución de su oferta”, dice Julien Legrand. Entre los productos se encuentran plataformas de big data como Cloudera, tecnologías NoSQL como MongoDB o Cassandra o incluso soluciones de transmisión de eventos como Confluent Kafka. Este modelo tiene como objetivo diseñar ofertas de servicios compartidos, capaces de dar respuesta a diferentes clientes. «Se trata de industrializar el despliegue de una solución técnica compleja, agregando un conjunto de herramientas para que el usuario final sea autónomo», explica Julien Legrand.
Para ello, los equipos están implementando pasos progresivos con el fin de construir y enriquecer las bases. Todo comienza con la identificación de una necesidad, que conduce al desarrollo de una lista de posibles soluciones, y luego a una elección entre ellas. Luego viene una fase de diseño e industrialización, en particular gracias a la plataforma de automatización Ansible. “Se trata de poder entregar cajas de arena a los clientes lo más rápido posible, para obtener un retorno. Buscamos adquirir certeza, saber si necesitamos ir más allá”, dice Julien Legrand. Si este es el caso, el equipo desplegará varias herramientas para brindar supervisión y monitoreo, proporcionar mecanismos de resiliencia y construir un modelo de derechos. Finalmente, el último paso es la producción de la base técnica, con una serie de requisitos previos para su integración en los entornos técnicos del grupo: contratos de servicios; «reglas de oro», conjuntos de reglas de configuración esenciales que deben respetarse para garantizar los SLA; suficiente documentación y APIs.
Pasar de una oferta de servicios a una plataforma de datos
A continuación, Julien Legrand presentó un ejemplo de una oferta de servicios basada en MongoDB, un sistema de gestión de bases de datos (DBMS) orientado a documentos. Esta oferta está disponible en dos versiones, para atender diferentes tipos de proyectos: en un caso, el cliente tiene acceso a un conjunto de réplicas compartidas, una opción económica y disponible de inmediato; en el otro, tiene un clúster dedicado a su aplicación, con licencia empresarial. Los beneficios de este enfoque basado en la oferta son de varios órdenes. Primero, ayuda a desarrollar experiencia dentro del equipo que construye la oferta, con un aumento en las habilidades y la capitalización del conocimiento de un proyecto a otro. Esto también agiliza la relación con el editor, cuyos arquitectos de soluciones adquieren así un buen conocimiento del entorno CA-GIP. Otra ventaja se observa durante el despliegue, el uso de Ansible facilitando y acelerando el establecimiento de clústeres. De igual manera, se optimiza la supervisión y el seguimiento. La centralización de herramientas evita aportar nuevas con cada nueva solución, permitiendo a los clientes encontrar coherencia entre las diferentes bases. «El objetivo es ofrecer al cliente todo lo que necesita para ejecutar su aplicación», destaca Julien Legrand. Las bases así diseñadas son también más utilizables. «Por ejemplo, en streaming, un escuadrón puede administrar fácilmente varios clústeres de Kafka», ilustra el líder del escuadrón. Sin embargo, algunos problemas persisten. «A veces es complicado operar una aplicación de manera homogénea, centralizando diferentes tableros», señala Julien Legrand. Asimismo, la implementación de modelos de derechos transversales, aplicables de una base a otra, sigue siendo un tema complejo. Finalmente, en cuanto a la planificación, es necesario identificar los puntos de atraque de clientes con las diferentes cuadrillas.
Para ir más allá, el equipo a cargo de la base de datos ahora busca construir plataformas de datos. “Ya no se trata solo de proporcionar un clúster o una oferta de servicios, sino de permitir el consumo de la base en un contexto más global”, explica Julien Legrand. Con esto en mente, el escuadrón de datos rápidos ha diseñado una plataforma en torno a las soluciones Kafka y MongoDB. Inicialmente, recupera datos sin procesar a través de agentes de datos Kafka de temas como servicio. Si es necesario, se puede realizar un procesamiento simple inicial en estos datos con ksqlDB. Luego, los datos se alimentan a un clúster de MongoDB a través de Kafka Connect, que también se puede usar para archivar o replicar. El clúster de MongoDB está en sharding para aumentar las capacidades de almacenamiento y así poder albergar varios terabytes de datos. Este clúster controla la mayoría de las transformaciones, ya sea a través de flujos de cambios para aplicaciones que realizan cambios inmediatos en los datos (la mayoría de los cuales se implementan en Kubernative, la plataforma de contenedores de CA-GIP) o a través de canalizaciones de agregación para el procesamiento en modo por lotes. Al final de la cadena, los datos pueden alimentar otras bases de datos analíticas, a las que se suman herramientas de ciencia de datos y MLOps como Dataiku.
Un modelo a aplicar en otros ámbitos
“Con esta plataforma, podemos confiar en MongoDB para alta disponibilidad, replicación nativa y otros aspectos clave”, enfatiza Julien Legrand. Su equipo ahora planea aplicar patrones similares de manera más intensiva para satisfacer las diferentes necesidades comerciales. «También estamos pensando en la malla de datos (arquitectura de datos descentralizada NDLR) para tener un conjunto de soluciones para abordar cada área», dice Julien Legrand para concluir.
Durante la feria Cap IT, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, entidad a cargo de la producción del grupo Crdit Agricole, explicó cómo su equipo implementa plataformas de datos compartidos. Un enfoque ilustrado con la presentación de una base diseñada en torno a las soluciones Confluent Kafka y MongoDB.
La Plataforma de Infraestructuras del Grupo Crédit Agricole (CA-GIP) es la entidad que gestiona la mayoría de las infraestructuras del grupo bancario Crédit Agricole. Su equipo de datos está desplegando gradualmente plataformas de datos para ofrecer bases tecnológicas compartidas para sus negocios. Con motivo de la exposición Cap IT, un evento sobre la transformación digital de la banca y los seguros que se celebró los días 23 y 24 de marzo de 2022, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, compartió su experiencia de retroalimentación en la creación de este nuevo modelo. Tomó como ejemplo una plataforma diseñada en torno a las soluciones Confluent Kafka y MongoDB.
“CA-GIP alberga más del 80% de la producción del Grupo Crédit Agricole. Nuestros principales desafíos son asegurar la calidad de los servicios prestados, apoyar a las distintas entidades del grupo en sus proyectos y ser un socio estratégico de los negocios en la transformación digital”, recordó Julien Legrand en la introducción. Para apoyar estas diferentes misiones, CA-GIP ha optado por una organización en dos niveles. Por un lado, clusters próximos a comercios; por otro, fundamentos técnicos en diferentes campos, como la ciberdefensa, el lugar de trabajo digital o la nube, los devops y los datos, fundamento al que se adhiere Julien Legrand. “Nos encargamos de la construcción de ofertas de servicios, de brindar un catálogo al alcance de los arquitectos en los clusters y diferentes entidades empresariales”, resumió este último.
Industrialice el despliegue de soluciones complejas
El equipo de datos, al que pertenece Julien Legrand, se ha construido gradualmente desde 2018. Está organizado de acuerdo con un modelo ágil, con tres escuadrones y siete equipos de desarrollo, así como roles multifuncionales como administrador de datos, propietario de producto , un arquitecto o un ingeniero de trenes de lanzamiento. En total, el equipo tiene unas cuarenta personas. “Estamos organizados por producto: cada equipo de desarrollo es responsable de la creación y ejecución de su oferta”, dice Julien Legrand. Entre los productos se encuentran plataformas de big data como Cloudera, tecnologías NoSQL como MongoDB o Cassandra o incluso soluciones de transmisión de eventos como Confluent Kafka. Este modelo tiene como objetivo diseñar ofertas de servicios compartidos, capaces de dar respuesta a diferentes clientes. «Se trata de industrializar el despliegue de una solución técnica compleja, agregando un conjunto de herramientas para que el usuario final sea autónomo», explica Julien Legrand.
Para ello, los equipos están implementando pasos progresivos con el fin de construir y enriquecer las bases. Todo comienza con la identificación de una necesidad, que conduce al desarrollo de una lista de posibles soluciones, y luego a una elección entre ellas. Luego viene una fase de diseño e industrialización, en particular gracias a la plataforma de automatización Ansible. “Se trata de poder entregar cajas de arena a los clientes lo más rápido posible, para obtener un retorno. Buscamos adquirir certeza, saber si necesitamos ir más allá”, dice Julien Legrand. Si este es el caso, el equipo desplegará varias herramientas para brindar supervisión y monitoreo, proporcionar mecanismos de resiliencia y construir un modelo de derechos. Finalmente, el último paso es la producción de la base técnica, con una serie de requisitos previos para su integración en los entornos técnicos del grupo: contratos de servicios; «reglas de oro», conjuntos de reglas de configuración esenciales que deben respetarse para garantizar los SLA; suficiente documentación y APIs.
Pasar de una oferta de servicios a una plataforma de datos
A continuación, Julien Legrand presentó un ejemplo de una oferta de servicios basada en MongoDB, un sistema de gestión de bases de datos (DBMS) orientado a documentos. Esta oferta está disponible en dos versiones, para atender diferentes tipos de proyectos: en un caso, el cliente tiene acceso a un conjunto de réplicas compartidas, una opción económica y disponible de inmediato; en el otro, tiene un clúster dedicado a su aplicación, con licencia empresarial. Los beneficios de este enfoque basado en la oferta son de varios órdenes. Primero, ayuda a desarrollar experiencia dentro del equipo que construye la oferta, con un aumento en las habilidades y la capitalización del conocimiento de un proyecto a otro. Esto también agiliza la relación con el editor, cuyos arquitectos de soluciones adquieren así un buen conocimiento del entorno CA-GIP. Otra ventaja se observa durante el despliegue, el uso de Ansible facilitando y acelerando el establecimiento de clústeres. De igual manera, se optimiza la supervisión y el seguimiento. La centralización de herramientas evita aportar nuevas con cada nueva solución, permitiendo a los clientes encontrar coherencia entre las diferentes bases. «El objetivo es ofrecer al cliente todo lo que necesita para ejecutar su aplicación», destaca Julien Legrand. Las bases así diseñadas son también más utilizables. «Por ejemplo, en streaming, un escuadrón puede administrar fácilmente varios clústeres de Kafka», ilustra el líder del escuadrón. Sin embargo, algunos problemas persisten. «A veces es complicado operar una aplicación de manera homogénea, centralizando diferentes tableros», señala Julien Legrand. Asimismo, la implementación de modelos de derechos transversales, aplicables de una base a otra, sigue siendo un tema complejo. Finalmente, en cuanto a la planificación, es necesario identificar los puntos de atraque de clientes con las diferentes cuadrillas.
Para ir más allá, el equipo a cargo de la base de datos ahora busca construir plataformas de datos. “Ya no se trata solo de proporcionar un clúster o una oferta de servicios, sino de permitir el consumo de la base en un contexto más global”, explica Julien Legrand. Con esto en mente, el escuadrón de datos rápidos ha diseñado una plataforma en torno a las soluciones Kafka y MongoDB. Inicialmente, recupera datos sin procesar a través de agentes de datos Kafka de temas como servicio. Si es necesario, se puede realizar un procesamiento simple inicial en estos datos con ksqlDB. Luego, los datos se alimentan a un clúster de MongoDB a través de Kafka Connect, que también se puede usar para archivar o replicar. El clúster de MongoDB está en sharding para aumentar las capacidades de almacenamiento y así poder albergar varios terabytes de datos. Este clúster controla la mayoría de las transformaciones, ya sea a través de flujos de cambios para aplicaciones que realizan cambios inmediatos en los datos (la mayoría de los cuales se implementan en Kubernative, la plataforma de contenedores de CA-GIP) o a través de canalizaciones de agregación para el procesamiento en modo por lotes. Al final de la cadena, los datos pueden alimentar otras bases de datos analíticas, a las que se suman herramientas de ciencia de datos y MLOps como Dataiku.
Un modelo a aplicar en otros ámbitos
“Con esta plataforma, podemos confiar en MongoDB para alta disponibilidad, replicación nativa y otros aspectos clave”, enfatiza Julien Legrand. Su equipo ahora planea aplicar patrones similares de manera más intensiva para satisfacer las diferentes necesidades comerciales. «También estamos pensando en la malla de datos (arquitectura de datos descentralizada NDLR) para tener un conjunto de soluciones para abordar cada área», dice Julien Legrand para concluir.
Durante la feria Cap IT, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, entidad a cargo de la producción del grupo Crdit Agricole, explicó cómo su equipo implementa plataformas de datos compartidos. Un enfoque ilustrado con la presentación de una base diseñada en torno a las soluciones Confluent Kafka y MongoDB.
La Plataforma de Infraestructuras del Grupo Crédit Agricole (CA-GIP) es la entidad que gestiona la mayoría de las infraestructuras del grupo bancario Crédit Agricole. Su equipo de datos está desplegando gradualmente plataformas de datos para ofrecer bases tecnológicas compartidas para sus negocios. Con motivo de la exposición Cap IT, un evento sobre la transformación digital de la banca y los seguros que se celebró los días 23 y 24 de marzo de 2022, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, compartió su experiencia de retroalimentación en la creación de este nuevo modelo. Tomó como ejemplo una plataforma diseñada en torno a las soluciones Confluent Kafka y MongoDB.
“CA-GIP alberga más del 80% de la producción del Grupo Crédit Agricole. Nuestros principales desafíos son asegurar la calidad de los servicios prestados, apoyar a las distintas entidades del grupo en sus proyectos y ser un socio estratégico de los negocios en la transformación digital”, recordó Julien Legrand en la introducción. Para apoyar estas diferentes misiones, CA-GIP ha optado por una organización en dos niveles. Por un lado, clusters próximos a comercios; por otro, fundamentos técnicos en diferentes campos, como la ciberdefensa, el lugar de trabajo digital o la nube, los devops y los datos, fundamento al que se adhiere Julien Legrand. “Nos encargamos de la construcción de ofertas de servicios, de brindar un catálogo al alcance de los arquitectos en los clusters y diferentes entidades empresariales”, resumió este último.
Industrialice el despliegue de soluciones complejas
El equipo de datos, al que pertenece Julien Legrand, se ha construido gradualmente desde 2018. Está organizado de acuerdo con un modelo ágil, con tres escuadrones y siete equipos de desarrollo, así como roles multifuncionales como administrador de datos, propietario de producto , un arquitecto o un ingeniero de trenes de lanzamiento. En total, el equipo tiene unas cuarenta personas. “Estamos organizados por producto: cada equipo de desarrollo es responsable de la creación y ejecución de su oferta”, dice Julien Legrand. Entre los productos se encuentran plataformas de big data como Cloudera, tecnologías NoSQL como MongoDB o Cassandra o incluso soluciones de transmisión de eventos como Confluent Kafka. Este modelo tiene como objetivo diseñar ofertas de servicios compartidos, capaces de dar respuesta a diferentes clientes. «Se trata de industrializar el despliegue de una solución técnica compleja, agregando un conjunto de herramientas para que el usuario final sea autónomo», explica Julien Legrand.
Para ello, los equipos están implementando pasos progresivos con el fin de construir y enriquecer las bases. Todo comienza con la identificación de una necesidad, que conduce al desarrollo de una lista de posibles soluciones, y luego a una elección entre ellas. Luego viene una fase de diseño e industrialización, en particular gracias a la plataforma de automatización Ansible. “Se trata de poder entregar cajas de arena a los clientes lo más rápido posible, para obtener un retorno. Buscamos adquirir certeza, saber si necesitamos ir más allá”, dice Julien Legrand. Si este es el caso, el equipo desplegará varias herramientas para brindar supervisión y monitoreo, proporcionar mecanismos de resiliencia y construir un modelo de derechos. Finalmente, el último paso es la producción de la base técnica, con una serie de requisitos previos para su integración en los entornos técnicos del grupo: contratos de servicios; «reglas de oro», conjuntos de reglas de configuración esenciales que deben respetarse para garantizar los SLA; suficiente documentación y APIs.
Pasar de una oferta de servicios a una plataforma de datos
A continuación, Julien Legrand presentó un ejemplo de una oferta de servicios basada en MongoDB, un sistema de gestión de bases de datos (DBMS) orientado a documentos. Esta oferta está disponible en dos versiones, para atender diferentes tipos de proyectos: en un caso, el cliente tiene acceso a un conjunto de réplicas compartidas, una opción económica y disponible de inmediato; en el otro, tiene un clúster dedicado a su aplicación, con licencia empresarial. Los beneficios de este enfoque basado en la oferta son de varios órdenes. Primero, ayuda a desarrollar experiencia dentro del equipo que construye la oferta, con un aumento en las habilidades y la capitalización del conocimiento de un proyecto a otro. Esto también agiliza la relación con el editor, cuyos arquitectos de soluciones adquieren así un buen conocimiento del entorno CA-GIP. Otra ventaja se observa durante el despliegue, el uso de Ansible facilitando y acelerando el establecimiento de clústeres. De igual manera, se optimiza la supervisión y el seguimiento. La centralización de herramientas evita aportar nuevas con cada nueva solución, permitiendo a los clientes encontrar coherencia entre las diferentes bases. «El objetivo es ofrecer al cliente todo lo que necesita para ejecutar su aplicación», destaca Julien Legrand. Las bases así diseñadas son también más utilizables. «Por ejemplo, en streaming, un escuadrón puede administrar fácilmente varios clústeres de Kafka», ilustra el líder del escuadrón. Sin embargo, algunos problemas persisten. «A veces es complicado operar una aplicación de manera homogénea, centralizando diferentes tableros», señala Julien Legrand. Asimismo, la implementación de modelos de derechos transversales, aplicables de una base a otra, sigue siendo un tema complejo. Finalmente, en cuanto a la planificación, es necesario identificar los puntos de atraque de clientes con las diferentes cuadrillas.
Para ir más allá, el equipo a cargo de la base de datos ahora busca construir plataformas de datos. “Ya no se trata solo de proporcionar un clúster o una oferta de servicios, sino de permitir el consumo de la base en un contexto más global”, explica Julien Legrand. Con esto en mente, el escuadrón de datos rápidos ha diseñado una plataforma en torno a las soluciones Kafka y MongoDB. Inicialmente, recupera datos sin procesar a través de agentes de datos Kafka de temas como servicio. Si es necesario, se puede realizar un procesamiento simple inicial en estos datos con ksqlDB. Luego, los datos se alimentan a un clúster de MongoDB a través de Kafka Connect, que también se puede usar para archivar o replicar. El clúster de MongoDB está en sharding para aumentar las capacidades de almacenamiento y así poder albergar varios terabytes de datos. Este clúster controla la mayoría de las transformaciones, ya sea a través de flujos de cambios para aplicaciones que realizan cambios inmediatos en los datos (la mayoría de los cuales se implementan en Kubernative, la plataforma de contenedores de CA-GIP) o a través de canalizaciones de agregación para el procesamiento en modo por lotes. Al final de la cadena, los datos pueden alimentar otras bases de datos analíticas, a las que se suman herramientas de ciencia de datos y MLOps como Dataiku.
Un modelo a aplicar en otros ámbitos
“Con esta plataforma, podemos confiar en MongoDB para alta disponibilidad, replicación nativa y otros aspectos clave”, enfatiza Julien Legrand. Su equipo ahora planea aplicar patrones similares de manera más intensiva para satisfacer las diferentes necesidades comerciales. «También estamos pensando en la malla de datos (arquitectura de datos descentralizada NDLR) para tener un conjunto de soluciones para abordar cada área», dice Julien Legrand para concluir.
Durante la feria Cap IT, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, entidad a cargo de la producción del grupo Crdit Agricole, explicó cómo su equipo implementa plataformas de datos compartidos. Un enfoque ilustrado con la presentación de una base diseñada en torno a las soluciones Confluent Kafka y MongoDB.
La Plataforma de Infraestructuras del Grupo Crédit Agricole (CA-GIP) es la entidad que gestiona la mayoría de las infraestructuras del grupo bancario Crédit Agricole. Su equipo de datos está desplegando gradualmente plataformas de datos para ofrecer bases tecnológicas compartidas para sus negocios. Con motivo de la exposición Cap IT, un evento sobre la transformación digital de la banca y los seguros que se celebró los días 23 y 24 de marzo de 2022, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, compartió su experiencia de retroalimentación en la creación de este nuevo modelo. Tomó como ejemplo una plataforma diseñada en torno a las soluciones Confluent Kafka y MongoDB.
“CA-GIP alberga más del 80% de la producción del Grupo Crédit Agricole. Nuestros principales desafíos son asegurar la calidad de los servicios prestados, apoyar a las distintas entidades del grupo en sus proyectos y ser un socio estratégico de los negocios en la transformación digital”, recordó Julien Legrand en la introducción. Para apoyar estas diferentes misiones, CA-GIP ha optado por una organización en dos niveles. Por un lado, clusters próximos a comercios; por otro, fundamentos técnicos en diferentes campos, como la ciberdefensa, el lugar de trabajo digital o la nube, los devops y los datos, fundamento al que se adhiere Julien Legrand. “Nos encargamos de la construcción de ofertas de servicios, de brindar un catálogo al alcance de los arquitectos en los clusters y diferentes entidades empresariales”, resumió este último.
Industrialice el despliegue de soluciones complejas
El equipo de datos, al que pertenece Julien Legrand, se ha construido gradualmente desde 2018. Está organizado de acuerdo con un modelo ágil, con tres escuadrones y siete equipos de desarrollo, así como roles multifuncionales como administrador de datos, propietario de producto , un arquitecto o un ingeniero de trenes de lanzamiento. En total, el equipo tiene unas cuarenta personas. “Estamos organizados por producto: cada equipo de desarrollo es responsable de la creación y ejecución de su oferta”, dice Julien Legrand. Entre los productos se encuentran plataformas de big data como Cloudera, tecnologías NoSQL como MongoDB o Cassandra o incluso soluciones de transmisión de eventos como Confluent Kafka. Este modelo tiene como objetivo diseñar ofertas de servicios compartidos, capaces de dar respuesta a diferentes clientes. «Se trata de industrializar el despliegue de una solución técnica compleja, agregando un conjunto de herramientas para que el usuario final sea autónomo», explica Julien Legrand.
Para ello, los equipos están implementando pasos progresivos con el fin de construir y enriquecer las bases. Todo comienza con la identificación de una necesidad, que conduce al desarrollo de una lista de posibles soluciones, y luego a una elección entre ellas. Luego viene una fase de diseño e industrialización, en particular gracias a la plataforma de automatización Ansible. “Se trata de poder entregar cajas de arena a los clientes lo más rápido posible, para obtener un retorno. Buscamos adquirir certeza, saber si necesitamos ir más allá”, dice Julien Legrand. Si este es el caso, el equipo desplegará varias herramientas para brindar supervisión y monitoreo, proporcionar mecanismos de resiliencia y construir un modelo de derechos. Finalmente, el último paso es la producción de la base técnica, con una serie de requisitos previos para su integración en los entornos técnicos del grupo: contratos de servicios; «reglas de oro», conjuntos de reglas de configuración esenciales que deben respetarse para garantizar los SLA; suficiente documentación y APIs.
Pasar de una oferta de servicios a una plataforma de datos
A continuación, Julien Legrand presentó un ejemplo de una oferta de servicios basada en MongoDB, un sistema de gestión de bases de datos (DBMS) orientado a documentos. Esta oferta está disponible en dos versiones, para atender diferentes tipos de proyectos: en un caso, el cliente tiene acceso a un conjunto de réplicas compartidas, una opción económica y disponible de inmediato; en el otro, tiene un clúster dedicado a su aplicación, con licencia empresarial. Los beneficios de este enfoque basado en la oferta son de varios órdenes. Primero, ayuda a desarrollar experiencia dentro del equipo que construye la oferta, con un aumento en las habilidades y la capitalización del conocimiento de un proyecto a otro. Esto también agiliza la relación con el editor, cuyos arquitectos de soluciones adquieren así un buen conocimiento del entorno CA-GIP. Otra ventaja se observa durante el despliegue, el uso de Ansible facilitando y acelerando el establecimiento de clústeres. De igual manera, se optimiza la supervisión y el seguimiento. La centralización de herramientas evita aportar nuevas con cada nueva solución, permitiendo a los clientes encontrar coherencia entre las diferentes bases. «El objetivo es ofrecer al cliente todo lo que necesita para ejecutar su aplicación», destaca Julien Legrand. Las bases así diseñadas son también más utilizables. «Por ejemplo, en streaming, un escuadrón puede administrar fácilmente varios clústeres de Kafka», ilustra el líder del escuadrón. Sin embargo, algunos problemas persisten. «A veces es complicado operar una aplicación de manera homogénea, centralizando diferentes tableros», señala Julien Legrand. Asimismo, la implementación de modelos de derechos transversales, aplicables de una base a otra, sigue siendo un tema complejo. Finalmente, en cuanto a la planificación, es necesario identificar los puntos de atraque de clientes con las diferentes cuadrillas.
Para ir más allá, el equipo a cargo de la base de datos ahora busca construir plataformas de datos. “Ya no se trata solo de proporcionar un clúster o una oferta de servicios, sino de permitir el consumo de la base en un contexto más global”, explica Julien Legrand. Con esto en mente, el escuadrón de datos rápidos ha diseñado una plataforma en torno a las soluciones Kafka y MongoDB. Inicialmente, recupera datos sin procesar a través de agentes de datos Kafka de temas como servicio. Si es necesario, se puede realizar un procesamiento simple inicial en estos datos con ksqlDB. Luego, los datos se alimentan a un clúster de MongoDB a través de Kafka Connect, que también se puede usar para archivar o replicar. El clúster de MongoDB está en sharding para aumentar las capacidades de almacenamiento y así poder albergar varios terabytes de datos. Este clúster controla la mayoría de las transformaciones, ya sea a través de flujos de cambios para aplicaciones que realizan cambios inmediatos en los datos (la mayoría de los cuales se implementan en Kubernative, la plataforma de contenedores de CA-GIP) o a través de canalizaciones de agregación para el procesamiento en modo por lotes. Al final de la cadena, los datos pueden alimentar otras bases de datos analíticas, a las que se suman herramientas de ciencia de datos y MLOps como Dataiku.
Un modelo a aplicar en otros ámbitos
“Con esta plataforma, podemos confiar en MongoDB para alta disponibilidad, replicación nativa y otros aspectos clave”, enfatiza Julien Legrand. Su equipo ahora planea aplicar patrones similares de manera más intensiva para satisfacer las diferentes necesidades comerciales. «También estamos pensando en la malla de datos (arquitectura de datos descentralizada NDLR) para tener un conjunto de soluciones para abordar cada área», dice Julien Legrand para concluir.
Durante la feria Cap IT, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, entidad a cargo de la producción del grupo Crdit Agricole, explicó cómo su equipo implementa plataformas de datos compartidos. Un enfoque ilustrado con la presentación de una base diseñada en torno a las soluciones Confluent Kafka y MongoDB.
La Plataforma de Infraestructuras del Grupo Crédit Agricole (CA-GIP) es la entidad que gestiona la mayoría de las infraestructuras del grupo bancario Crédit Agricole. Su equipo de datos está desplegando gradualmente plataformas de datos para ofrecer bases tecnológicas compartidas para sus negocios. Con motivo de la exposición Cap IT, un evento sobre la transformación digital de la banca y los seguros que se celebró los días 23 y 24 de marzo de 2022, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, compartió su experiencia de retroalimentación en la creación de este nuevo modelo. Tomó como ejemplo una plataforma diseñada en torno a las soluciones Confluent Kafka y MongoDB.
“CA-GIP alberga más del 80% de la producción del Grupo Crédit Agricole. Nuestros principales desafíos son asegurar la calidad de los servicios prestados, apoyar a las distintas entidades del grupo en sus proyectos y ser un socio estratégico de los negocios en la transformación digital”, recordó Julien Legrand en la introducción. Para apoyar estas diferentes misiones, CA-GIP ha optado por una organización en dos niveles. Por un lado, clusters próximos a comercios; por otro, fundamentos técnicos en diferentes campos, como la ciberdefensa, el lugar de trabajo digital o la nube, los devops y los datos, fundamento al que se adhiere Julien Legrand. “Nos encargamos de la construcción de ofertas de servicios, de brindar un catálogo al alcance de los arquitectos en los clusters y diferentes entidades empresariales”, resumió este último.
Industrialice el despliegue de soluciones complejas
El equipo de datos, al que pertenece Julien Legrand, se ha construido gradualmente desde 2018. Está organizado de acuerdo con un modelo ágil, con tres escuadrones y siete equipos de desarrollo, así como roles multifuncionales como administrador de datos, propietario de producto , un arquitecto o un ingeniero de trenes de lanzamiento. En total, el equipo tiene unas cuarenta personas. “Estamos organizados por producto: cada equipo de desarrollo es responsable de la creación y ejecución de su oferta”, dice Julien Legrand. Entre los productos se encuentran plataformas de big data como Cloudera, tecnologías NoSQL como MongoDB o Cassandra o incluso soluciones de transmisión de eventos como Confluent Kafka. Este modelo tiene como objetivo diseñar ofertas de servicios compartidos, capaces de dar respuesta a diferentes clientes. «Se trata de industrializar el despliegue de una solución técnica compleja, agregando un conjunto de herramientas para que el usuario final sea autónomo», explica Julien Legrand.
Para ello, los equipos están implementando pasos progresivos con el fin de construir y enriquecer las bases. Todo comienza con la identificación de una necesidad, que conduce al desarrollo de una lista de posibles soluciones, y luego a una elección entre ellas. Luego viene una fase de diseño e industrialización, en particular gracias a la plataforma de automatización Ansible. “Se trata de poder entregar cajas de arena a los clientes lo más rápido posible, para obtener un retorno. Buscamos adquirir certeza, saber si necesitamos ir más allá”, dice Julien Legrand. Si este es el caso, el equipo desplegará varias herramientas para brindar supervisión y monitoreo, proporcionar mecanismos de resiliencia y construir un modelo de derechos. Finalmente, el último paso es la producción de la base técnica, con una serie de requisitos previos para su integración en los entornos técnicos del grupo: contratos de servicios; «reglas de oro», conjuntos de reglas de configuración esenciales que deben respetarse para garantizar los SLA; suficiente documentación y APIs.
Pasar de una oferta de servicios a una plataforma de datos
A continuación, Julien Legrand presentó un ejemplo de una oferta de servicios basada en MongoDB, un sistema de gestión de bases de datos (DBMS) orientado a documentos. Esta oferta está disponible en dos versiones, para atender diferentes tipos de proyectos: en un caso, el cliente tiene acceso a un conjunto de réplicas compartidas, una opción económica y disponible de inmediato; en el otro, tiene un clúster dedicado a su aplicación, con licencia empresarial. Los beneficios de este enfoque basado en la oferta son de varios órdenes. Primero, ayuda a desarrollar experiencia dentro del equipo que construye la oferta, con un aumento en las habilidades y la capitalización del conocimiento de un proyecto a otro. Esto también agiliza la relación con el editor, cuyos arquitectos de soluciones adquieren así un buen conocimiento del entorno CA-GIP. Otra ventaja se observa durante el despliegue, el uso de Ansible facilitando y acelerando el establecimiento de clústeres. De igual manera, se optimiza la supervisión y el seguimiento. La centralización de herramientas evita aportar nuevas con cada nueva solución, permitiendo a los clientes encontrar coherencia entre las diferentes bases. «El objetivo es ofrecer al cliente todo lo que necesita para ejecutar su aplicación», destaca Julien Legrand. Las bases así diseñadas son también más utilizables. «Por ejemplo, en streaming, un escuadrón puede administrar fácilmente varios clústeres de Kafka», ilustra el líder del escuadrón. Sin embargo, algunos problemas persisten. «A veces es complicado operar una aplicación de manera homogénea, centralizando diferentes tableros», señala Julien Legrand. Asimismo, la implementación de modelos de derechos transversales, aplicables de una base a otra, sigue siendo un tema complejo. Finalmente, en cuanto a la planificación, es necesario identificar los puntos de atraque de clientes con las diferentes cuadrillas.
Para ir más allá, el equipo a cargo de la base de datos ahora busca construir plataformas de datos. “Ya no se trata solo de proporcionar un clúster o una oferta de servicios, sino de permitir el consumo de la base en un contexto más global”, explica Julien Legrand. Con esto en mente, el escuadrón de datos rápidos ha diseñado una plataforma en torno a las soluciones Kafka y MongoDB. Inicialmente, recupera datos sin procesar a través de agentes de datos Kafka de temas como servicio. Si es necesario, se puede realizar un procesamiento simple inicial en estos datos con ksqlDB. Luego, los datos se alimentan a un clúster de MongoDB a través de Kafka Connect, que también se puede usar para archivar o replicar. El clúster de MongoDB está en sharding para aumentar las capacidades de almacenamiento y así poder albergar varios terabytes de datos. Este clúster controla la mayoría de las transformaciones, ya sea a través de flujos de cambios para aplicaciones que realizan cambios inmediatos en los datos (la mayoría de los cuales se implementan en Kubernative, la plataforma de contenedores de CA-GIP) o a través de canalizaciones de agregación para el procesamiento en modo por lotes. Al final de la cadena, los datos pueden alimentar otras bases de datos analíticas, a las que se suman herramientas de ciencia de datos y MLOps como Dataiku.
Un modelo a aplicar en otros ámbitos
“Con esta plataforma, podemos confiar en MongoDB para alta disponibilidad, replicación nativa y otros aspectos clave”, enfatiza Julien Legrand. Su equipo ahora planea aplicar patrones similares de manera más intensiva para satisfacer las diferentes necesidades comerciales. «También estamos pensando en la malla de datos (arquitectura de datos descentralizada NDLR) para tener un conjunto de soluciones para abordar cada área», dice Julien Legrand para concluir.
Durante la feria Cap IT, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, entidad a cargo de la producción del grupo Crdit Agricole, explicó cómo su equipo implementa plataformas de datos compartidos. Un enfoque ilustrado con la presentación de una base diseñada en torno a las soluciones Confluent Kafka y MongoDB.
La Plataforma de Infraestructuras del Grupo Crédit Agricole (CA-GIP) es la entidad que gestiona la mayoría de las infraestructuras del grupo bancario Crédit Agricole. Su equipo de datos está desplegando gradualmente plataformas de datos para ofrecer bases tecnológicas compartidas para sus negocios. Con motivo de la exposición Cap IT, un evento sobre la transformación digital de la banca y los seguros que se celebró los días 23 y 24 de marzo de 2022, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, compartió su experiencia de retroalimentación en la creación de este nuevo modelo. Tomó como ejemplo una plataforma diseñada en torno a las soluciones Confluent Kafka y MongoDB.
“CA-GIP alberga más del 80% de la producción del Grupo Crédit Agricole. Nuestros principales desafíos son asegurar la calidad de los servicios prestados, apoyar a las distintas entidades del grupo en sus proyectos y ser un socio estratégico de los negocios en la transformación digital”, recordó Julien Legrand en la introducción. Para apoyar estas diferentes misiones, CA-GIP ha optado por una organización en dos niveles. Por un lado, clusters próximos a comercios; por otro, fundamentos técnicos en diferentes campos, como la ciberdefensa, el lugar de trabajo digital o la nube, los devops y los datos, fundamento al que se adhiere Julien Legrand. “Nos encargamos de la construcción de ofertas de servicios, de brindar un catálogo al alcance de los arquitectos en los clusters y diferentes entidades empresariales”, resumió este último.
Industrialice el despliegue de soluciones complejas
El equipo de datos, al que pertenece Julien Legrand, se ha construido gradualmente desde 2018. Está organizado de acuerdo con un modelo ágil, con tres escuadrones y siete equipos de desarrollo, así como roles multifuncionales como administrador de datos, propietario de producto , un arquitecto o un ingeniero de trenes de lanzamiento. En total, el equipo tiene unas cuarenta personas. “Estamos organizados por producto: cada equipo de desarrollo es responsable de la creación y ejecución de su oferta”, dice Julien Legrand. Entre los productos se encuentran plataformas de big data como Cloudera, tecnologías NoSQL como MongoDB o Cassandra o incluso soluciones de transmisión de eventos como Confluent Kafka. Este modelo tiene como objetivo diseñar ofertas de servicios compartidos, capaces de dar respuesta a diferentes clientes. «Se trata de industrializar el despliegue de una solución técnica compleja, agregando un conjunto de herramientas para que el usuario final sea autónomo», explica Julien Legrand.
Para ello, los equipos están implementando pasos progresivos con el fin de construir y enriquecer las bases. Todo comienza con la identificación de una necesidad, que conduce al desarrollo de una lista de posibles soluciones, y luego a una elección entre ellas. Luego viene una fase de diseño e industrialización, en particular gracias a la plataforma de automatización Ansible. “Se trata de poder entregar cajas de arena a los clientes lo más rápido posible, para obtener un retorno. Buscamos adquirir certeza, saber si necesitamos ir más allá”, dice Julien Legrand. Si este es el caso, el equipo desplegará varias herramientas para brindar supervisión y monitoreo, proporcionar mecanismos de resiliencia y construir un modelo de derechos. Finalmente, el último paso es la producción de la base técnica, con una serie de requisitos previos para su integración en los entornos técnicos del grupo: contratos de servicios; «reglas de oro», conjuntos de reglas de configuración esenciales que deben respetarse para garantizar los SLA; suficiente documentación y APIs.
Pasar de una oferta de servicios a una plataforma de datos
A continuación, Julien Legrand presentó un ejemplo de una oferta de servicios basada en MongoDB, un sistema de gestión de bases de datos (DBMS) orientado a documentos. Esta oferta está disponible en dos versiones, para atender diferentes tipos de proyectos: en un caso, el cliente tiene acceso a un conjunto de réplicas compartidas, una opción económica y disponible de inmediato; en el otro, tiene un clúster dedicado a su aplicación, con licencia empresarial. Los beneficios de este enfoque basado en la oferta son de varios órdenes. Primero, ayuda a desarrollar experiencia dentro del equipo que construye la oferta, con un aumento en las habilidades y la capitalización del conocimiento de un proyecto a otro. Esto también agiliza la relación con el editor, cuyos arquitectos de soluciones adquieren así un buen conocimiento del entorno CA-GIP. Otra ventaja se observa durante el despliegue, el uso de Ansible facilitando y acelerando el establecimiento de clústeres. De igual manera, se optimiza la supervisión y el seguimiento. La centralización de herramientas evita aportar nuevas con cada nueva solución, permitiendo a los clientes encontrar coherencia entre las diferentes bases. «El objetivo es ofrecer al cliente todo lo que necesita para ejecutar su aplicación», destaca Julien Legrand. Las bases así diseñadas son también más utilizables. «Por ejemplo, en streaming, un escuadrón puede administrar fácilmente varios clústeres de Kafka», ilustra el líder del escuadrón. Sin embargo, algunos problemas persisten. «A veces es complicado operar una aplicación de manera homogénea, centralizando diferentes tableros», señala Julien Legrand. Asimismo, la implementación de modelos de derechos transversales, aplicables de una base a otra, sigue siendo un tema complejo. Finalmente, en cuanto a la planificación, es necesario identificar los puntos de atraque de clientes con las diferentes cuadrillas.
Para ir más allá, el equipo a cargo de la base de datos ahora busca construir plataformas de datos. “Ya no se trata solo de proporcionar un clúster o una oferta de servicios, sino de permitir el consumo de la base en un contexto más global”, explica Julien Legrand. Con esto en mente, el escuadrón de datos rápidos ha diseñado una plataforma en torno a las soluciones Kafka y MongoDB. Inicialmente, recupera datos sin procesar a través de agentes de datos Kafka de temas como servicio. Si es necesario, se puede realizar un procesamiento simple inicial en estos datos con ksqlDB. Luego, los datos se alimentan a un clúster de MongoDB a través de Kafka Connect, que también se puede usar para archivar o replicar. El clúster de MongoDB está en sharding para aumentar las capacidades de almacenamiento y así poder albergar varios terabytes de datos. Este clúster controla la mayoría de las transformaciones, ya sea a través de flujos de cambios para aplicaciones que realizan cambios inmediatos en los datos (la mayoría de los cuales se implementan en Kubernative, la plataforma de contenedores de CA-GIP) o a través de canalizaciones de agregación para el procesamiento en modo por lotes. Al final de la cadena, los datos pueden alimentar otras bases de datos analíticas, a las que se suman herramientas de ciencia de datos y MLOps como Dataiku.
Un modelo a aplicar en otros ámbitos
“Con esta plataforma, podemos confiar en MongoDB para alta disponibilidad, replicación nativa y otros aspectos clave”, enfatiza Julien Legrand. Su equipo ahora planea aplicar patrones similares de manera más intensiva para satisfacer las diferentes necesidades comerciales. «También estamos pensando en la malla de datos (arquitectura de datos descentralizada NDLR) para tener un conjunto de soluciones para abordar cada área», dice Julien Legrand para concluir.
Durante la feria Cap IT, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, entidad a cargo de la producción del grupo Crdit Agricole, explicó cómo su equipo implementa plataformas de datos compartidos. Un enfoque ilustrado con la presentación de una base diseñada en torno a las soluciones Confluent Kafka y MongoDB.
La Plataforma de Infraestructuras del Grupo Crédit Agricole (CA-GIP) es la entidad que gestiona la mayoría de las infraestructuras del grupo bancario Crédit Agricole. Su equipo de datos está desplegando gradualmente plataformas de datos para ofrecer bases tecnológicas compartidas para sus negocios. Con motivo de la exposición Cap IT, un evento sobre la transformación digital de la banca y los seguros que se celebró los días 23 y 24 de marzo de 2022, Julien Legrand, líder del equipo de datos rápidos de CA-GIP, compartió su experiencia de retroalimentación en la creación de este nuevo modelo. Tomó como ejemplo una plataforma diseñada en torno a las soluciones Confluent Kafka y MongoDB.
“CA-GIP alberga más del 80% de la producción del Grupo Crédit Agricole. Nuestros principales desafíos son asegurar la calidad de los servicios prestados, apoyar a las distintas entidades del grupo en sus proyectos y ser un socio estratégico de los negocios en la transformación digital”, recordó Julien Legrand en la introducción. Para apoyar estas diferentes misiones, CA-GIP ha optado por una organización en dos niveles. Por un lado, clusters próximos a comercios; por otro, fundamentos técnicos en diferentes campos, como la ciberdefensa, el lugar de trabajo digital o la nube, los devops y los datos, fundamento al que se adhiere Julien Legrand. “Nos encargamos de la construcción de ofertas de servicios, de brindar un catálogo al alcance de los arquitectos en los clusters y diferentes entidades empresariales”, resumió este último.
Industrialice el despliegue de soluciones complejas
El equipo de datos, al que pertenece Julien Legrand, se ha construido gradualmente desde 2018. Está organizado de acuerdo con un modelo ágil, con tres escuadrones y siete equipos de desarrollo, así como roles multifuncionales como administrador de datos, propietario de producto , un arquitecto o un ingeniero de trenes de lanzamiento. En total, el equipo tiene unas cuarenta personas. “Estamos organizados por producto: cada equipo de desarrollo es responsable de la creación y ejecución de su oferta”, dice Julien Legrand. Entre los productos se encuentran plataformas de big data como Cloudera, tecnologías NoSQL como MongoDB o Cassandra o incluso soluciones de transmisión de eventos como Confluent Kafka. Este modelo tiene como objetivo diseñar ofertas de servicios compartidos, capaces de dar respuesta a diferentes clientes. «Se trata de industrializar el despliegue de una solución técnica compleja, agregando un conjunto de herramientas para que el usuario final sea autónomo», explica Julien Legrand.
Para ello, los equipos están implementando pasos progresivos con el fin de construir y enriquecer las bases. Todo comienza con la identificación de una necesidad, que conduce al desarrollo de una lista de posibles soluciones, y luego a una elección entre ellas. Luego viene una fase de diseño e industrialización, en particular gracias a la plataforma de automatización Ansible. “Se trata de poder entregar cajas de arena a los clientes lo más rápido posible, para obtener un retorno. Buscamos adquirir certeza, saber si necesitamos ir más allá”, dice Julien Legrand. Si este es el caso, el equipo desplegará varias herramientas para brindar supervisión y monitoreo, proporcionar mecanismos de resiliencia y construir un modelo de derechos. Finalmente, el último paso es la producción de la base técnica, con una serie de requisitos previos para su integración en los entornos técnicos del grupo: contratos de servicios; «reglas de oro», conjuntos de reglas de configuración esenciales que deben respetarse para garantizar los SLA; suficiente documentación y APIs.
Pasar de una oferta de servicios a una plataforma de datos
A continuación, Julien Legrand presentó un ejemplo de una oferta de servicios basada en MongoDB, un sistema de gestión de bases de datos (DBMS) orientado a documentos. Esta oferta está disponible en dos versiones, para atender diferentes tipos de proyectos: en un caso, el cliente tiene acceso a un conjunto de réplicas compartidas, una opción económica y disponible de inmediato; en el otro, tiene un clúster dedicado a su aplicación, con licencia empresarial. Los beneficios de este enfoque basado en la oferta son de varios órdenes. Primero, ayuda a desarrollar experiencia dentro del equipo que construye la oferta, con un aumento en las habilidades y la capitalización del conocimiento de un proyecto a otro. Esto también agiliza la relación con el editor, cuyos arquitectos de soluciones adquieren así un buen conocimiento del entorno CA-GIP. Otra ventaja se observa durante el despliegue, el uso de Ansible facilitando y acelerando el establecimiento de clústeres. De igual manera, se optimiza la supervisión y el seguimiento. La centralización de herramientas evita aportar nuevas con cada nueva solución, permitiendo a los clientes encontrar coherencia entre las diferentes bases. «El objetivo es ofrecer al cliente todo lo que necesita para ejecutar su aplicación», destaca Julien Legrand. Las bases así diseñadas son también más utilizables. «Por ejemplo, en streaming, un escuadrón puede administrar fácilmente varios clústeres de Kafka», ilustra el líder del escuadrón. Sin embargo, algunos problemas persisten. «A veces es complicado operar una aplicación de manera homogénea, centralizando diferentes tableros», señala Julien Legrand. Asimismo, la implementación de modelos de derechos transversales, aplicables de una base a otra, sigue siendo un tema complejo. Finalmente, en cuanto a la planificación, es necesario identificar los puntos de atraque de clientes con las diferentes cuadrillas.
Para ir más allá, el equipo a cargo de la base de datos ahora busca construir plataformas de datos. “Ya no se trata solo de proporcionar un clúster o una oferta de servicios, sino de permitir el consumo de la base en un contexto más global”, explica Julien Legrand. Con esto en mente, el escuadrón de datos rápidos ha diseñado una plataforma en torno a las soluciones Kafka y MongoDB. Inicialmente, recupera datos sin procesar a través de agentes de datos Kafka de temas como servicio. Si es necesario, se puede realizar un procesamiento simple inicial en estos datos con ksqlDB. Luego, los datos se alimentan a un clúster de MongoDB a través de Kafka Connect, que también se puede usar para archivar o replicar. El clúster de MongoDB está en sharding para aumentar las capacidades de almacenamiento y así poder albergar varios terabytes de datos. Este clúster controla la mayoría de las transformaciones, ya sea a través de flujos de cambios para aplicaciones que realizan cambios inmediatos en los datos (la mayoría de los cuales se implementan en Kubernative, la plataforma de contenedores de CA-GIP) o a través de canalizaciones de agregación para el procesamiento en modo por lotes. Al final de la cadena, los datos pueden alimentar otras bases de datos analíticas, a las que se suman herramientas de ciencia de datos y MLOps como Dataiku.
Un modelo a aplicar en otros ámbitos
“Con esta plataforma, podemos confiar en MongoDB para alta disponibilidad, replicación nativa y otros aspectos clave”, enfatiza Julien Legrand. Su equipo ahora planea aplicar patrones similares de manera más intensiva para satisfacer las diferentes necesidades comerciales. «También estamos pensando en la malla de datos (arquitectura de datos descentralizada NDLR) para tener un conjunto de soluciones para abordar cada área», dice Julien Legrand para concluir.
