Databricks lance Lakehouse//RT pour l’analytique en quasi-temps réel
Databricks a récemment dévoilé la bêta privée de Lakehouse//RT, une nouvelle solution d’analytique en quasi-temps réel, s’appuyant sur un moteur propriétaire nommé Reyden. Cette annonce s’inscrit dans le cadre de l’architecture LTAP, qui repose sur LakeBase, une distribution de PostgreSQL.
Depuis 2020, les utilisateurs peuvent interroger les données du Lakehouse à l’aide de trois moteurs analytiques, dont Photon, un moteur vectorisé conçu pour le Warehouse SQL, et Tungsten, un dérivé d’Apache Spark. Lakehouse//RT, quant à lui, promet des performances élevées, supportant jusqu’à 12 000 requêtes par seconde, avec des tests indiquant même un maximum de 16 000 requêtes. Le temps de réponse serait inférieur à 100 ms pour des ensembles de données importants.
Les benchmarks réalisés avec TPC-H et TPC-DS ont placé Databricks en tête, notamment face à ClickHouse et Snowflake. Les ingénieurs ont également mentionné Vertica comme une référence dans le domaine de l’accélération des requêtes BI.
Les algorithmes sous-jacents à Lakehouse//RT sont formés sur une vaste base de données, permettant une intégration efficace des diverses informations. Cependant, les performances pour les requêtes plus complexes restent à améliorer. Alors que Lakehouse//RT est efficace pour les requêtes faiblement à moyennement complexes, des efforts de développement sont nécessaires pour atteindre une couverture équivalente à celle de Spark.
Pour l’instant, Lakehouse//RT est proposé en bêta privée avec une réduction de 30 % sur les frais jusqu’en janvier 2027.
Source : LeMagIT
