データは、ビデオ レコメンデーション エンジンやデジタル バンキングから急成長する AI 革命まで、あらゆるものを支える世界最大のリソースの 1 つとして浮上しています。 しかし、データがデータベースからデータ ウェアハウス、データ レイクなどの場所にますます分散するようになっている世界では、リアルタイム シナリオで使用するためにすべてのデータを互換性のある形式に結合することは、膨大な作業になる可能性があります。
文脈上、即時のリアルタイム データ アクセスを必要としないアプリケーションは、固定間隔でデータをまとめてバッチ処理するだけで済みます。 このいわゆる「一括データ処理」は、毎月の売上データの処理などに役立ちます。 しかし、多くの場合、会社 意思 作成されたデータにリアルタイムでアクセスする必要があります。これは、たとえば、すべての販売に関する最新情報に依存する顧客サポート ソフトウェアにとって極めて重要です。 他の場所では、配車アプリも、乗客とドライバーをつなぐためにあらゆる種類のデータ ポイントを処理する必要があります。これは、数日待つことができるものではありません。 この種のシナリオでは、リアルタイム アクセスのためにデータを収集して結合する「ストリーム データ処理」と呼ばれるものが必要です。これは、構成がはるかに複雑です。
そして、これは ドーザー は、プラグ アンド プレイ データ インフラストラクチャ バックエンドを介して任意のソースから直接高速な読み取り専用 API を提供することで、対処しようとしています。
手仕事のドーザー ヴィヴェック・グダプリ と マッテオ・ペラティは、ほぼ 1 年前にシンガポールを拠点として会社を設立しました。 この 2 人は、アジアと東ヨーロッパ全体に 10 人の分散型チームを構築し、現在の製品を超えて拡張する準備を進めています。 利用可能なソース (つまり、完全にオープン ソースではない) 化身であり、完全に収益化可能な製品です。
Dozer は少数の非公開のデザイン パートナーとその製品をテストしてきましたが、今日では開発者がアクセスできるステルス状態から抜け出しています。 同社はまた、シード資金で 300 万ドルを調達したことも明らかにしました。 セコイア・キャピタル・インディア、Google の 勾配ベンチャーズ、 うねり、 と 1月の首都.
Dozer の共同設立者 Matteo Pelati と Vivek Gudapuri 画像クレジット：ドーザー
分散
ストリーミング データベースや、 アパッチフリンク、AirbyteおよびFivetran; Redis などの一時的なデータ ストレージのキャッシュ レイヤー。 また、Hasura や Supabase などを利用したインスタント API を使用して、システム間でデータを転送します。
Dozer は、これらのさまざまなカテゴリすべてで機能し、最良の部分と見なされるものを採用し、リアルタイム データ アプリを支えるインフラストラクチャと配管の構築に伴う摩擦を取り除きます。
ユーザーは、データベース、データ ウェアハウス、データ レイクを含む既存のデータ スタックに Dozer を接続します。Dozer は、リアルタイムのデータ抽出、キャッシング、インデックス作成を処理し、低レイテンシ API を介してデータを表示します。 そのため、Airbyte や Fivetran のようなものがデータ ウェアハウスにデータを入れるのに役立つのに対し、Dozer は反対側に焦点を当てています。「このデータを最も効率的な方法でアクセスできるようにする」ことです。Gudapuri は TechCrunch に説明しました。
グダプリ氏は、ドーザーは「独断的なアプローチ」を採用しており、非常に具体的な問題に取り組むだけで、それ以上のことはしないと述べています。 たとえば、既存のストリーミング データベースは、単一の製品でリアルタイムのデータ更新と API を提供するという Dozer が提供するものをはるかに超える多くの問題を解決します。
「私たちは、開発者に迅速なビルド体験とすぐに使えるパフォーマンスを提供するために、これらの各カテゴリで適切な量の問題を解決します」と Gudapuri 氏は述べています。 「開発者は（現在）同じことを達成するためにいくつかのツールを統合する必要があります。」
例として、既存のストリーミング データベースはおそらく、クエリ エンジン、データ探索、OLAP (オンライン分析処理）、 等々。 Dozer は意図的にこれらの機能を提供せず、Pelati 氏が SQL、Python、JavaScript を使用して「事前計算されたビュー」と呼んでいるものに焦点を当てており、すべて低レイテンシでアクセスできます。 gRPC と 休み API。
そのため、Pelati 氏によると、Dozer はデータクエリのレイテンシーの改善を約束できるとのことです。
「これらの設計上の選択により、Dozer は、顧客向けアプリケーションに必要な、はるかに優れたクエリ レイテンシを提供します」と Pelati 氏は述べています。 「1 人の開発者がデータ アプリ全体を数分でスピンアップできますが、これには通常数か月かかる作業が必要です。 チームは複数の統合を構築して維持する必要がないため、時間と費用を節約できます。」
(完全ではない) オープンソース要因
Dozer は「オープンソース」プラットフォームとしてもてはやされていますが、 GitHub のライセンス を使用していることを明らかにします。 エラスティック ライセンス 2.0 (ELv2)、まったく同じライセンスのエンタープライズ検索会社 Elastic 2年前に採用 その移行の一環として あちらへ 真のオープンソースから。 実際、Elastic ライセンスは オープンソースとして認められていない、サード パーティがソフトウェアを取得し、それをホスト サービスまたはマネージド サービスとして提供することを防止するためです。
より正確には、ELv2 は「ソースが利用可能な」ライセンスと呼ぶことができます。これは事実上、より寛容なオープン ソース ライセンスの多くの利点を提供することを意味します。 MITなど、コードベースの透過性、Dozer の機能を拡張する機能、または機能を微調整してバグを修正する機能を含みます。 これだけで、あらゆる規模の企業の心をつかむのに十分でしょう。ただし、AWS やその他のクラウド ジャイアントが Dozer で直接収益化しようとしている場合を除きます。
ただし、同社は「すぐに」デュアルライセンスに切り替えるつもりであると述べ、コアドーザープロジェクトのすべてが MIT-「1 つのコア モジュール」を除いてライセンスされます。 さらに、同社は、すべてのクライアント ライブラリが既に MIT ライセンスを取得していることを強調しています。 パイソン、 反応する、 と JavaScript.
Dozer が取り組んでいるものと同様の問題を解決するために、一部の企業が内部ツールを独自に作成していることは注目に値します。 ブルドーザーを作ったNetflix 数年前。 特に、ブルドーザーの背後にある主要なクリエイターの 1 人である、 イオアニス・パパパナギトウ、現在はドーザーのアドバイザーとして働いています。
Dozer はまだ初期の段階ですが、多数の著名な支援者から銀行に 300 万ドルの資金が提供されているため、同社は商用化に向けてかなりの資金を持っています。アドオン機能。 Gudapuri は、これが今後数か月以内に公開される予定であると述べました。
「ホストされたサービスは、自動スケーリング、即時展開、セキュリティ、コンプライアンス、レート制限、およびいくつかの追加機能を処理します」と Gudapuri 氏は述べています。