エレメント、人気のあるデータに基づいてデータプラットフォームを構築しているスタートアップです。 ダグスターオーケストレーターは本日、Georgianが主導するシリーズBラウンドで3,300万ドルを調達したことを発表しました。 このラウンドには、新規投資家の 8VC と Human Capital に加え、既存の投資家 Sequoia、Index、Amplify、Hanover、Slow も参加しました。 新しいラウンドにより、同社の総資金は 4,880万ドル。
よくあることですが、Dagster の創設者 Nick Schrock も Facebook で長年勤務した後、Elementl を設立し、そこで GraphQL を共同作成しました。 シュロック氏は現在同社の最高技術責任者（CTO）兼会長を務めており、フェイスブックの元同僚ピート・ハント氏が現在同社の最高経営責任者（CEO）を務めている。 ハント氏が私に語ったところによると、彼は2017年のシードラウンドの一環としてElementlに投資しており、主にシュロックへの賭けとして投資していたという。 Hunt 氏は、その時点では Dagster の価値提案を実際には理解していなかった、と認めましたが、Facebook でさらに多くのデータ問題に取り組み、その後、彼が共同設立し、後に Twitter に売却した不正行為防止サービスである Smyte でさらに多くのデータ問題に取り組むうちに、より優れたデータオーケストレーションの必要性が彼にはすぐに明らかになりました。
画像クレジット: エレメント
「ソーシャルメディアの投稿を削除するだけでなく、誰が住宅ローンを組むかなど、非常に重大な決定を下す大規模で複雑なデータパイプラインがあることに気づきました。 ある程度の規模に達すれば、どの企業もデータ企業となり、どの企業もデータ プラットフォームを持っています」とハント氏は語った。 これは、データ パイプラインの管理が多くの企業にとって最大の課題の 1 つであることも意味します。
Apache エアフロー は依然としてこれらのパイプラインを構築するための最も人気のあるツールの 1 つです (そしてそれに賭けているスタートアップはたくさんあります) が、Schrock はクラウド、DevOps、コンテナーの世界に最適化された、より最新のシステムを構築しようとしていました。 しかし、チームはデータ パイプラインを高レベルの観点から再検討しました。 「これまで人々がデータ パイプラインを構築してきた方法は、タスクの観点から考えるというものでした。 したがって、ステップ A からステップ B に進み、次にステップ C を実行します。これらのステップ内では、彼らは何でも行うことができますが、実際にはわかりません。彼らは、皆さんが予期しない方法でデータベースに書き込む可能性があり、皆さんにはそれを行う方法がありません。それを制御するか、そのステップへの可観測性を持たせるかです」とハント氏は説明した。
画像クレジット: エレメント
Elementl は、いわゆるデータ資産 (データ ウェアハウス内のテーブルやデータ レイクにあるファイルなど) を中心にこれを再考しました。 そのため、Elementl (および Dagster) はタスクを中心的な抽象概念として考えるのではなく、データ資産に焦点を当てます。 「資産という概念をシステムの中核に据えることで、組織内のすべてのデータ資産と、それに関連付けられたすべてのメタデータとともに、それが経験したすべての状態遷移の台帳を取得できます。 これは開発者が好むメンタル モデルです」とハント氏は言います。
Dagster が Apache Airflow などの十分にテストされたツールと競合することを考えると、Dagster は大規模な組織でも適切に機能する必要があり、また、合法的なオープンソース プロジェクトである必要もあります。 ほとんどのオープンソースの新興企業と同様に、同社は商用製品を構築する際に、シングル サインオン、ロールベースのアクセス、チームのサポートなどのエンタープライズ機能をオープンソース プロジェクトの上に重ねています。 そして、Airflow が非常に人気があるため、チームは最近、 ツールを起動しました これにより、現在の Airflow ユーザーは、Dagster 上で Airflow 用に作成されたデータ パイプラインを実行できるようになります。
同社によれば、昨年を通じて、Dagster を使用するアクティブなプロジェクトの数は 3 倍に増加し、Dagster を取り巻くオープンソース コミュニティ全体も同様に増加しました。 現在、DoorDash、Flexport、Aritzia などの企業が実稼働環境で Dagster を使用しています。
「Dagster は、データ エンジニアリングにおける最も要求の厳しいユースケースをサポートしながら、革新的な開発者エクスペリエンスを提供するためにゼロから構築されました。 当社の独自の抽象化と資産優先のアプローチはデータ実務家の共感を呼んでおり、この展開が見られます。
私たちの主要な成長指標に含まれています」とシュロック氏は述べました。
同社は、新たな資金のほとんどを市場開拓組織の構築に使用する予定です。
「当社の研究開発チームは、この分野のソリューションを評価した後、1 年以上前にデータ オーケストレーションに Dagster を採用しました。 私たちは、Dagster が当社のエンジニアリング チームの生産性をいかに加速させ、実稼働グレードのデータ パイプラインを効率的に出荷する能力に感銘を受けました。」 ジョージアンの筆頭投資家エミリー・ウォルシュ氏は語った。