レイヤー

HERE platform では、バージョン管理、揮発性、インデックス、ストリーム、オブジェクトストア、およびインタラクティブマップのデータレイヤーのタイプがサポートされています。

バージョニング、揮発性、インデックス、およびストリームタイプのレイヤーは、特定のデータ型、機能プロパティ、および構造のパーティションのセットです。 レイヤーを使用して、セマンティックに基づいてデータをセグメント化できます。 たとえば、カタログでは、道路標識のための 1 つのレイヤーと、道路トポロジーのための別のレイヤーを持つことができます。 レイヤーを使用して、スキーマに基づいてデータをセグメント化することもできます。 レイヤーを空間的に重ねて、完全なデジタル地図を作成できます。

オブジェクトストアタイプのレイヤーは、データ構造を強制しない汎用のキー / 値ストアです。

メモ

バージョン管理されたレイヤー

バージョン付レイヤーは、ゆっくりと変化するデータを保存します。このデータは、カタログ内の他のレイヤーと論理的に整合性を保つ必要があります。 バージョン管理されたレイヤーのカタログを更新する場合は、更新に関連するすべてのレイヤー(およびレイヤー内のパーティション)を 1 つのパブリケーションで更新して、それらのレイヤーを一緒にバージョン管理できるようにする必要があります。 たとえば、 HERE Map Content カタログには、トポロジ ( 道路トポロジ ) 、道路 ( 道路の属性 ) 、および場所 ( 関心のある地点 ) を含む複数のバージョン管理されたレイヤーが含まれています。 カタログの各バージョンでは、これらのレイヤーはその時点での世界の一貫したビューを表します。 新しい道路が建設され、新しい道路沿いに新しい事業所を含む新しい建物がある場合、カタログの新しいバージョンでトポロジレイヤーに新しい道路が含まれるように、 3 つのすべてのレイヤーを 1 つのパブリケーションで更新する必要があります。 Road レイヤーには新しい道路の属性が含まれ、 Place レイヤーには新しいビジネスの名前が含まれます。 配置レイヤーのみを新しいビジネスで更新する場合、トポロジレイヤーとロードレイヤーに新しい道路がないため、レイヤーは世界の一貫したビューを表すものではなくなります。

レイヤー間で整合性を保つには、複数のレイヤーに影響を与える更新内容を 1 つのパブリケーションでまとめて公開する必要があります。 バージョン付レイヤーの複数のパーティションの更新は、レイヤー内およびレイヤー間の参照の整合性と整合性を維持するために、パブリケーションでも行われます。 新しいカタログバージョンは、すべてのレイヤーが更新され、パブリケーションがファイナライズされた場合にのみ使用できます。

メモ

出版物が、世界を正確に表現する一貫したレイヤーのセットになるようにするのは、データ出版業者の責任です。 HERE platform データ処理ライブラリのバージョンレイヤーに一貫したコンテンツを作成するための広範なサポートが提供されています。 データ プロセッシング ライブラリの検証モジュールを使用すると、ワークスペースでバージョン管理されたデータレイヤーをテストできます。 データ プロセッシング ライブラリを使用するには、 HERE Workspace プランが必要です。

目的のバージョンを参照することで、異なる時点に存在していたデータにアクセスできます。 バージョンが公開されると、そのバージョンのデータは変更できず、カタログバージョン全体を削除することによってのみ削除できます。 バージョン内のデータは変更できず、整合性がありません。

データのバージョン管理方法

データが公開される前のカタログの初期バージョンは -1 です。 バージョン付レイヤー内のデータが更新された場合 :

  • カタログのバージョンが 1 ずつ増加します
  • パブリケーションで更新されたすべてのレイヤーおよびパーティションのバージョンが、新しいカタログバージョンに合わせて更新されます
  • 更新されていないすべてのレイヤーおよびパーティションには、既存のバージョン番号が保持されます

更新されたレイヤーおよびパーティションのみが、カタログの新しいバージョン番号に更新されます。 したがって、レイヤーまたはパーティションのバージョンは、そのレイヤーまたはパーティションが最後に更新されたカタログのバージョンを表します。

バージョンを要求しています

バージョン付レイヤーから特定のバージョンのデータを要求すると、返されたパーティションのバージョン番号が、要求したものよりも小さい場合があります。 次の例は、この概念を示しています。

異なるカタログバージョンで返されたパーティションバージョンの例を示す画像
図 1. 異なるカタログバージョンで返されたパーティションバージョンの例を示す画像

赤い矢印は、特定のバージョンからのデータに対するリクエストを示します。 線に沿ったドットは、時間の経過に伴うパーティションへの変更を表します。 パーティションは、カタログバージョン 1 、 12 、 24 、 27 、 35 で更新されました。 42 、 48 。 現在のカタログバージョンは 56 です。

次の表に、異なるカタログバージョンへのリクエストについて返されるパーティションのバージョンを示します。

要求されたバージョン パーティションバージョン
5 1
15 12
23 12
32 27
35 35
50 48

揮発性レイヤー

ボラタイル レイヤーはキー / 値ストアで、特定のキーの値を変更でき、最新の値のみを取得できます。 新しいデータが公開されると、古いデータが上書きされます。

揮発性レイヤーは、メモリ内のストレージを使用します。 データをメモリに保存することで、データアクセスの遅延を削減し、一貫して高いスループットをアプリケーションに提供できます。

古いバージョンのデータが不要な場合は、ボラタイル レイヤーの使用を検討してください。 たとえば、最新の気象情報を利用できるようにする場合は、ボラタイル レイヤーを使用して最新の観測を保存できます。 新しい気象観測がレイヤーに書き込まれると、古い気象観測が上書きされ、データ利用者が最新の観測のみを利用できるようになります。

ボラタイル レイヤーのもう 1 つの用途は、高速な応答時間と一貫した高スループットを必要とするアプリケーションのキャッシュです。 複雑で時間のかかる計算を実行する場合は、後で使用できるように計算結果をキャッシュすることが重要です。 頻繁にアクセスされる値を正しくキャッシュすると、クラウド内のコンポーネントの REST の負荷が軽減されるだけでなく、同じデータを要求する他のクライアントへの応答速度も向上します。 たとえば、クライアント アプリケーションが複雑なクエリを実行する場合、 5 つの異なるバージョンレイヤーからデータを取得し、データを並べ替え、データを照合し、データの統計分析を実行して最適化されたパラメーターを計算する必要があります。 別のクライアントが同じクエリーを要求する可能性が高い場合は、この複雑なクエリーの結果がボラタイル レイヤーでキャッシュする適切な候補になります。 このようにすると、同じリクエストを送信した場合に、数百万のクライアントが高速な応答時間からメリットを得ることができます。 同時に、バージョン管理されたレイヤーおよびパイプラインの負荷が大幅に削減されます。

レイヤーをインデックス化します

インデックス レイヤーは、バッチ処理に最適化された方法でメタデータおよびデータのインデックス作成と保存を行うことができる、総合的なソリューションの一部です。 インデックス レイヤー自体は、名前が示すように、後でクエリできる属性によるカタログのデータのインデックスです。 たとえば、バッチ処理を毎日実行して、特定の都市を囲む領域でその日に記録されたすべての路面状況検知イベントを検索する場合、インデックス レイヤーを使用して、イベント時間、イベントタイプ、および場所ごとに路面状況検知イベントのインデックスを作成できます。 バッチ処理の一部として、都市部でのプールイベントのデータを 24 時間ごとにクエリできます。 インデックスレイヤーは、イベントが発生した場所や時間とともに路面状況の属性を簡単に保存するために必要な柔軟なソリューションを提供します。

バージョン管理されたレイヤーと同様に、インデックスレイヤーは履歴データにアクセスする場合に役立ちます。 違いは、バージョン管理されたレイヤーのようにレイヤーのバージョン間で論理的な整合性を維持する必要がない場合に、インデックス レイヤーを使用できることです。 もう 1 つの違いは、データのインデックス付けとクエリを行う独自の属性を定義できることです。一方、バージョン管理されたレイヤーでは独自の属性を定義できません。

インデックス レイヤーをパイプラインと組み合わせて使用すると、イベント時間ごとに遅延イベントを追加および取得できます。 遅延イベントを適切に処理する機能は、エンド ユーザーデバイスがオンラインまたはオフラインのさまざまな時間帯に送信される場合、および送信されるデータのバッチに、すでに受信されている他のイベントとの適切なインデックス付けが必要な、さまざまなタイムスタンプを持つイベントが含まれる場合に重要です。 インデックス レイヤーは、ストリーム パイプラインではなく、バッチ パイプラインへの入力としてのみ使用できます。 インデックス レイヤーは、バッチまたはストリーム パイプラインのいずれかによってに書き込むことができます。

インデックスレイヤーは、 SDK で利用できる Data Archiving ライブラリと組み合わせて使用できます。 Data Archiving ライブラリの詳細については、次のサイトを参照してください。

Data Archiving ライブラリ開発者ガイド(データアーカイブサービス)。

ストリーム レイヤー

ストリーム レイヤーは、データをリアルタイムでデータ利用者にストリーム配信するキューです。 消費者は、キューに追加された順序でデータを読み取ります。 消費者がデータを読み取ると、その消費者はデータを利用できなくなりますが、データは他の消費者が利用できます。

ストリームレイヤーには保持時間または存続可能時間 (TTL) を設定できます。この設定を行うと、指定した期間が経過した後に消費されていないデータが削除されます。

ストリーム レイヤーの使用例としては、車両センサからのデータを処理することが挙げられます。

オブジェクトストアのレイヤー

オブジェクト ストア レイヤーはオブジェクト / ファイルシステムストレージソリューションで、 HERE platform 独自のパーティション分割を行うことなく、生のデータオブジェクトを HERE に保存できます。

オブジェクト ストア レイヤーは、分散型で耐久性に優れたキー / 値ストアで、キー一覧表を作成する機能が追加されています。 キーを参照してデータをアップロードできます。 新しいデータを同じキーにアップロードすることで、そのデータを上書きできます。 キーを使用してデータを削除することもできます。

メモ

  • データは変更可能で、同じキーへの並列書き込みが許可されます。 並列書き込みの場合、サーバーに最後に保存されたアップロードが優先されます。つまり、コードはクライアント側でこの状況を想定して処理できるようにする必要があります。
  • オブジェクトストアは真のファイルシステムではありません。 ファイルシステムでは、削除や名前の変更などの操作がアトミックであることが想定されています。 オブジェクトストアの場合、これらの操作は最終的に完了します。 ファイルシステムでは、ファイルの読み取り時または書き込み時に、ファイルの内容を変更しないか、またはファイルを削除しないことを想定しています。 オブジェクトストアでは、これらの保証は提供されていません。 このような行動の違いを自分自身で防ぐ必要があります。

オブジェクトストアのレイヤーは、データ クライアント ライブラリおよびその Hadoop ファイルシステムサポートコンポーネントと組み合わせて使用できます。このコンポーネントは、 SDK で利用できます。 詳細については、「 Hadoop FS のサポート」を参照してください。

インタラクティブな地図レイヤー

インタラクティブなマップレイヤーには、一連の一意の機能があり、フィーチャ ( 場所など ) およびフィーチャプロパティ ( 場所の名前など ) レベルでデータの保存、取得、検索、分析、および変更を行うことができます。

各レイヤータイプには異なる特性のセットがあるため、異なる地理空間データの使用例のセットに合わせて最適化されます。 他のレイヤーは、ビッグデータ処理に最適化された大きなタイルにデータを保存します。 タイル内のすべてのデータを取得できますが、タイルからのデータの読み込みは、視覚的な操作を迅速に行うように最適化されていません。 インタラクティブな地図レイヤーを使用すると、データは GeoJSON に保存され、任意のズーム レベルで動的に取得できます。 しかし、対話型マップ レイヤーの大きな違いは、地図上のデータの視覚化、分析、変更 (GIS 関数 ) に最適化されていることです。 リッチでインタラクティブなデータ検査および分析ツールであり、インタラクティブなマップ レイヤーを差別化するマップ上でリアルタイムにデータを変更できます。

インタラクティブな地図レイヤーの主な機能は次のとおりです。

  • 手動またはプログラムでマップを作成および変更します。編集内容はリアルタイムで公開され、追加の操作は必要ありません。
  • データの変更機能および機能の詳細なプロパティレベル。
  • ポイント、ライン、およびポリゴンをマップ上で直接追加および削除します。
  • さまざまなタイリング方式でデータを取得できます。
  • バウンディング ボックスに含まれている機能 ID 、タイル、空間検索、プロパティ検索、および機能を使用してデータを探索および取得します。
  • 機能のプロパティの値 ( 制限速度、場所のタイプ、住所、名前、 など ) 。
  • HERE Workspace 内部の HERE Studio 、および QGIS 、 Tangram 、 Leaflet 、 DeckGL 、 MapboxGL などの一般的なサードパーティのレンダラとの統合 視覚化、分析、および地図編集を有効にします。
  • データのサンプリングにより、非常に大きいデータセットの抜粋を効率的にレンダリングして、視覚的な参照と分析を行うことができます。
  • ヘキサビンまたは二重ビンを使用したクラスタ化で、リッチで視覚的なデータ表現を作成します。
  • バッチおよびストリームパイプラインとの統合により、クラウドで大規模なデータ処理を実現します。

インタラクティブな地図レイヤーの概要については、次のビデオを参照してください。

インタラクティブなマップレイヤーとそのソースコードを使用したライブサンプルは、 GitHub レポジトリ の「 HERE インタラクティブなマップレイヤーの例」にあります。

」に一致する結果は 件です

    」に一致する結果はありません