単一モデルの使用

検出のために 1 つのモデルのみを実行する必要がある場合は、このアプローチも使用できます。ただし、「基本的な使用方法」で説明されている方法をお勧めします。

単一モデルの使用を有効にするには、次の手順を実行します。

Applicationクラスを作成し、内部でLiveSenseEngine初期化します。

  LiveSenseEngine liveSenseEngine = LiveSenseEngine.getInstance();
  //Initialize the LiveSenseEngine instance.
  liveSenseEngine.initialize(this.getApplicationContext());

Activityクラスで、エンドユーザーに承諾を依頼します。セルフサービス以外のユーザーにのみ必要です。

 // Full Activity details omitted for brevity
 public class MainActivity extends Activity {
     private RoadBasicsModel roadBasicsModel;

     @Override
     protected void onCreate(Bundle savedInstanceState) {
         super.onCreate(savedInstanceState);
         LiveSenseEngine liveSenseEngine = null;
         try {
             liveSenseEngine = LiveSenseEngine.getInstance();
             //Ask User for consent.
             liveSenseEngine.requestConsent(this, new LiveSenseEngine.LSDConsentCallback() {

                 @Override
                 public void onAccept() {
                     // Save the response for future actions based on this
                     // Init Models
                     initModels();
                 }

                 @Override
                 public void onRefuse() {
                     // Save the response for future actions based on this
                     // Init Models
                     initModels();
                 }
             });
         } catch (AuthorizationException e) {
             e.printStackTrace();
         }
     }
 }

承諾応答を受信すると、モデルを初期化できます。 ```java public void initModels() {

 // Initialize desired model class
 try {
     // Model options
     RoadBasicsModel.Options rbOptions = new RoadBasicsModel.Options();
     // Classifier model
     rbOptions.setEnableTrafficLightStatus(true);
     // Detector model
     roadBasicsModel = new RoadBasicsModel(rbOptions);
     roadBasicsModel.addClassMinConfidence("pedestrian", 0.45f);

    } catch (IOException e) {
        // Failed to initialize model
    } catch (AuthorizationException e) {
        // Missing or invalid credentials
    }
}
```

アプリケーションをビルドするには、静的リソースの代わりにカメラまたはその他のリアルタイムイメージストリームを使用します。

LSDCamera2Controller カメラ 2 API 経由でのデバイスのカメラの設定およびオープンをカプセル化します。LSDCamera2Preview また、カメラのプレビューを表示することもできます。

注

アプリケーションは、を使用する前 LSDCamera2Controllerにカメラランタイム権限が付与されていることを確認する責任があります。

4.1. LSDCamera2Controller およびの基本設定 LSDCamera2Preview:

 class CameraActivity : AppCompatActivity() {

     private lateinit var cameraController: LSDCamera2Controller

     private val imageListener = object : LSDCamera2ImageListener {
         override fun onImageAvailable(image: Image?) {
             // TODO: Use image, auto-closed by controller
         }
     }

     override fun onCreate(savedInstanceState: Bundle?) {
         super.onCreate(savedInstanceState)
         // Layout containing LSDCamera2Preview
         setContentView(R.layout.activity_camera)

         // TODO: Ensure permissions have been granted!

         // Initialize the camera controller
         cameraController = LSDCamera2Controller(applicationContext)
         cameraController.initialize(LSDCamera2Config().apply {
             this.targetStreamResolution = Size(1280, 960)
         })
         cameraController.setImageListener(WeakReference(imageListener))

         // Initialize preview
         val preview = findViewById<LSDCamera2Preview>(R.id.camera_preview)
         preview.initialize(cameraController)
     }

     override fun onResume() {
         super.onResume()
         // Open camera to begin receiving frames
         if (checkSelfPermission(Manifest.permission.CAMERA) == PERMISSION_GRANTED) {
             cameraController.start()
         }
     }

     override fun onPause() {
         super.onPause()
         // Release camera on pause
         cameraController.stop()
     }
 }

4.2. レイアウト CameraActivity:

 ```xml
 <?xml version="1.0" encoding="utf-8"?>
 <FrameLayout xmlns:android="http://schemas.android.com/apk/res/android"
     android:layout_width="match_parent"
     android:layout_height="match_parent">

     <com.here.see.livesense.ar_lib.camera2.LSDCamera2Preview
         android:id="@+id/camera_preview"
         android:layout_width="match_parent"
         android:layout_height="match_parent" />
 </FrameLayout>
 ```

Live Sense SDK への認識のために渡されるデータを準備します。

 /**
 * Class to encapsulate recognition on images from ImageReader connected to Camera2 or other source.
 * Assumes ImageReader format is YUV_420_888.
 */
 public class RecognitionFromCamera implements ImageReader.OnImageAvailableListener {
     private HandlerThread detectionThread;
     private Handler detectionHandler;
     private RoadBasicsModel roadBasicsModel;
     private volatile boolean isProcessingFrame = false;
     private volatile boolean isModelLoaded = false;
     private int previewWidth;
     private int previewHeight;
     private int sensorOrientation;
     private int rotation;
     private byte[][] yuvBytes = new byte[3][];
     private int[] rgbBytes;
     private Bitmap bitmap;

     /**
      * @param previewWidth      Width of ImageReader
      * @param previewHeight     Height of ImageReader
      * @param sensorOrientation Orientation reported by camera, see CameraCharacteristics.SENSOR_ORIENTATION
      */
     public void init(int previewWidth, int previewHeight, int sensorOrientation) {
         this.previewWidth = previewWidth;
         this.previewHeight = previewHeight;
         this.sensorOrientation = sensorOrientation;
         // Start background thread
         detectionThread = new HandlerThread("detection");
         detectionThread.start();
         detectionHandler = new Handler(detectionThread.getLooper());

         // Initialize model on detection thread
         detectionHandler.post(() -> {
             try {
                 // Model options
                 RoadBasicsModel.Options rbOptions = new RoadBasicsModel.Options();
                 // Classifier model
                 rbOptions.setEnableTrafficLightStatus(true);
                 // Detector model
                 roadBasicsModel = new RoadBasicsModel(rbOptions);
                 roadBasicsModel.addClassMinConfidence("pedestrian", 0.45f);

                 isModelLoaded = true;
             } catch (IOException e) {
                 // Failed to initialize model
             } catch (AuthorizationException e) {
                 // Missing or invalid credentials
             }
             // Buffer for RGB bytes after conversion from YUV
             rgbBytes = new int[previewWidth * previewHeight];
             // RGB bitmap for models
             bitmap = Bitmap.createBitmap(previewWidth, previewHeight, Bitmap.Config.ARGB_8888);
         });
     }

     public void close() {
         if (detectionThread != null) {
             detectionThread.quitSafely();
             detectionThread = null;
             detectionHandler = null;
         }
         if (roadBasicsModel != null) {
             roadBasicsModel.close();
             roadBasicsModel = null;
         }
         isModelLoaded = false;
     }

     /**
      * @param deviceRotation Device rotation from natural orientation as multiple of 90 degrees
      */
     public void setDeviceRotation(int deviceRotation) {
         // Assumes back facing camera
         this.rotation = (this.sensorOrientation - deviceRotation + 360) % 360;
     }

     @Override
     public void onImageAvailable(final ImageReader reader) {
         final Image image = reader.acquireLatestImage();
         if (image == null || !isModelLoaded) {
             return;
         }
         if (isProcessingFrame) {
             image.close();
             return;
         }
         isProcessingFrame = true;
         // Buffer image YUV bytes and close image
         final Image.Plane[] planes = image.getPlanes();
         final int yRowStride = planes[0].getRowStride();
         final int uvRowStride = planes[1].getRowStride();
         final int uvPixelStride = planes[1].getPixelStride();

         for (int i = 0; i < planes.length; ++i) {
             final ByteBuffer buffer = planes[i].getBuffer();
             if (yuvBytes[i] == null) {
                 yuvBytes[i] = new byte[buffer.capacity()];
             }
             buffer.get(yuvBytes[i]);
         }
         image.close();

         // Run detection on dedicated background thread to avoid blocking ImageReader's thread
         detectionHandler.post(() -> {
             // Convert YUV to ARGB bitmap
             ImageUtils.convertYUV420ToARGB8888(
                     yuvBytes[0],
                     yuvBytes[1],
                     yuvBytes[2],
                     previewWidth,
                     previewHeight,
                     yRowStride,
                     uvRowStride,
                     uvPixelStride,
                     rgbBytes);
             // bitmap.setPixels(rgbBytes, 0, previewWidth, 0, 0, previewWidth, previewHeight);
             // Alternatively, you can use ImageUtils helper methods to get bitmap.
             ImageUtils.argb8888ToBitmap(rgbBytes, previewWidth, previewHeight, bitmap);

             // Run recognition
             List<Recognition> recognitions = roadBasicsModel.recognizeImage(bitmap, rotation, 0.6f);
             // Process recognitions (filtering, tracking, etc.)
             for (Recognition recognition : recognitions) {
                 Log.d("RoadBasics", recognition.getTitle() + " at "
                         + recognition.getLocation() + " with confidence " + recognition.getConfidence());
             }
          isProcessingFrame = false;
         });
     }
 }

生データをビットマップに変換するヘルパーメソッド。

 // Create a Bitmap from ARGB pixel values.
 ImageUtils.argb8888ToBitmap(int[] argb, int width, int height);

 // [Optimized/Recommended] Populate a pre-allocated Bitmap from ARGB pixel values.
 ImageUtils.argb8888ToBitmap(int[] argb, int width, int height, Bitmap output);

 // Create a Bitmap from an ARGB byte[]   
 ImageUtils.argb8888ToBitmap(byte[] argb, int width, int height);

 // [Optimized/Recommended] Populate a pre-allocated Bitmap from an ARGB byte[].
 ImageUtils.argb8888ToBitmap(byte[] argb, Bitmap output);

 // Converts YUV420 semi-planar data to ARGB 8888 data using the supplied width and height
 ImageUtils.convertYUV420ToARGB8888(
         byte[] yData,
         byte[] uData,
         byte[] vData,
         int width,
         int height,
         int yRowStride,
         int uvRowStride,
         int uvPixelStride,
         int[] out)

 // Converts YUV420 semi-planar data to ARGB 8888 data using the supplied width and height.
 ImageUtils.convertYUV420SPToARGB8888(
         byte[] input,
         int width,
         int height,
         int[] output)

検出コールを実行します。

 public void runDetection() {
     // Retrieve RGB bitmap for image in app resources (or from some stream)
     Bitmap image = BitmapFactory.decodeResource(this.getResources(), R.drawable.test_image);
     // Run recognition on nonrotated image with minimum recognition confidence of 60%
     List<Recognition> detections = roadBasicsModel.recognizeImage(image, 0, 0.6f);
     // Process/display recognitions
 }

バックグラウンドから前面に移動したときにLiveSenseEngine.getInstance().onResume()メソッドを呼び出して、バックグラウンドで一時停止したサービスを再開することをお勧めします。 LiveSenseEngine.getInstance().onPause() アプリケーションがバックグラウンドになったときにメソッドを呼び出します。デバイスのメモリとバッテリの使用量を節約するサービスを停止するのに役立ちます。
```
 @Override
 protected void onPause() {
     super.onPause();
     LiveSenseEngine.getInstance().onPause();
 }

 @Override
 protected void onResume() {
     super.onResume();
     LiveSenseEngine.getInstance().onResume();
 }
```

アプリケーション終了時にリソースを解放します。

 @Override
 protected void onDestroy() {
     super.onDestroy();
     // Release model resources when done
     roadBasicsModel.close();
 }

スレッディング

Live Sense モデルはスレッドセーフではありません。同じスレッドで初期化および実行する必要があります。同じモデルインスタンスに複数のスレッドを使用すると、予期しない動作が発生する可能性があります。

モデルは並行して実行できますが、各モデルインスタンスは一度に 1 つのイメージのみを処理できます。前の呼び出しが完了する前にモデルを実行すると、例外が発生します。

アプリケーションでの Live Sense SDK の使用に関する推奨事項については、「推奨事項」を参照してください。

Live Sense コアを基盤とするその他の機能については、「ユーティリティライブラリ」を参照してください。

単一モデルの使用

単一モデルの使用

注

スレッディング

「」に一致する結果は件です

「」に一致する結果はありません

開発者

単一モデルの使用

注

スレッディング

「」に一致する結果は 件です

「」に一致する結果はありません

開発者

「」に一致する結果は件です