AR、VR、MRアプリで多面的に情報訴求力を高める会社　ステークホルダーコム

イマジカデジタルスケープに新しい仲間が加わりました！

ステークホルダーコムは、2019年8月1日イマジカデジタルスケープと資本業務提携を開始いたしました。
2009年12月創業で、主に関西圏において教育系企業から金融機関まで幅広い顧客を対象に、アプリ・WEBシステム開発を行なっている企業です。
スマートフォン黎明期よりアプリ受託開発に取り組み、関西でもトップクラスのアプリ開発実績があり、スマホ・タブレットアプリ開発300件/WEB開発も含めると450件以上の開発実績です。
技術分野ではAR(拡張現実）、VR(仮想現実)、MR(複合現実)分野のアプリケーション開発をはじめ、最近はAIやIoT関連についても注力しております。

株式会社ステークホルダーコム

https://www.sh-com.jp

こちらでは、ステークホルダーコムの技術や実績について皆さんにお伝えします。

今回は、ステークホルダーコムのオリジナルアプリ「AR-Sentence」のご紹介です。

紙媒体の紙面と電子データをリンクする「AR-Sentence」

AR-Sentenceは、大阪府立大学 知能メディア処理研究室にて研究された文書画像検索技術「LLAH(LocallyLikelyArrangementHashing)技術」を応用して、専用スマートタブレットアプリ内のカメラを、書籍やマニュアルなど印刷物（紙媒体）にかざすと該当ページを特定し、動画やWEBサイト、3Dなど関連デジタルコンテンツを表示させるAR（拡張現実）サービスで、現在複数のサービスを展開しております。ここではAR-Sentenceの概要と、AR-Sentenceの核となるLLAH技術について触れていきます。

AR-Sentenceの概要

近年、オンライン教育が急速に普及している一方、教科書や参考書はあくまでも書籍が中心で、紙媒体と電子データを紐づけするために、例えばQRコードを書籍に追加するなどの対応を実施すると、多大なコストがかかってしまいます。
書籍の紙面自身がマーカーになり、各ページの識別ができれば、電子データとの紐づけが容易になり、また書籍自身の見栄えを損なうことがありません。

AR-Sentenceは以下の特徴を有する技術です。

①文章のみの紙面でも識別可能

従来のAR画像認識エンジンでは難しい、文章のみで構成される紙媒体のページを特定することができます。

②画像識別も可能なハイブリッド型ARエンジン

画像認識エンジンも搭載することによって、写真やイラストのみで構成される紙面の特定も可能なハイブリッド型ARエンジンを搭載しています。

③クラウドサービスにてご提供

クラウド型サービスにつき、特定のサーバー環境等のインフラをご用意していただくことは不要です。

④さまざまな環境に対応

iOS／Androidや、スマートフォン／タブレットなど、多様なスマートデバイス環境に対応しています。

LLAH技術の概要

LLAH技術は、文章画像検索技術です。文字の「中心点（上左イメージ図の●点）」の位置関係にてページを特定します。
近接する中心点から、回転に依存しない特徴量（隣接する三角形の比）を用いるため、「ページの一部」や「斜めアングル」においても安定して検知します。
文字を認識するOCR技術は１文字づつ認識しますが、LLAH技術は文字の位置情報をもちいており、高速に動作します。

ここで、AR-Sentenceのシステム構成について説明します。 AR-Sentenceのシステムは、スマホアプリ（iOS/Android）とAWSサーバーで構成されます。
スマホアプリからAWSサーバーに対象書籍の画像が送信されます。AWSサーバー側では、画像データから文字中心を求め、照合用の特徴抽出を行い、登録済みの書籍、ページのデータベースと照合します。
照合したデータベースの最も評価値の高い書籍、ページに対応するURL情報をSQLサーバーより取得し、アプリ側に返却します。

想定される利用シーン

AR-Sentenceは様々なシーンでの利用が考えられます。

【学習系】

• ・英語学習のサポートに
  ネイティブの発音を聞いて、音読の練習や ヒアリング力のアップに
• ・講義動画で理解度のアップに
  数学の解法動画や理科の実験動画で、 個別学習をサポート

【プロモーション系】

• ・紙媒体をデジタル・コンテンツと連携させる
  会社案内／商品・製品リーフレットを 関連プロモーション動画にてさらに 訴求力アップ

【ツール系】

• ・業務マニュアル、製造手順書等の関連情報や付帯情報を動画やWEBで表示

【最新情報表示】

• ・最新の情報が掲載されたWEBページを表示して、旧版読者に対応

【製造支援・業務支援】

• ・業務マニュアル、製造手順書等の関連情報や付帯情報を動画やWEBで表示

事業事例のご紹介

ステークホルダーコムでは、AR-Sentenceをプログラム・エンジンとして組み込んだオリジナルのスマホ・タブレットアプリの開発を承っております。
スマホのARカメラ画面を書籍の対象紙面にかざすだけで、対応する動画コンテンツを見ることができます。

AR-Sentence組み込み事例

・新興出版社啓林館様 「スマレクebook:電子書籍と動画授業」
・三省堂様「三省堂AR」

その他、書籍の画像データと、検知後URLがあれば、スピーディーに既存書籍のデジタルメディア化を始めることができる、クラウド型の「集合アプリ」形式でもサービス提供可能です。