先日、「深刻なフィールドエンジニア不足、現場作業を劇的に変える『産業用スマートグラス』の最前線 ～AIがマニュアルやビジュアル・音声データを学習し、作業結果の異常判定や自動レポート生成まで実現～」というセミナーを開催しました。本コラムではセミナーのポイントとなる、ソリューション概要と事例、今後の技術展望についてご紹介します。
はじめに
現場作業では多くの課題があります。マニュアルやノウハウの確認、遠隔地の設備保全、作業者のスキル継承など、効率的かつ安全に作業を進めるためには、様々な情報やサポートが必要です。しかし、従来のツールでは、これらのニーズに十分に応えることができませんでした。
こうした課題を解決する手段の一つが、産業用スマートグラスのRealWearです。
スマーフォンやタブレットと異なりRealWearを装着した作業者の音声で操作が行えるので、手袋を必須とした現場作業が多い、製造業・建設業、メンテナンス業を中心に活用されています。
また、ノイズキャンセリング機能も搭載しているので、騒音下でも正確にAIへ音声で問い合わせでき、面倒なキーボード入力ではなく音声での作業報告入力を得意としています。
現場を変革させる、生成AIと組み合わせた最新技術とは？
音声操作とAIサポートで作業を効率的に
RealWearと生成AIのAzure OpenAI Serviceを連携することで、現場での作業効率を劇的に向上させます。
従来、現場作業者はマニュアル類をPCで検索・参照しながら作業を進めていました。しかし、PCが作業場所から離れていることが多く、確認のため現場と事務所間の移動が発生していました。また、作業の難易度や作業者のスキルレベルに応じて熟練者のサポートが必要な場合が多く、熟練者とのスケジュール調整が必要になることもありました。
RealWearとAzure OpenAI Serviceの連携により、作業者が必要とする情報は現場ですぐに音声操作によって検索することができます。生成AIが熟練者の代わりに必要な情報を検索・サポートをするため、熟練者の負担も軽減されます。
深夜の緊急メンテナンスが必要な時、また時間の制約があり、熟練者のアサインができない場合でもAIが的確な指示を出し、迅速に対応できる点が大きな強みです。
カスタマイズ可能なAzure OpenAI Service
Azure OpenAI Serviceは、顧客ごとのニーズに合わせたカスタマイズが可能です。特定の業界や企業固有の知識をAIに学習させることで、より精度の高いサポートが実現できます。
製造業では、特定の機械や設備のメンテナンス手順を学習させることで、AIがその機械特有の問題に対する解決策をすぐに提案してくれます。
スマートグラス×生成AIの事例紹介
鳥取県の「建設技術実証フィールド」では、約200名の行政の土木技師に対して、RealWearとAzure OpenAI Serviceのデモを実施しました。事前に学習させた土木工事監督技術の手引きや建機のマニュアルを基に、リアルタイムでAIが作業をサポートする様子を実演しました。
このデモでは、強風や騒音がある環境下でも、RealWearの強力なノイズキャンセリング機能により、音声操作が問題なく行われ、AIのサポートを受けながら作業を進めることができました。
例えば「サンドマットの確認の頻度を教えて」という質問に対して、AIが段階確認一覧の表データから回答を表示と合わせて音声読み上げ行うため、作業者は手元の作業を続けながら、必要な情報を得ることができます。
フィールドサポートにおけるRealWearとAzure OpenAI Serviceの今後
当サービスは、企業のフィールドサポート現場に革新的な変化をもたらすことを目指しています。
※STEPをクリックすると機能内容が表示されます
▷
▷
▷
今後の展望
現在、STEP01の機能はAzure OpenAI Serviceを利用していますが、STEP02からSTEP04の機能は、現在のAzure OpenAI Serviceだけでは実現が難しいと考えています。Microsoft社が提供するCopilotなどの新しい技術を検証しながら、更なる機能追加を進めています。
今後は生成AIの技術をさらに追求し、STEP02からSTEP04の機能追加を実現するための技術検証を続けていきます。GPT-4oを使用した技術検証では、電子機器の写真を解析し、機器の状態を判別する機能を検証しています。画像解析によって異常を検出し、作業結果の自動判定を行うことで、フィールドサポートの品質向上と、現場トラブル対応をより迅速かつ正確に行えるよう目指しています。
まとめ
本記事では、スマートグラスのRealWearと生成AIのAzure OpenAI Serviceを組み合わせたソリューションについて、ご紹介しました。現場での問題をリアルタイムで解決し、熟練者が不在でもAIが24時間サポートします。また、業界や企業固有の知識をAIに学習させることで、より精度の高いサポートを実現できます。
「RealWear」と「Azure OpenAI Service」により、現場作業の効率化と安全性の向上を体感してみませんか？ぜひお気軽にお問い合わせください。
