クラウド同上

忙しい人のための 【Google Cloud Next ’19 in Tokyo サマリー:BigQuery を活用した既存データ分析サービスのマイグレーションと新規事業開発事例】

Author
Oda
Lv:7 Exp:737

たまに参上します。

7/31 – 8/1で行われた Google Cloud Next ’19 in Tokyo。
YouTube で動画も続々とアップロードされていますが、動画を観る時間がない…要約だけ知りたい…
という方向けのセッションサマリーとなります。

本セッションは、クラウドエース会長の吉積、CTOの高野も登壇いたしました。

ブレイクアウト セッション – 40 分 • D1-5-S04
BigQuery を活用した既存データ分析サービスのマイグレーションと新規事業開発事例

YouTube はこちら

BigQuery の可能性

クラウドエース株式会社 取締役CTO:高野 遼(宮崎県出身、30歳)

BQは高スケーラビリティで、コスト効率に優れたサーバーレスデータウェアハウス
データを BQ にアップロードだけでok
BQ の登場により、「当たり前」が変わった

  1. 全企業、個人までも高品質なDWHを低コストで保有可能
  2. MLをいつでも開始可能
  3. ランニングコストも使わなければゼロ

BQ:サーバーレス、高性能、BI Toolsとの協力な連携、リアルタイム分析
BigQueryMLできました。

  1. サーバーレスだからデータの収集や分析に注力できる!
  2. ペタバイト単位でシームレスにスケーリング
  3. 超高速インメモリ分析 BQ BI Engine
  4. 高速ストリーミング挿入APIで…

BQ BI Engine メモリ上で処理ができます=サクサク動く(従来は小さなクエリでも数秒かかっていた)

BigQuery ML

  1. テーブルデータを用意して、
  2. 好きなものを予測
  3. 今あるデータを使ってトレーニング
  4. 活用

まとめ

  • だれでもDWHを持てる
  • データ活用のために基盤を整備する必要性
  • 一度データが集まればすぐにMLを開始

→これを活用できるかどうかで、生まれる差についてどう捉えるか?

活用事例:パーソルキャリア様

パーソルキャリア株式会社 プラットフォーム事業本部 データ戦略統括部 データソリューション部 エキスパート:橋本 久

カウンセリング音声のビジネス活用
an、LINEバイト、 doda などなど…

ミッション

社内に蓄積された膨大なデータとAI
テクノロジーを使ってデータを価値あるものに変えていく
各事業部の課題解決や新規ビジネスの企画開発を行っている部署
ビジネスxアナリティクスxエンジニア

ビジネス課題

カウンセリングにおいてキャリアアドバイザーの会話は転職希望者のマインドを醸成
カウンセリングの内容は可視化できなかった
2人の音声を切り分け、集音するマイクを活用し
音声を収集、蓄積、テキスト化することが可能。

AIスピーカーでリアルタイムで音声を集音
音声の情報についてセキュリティ要件をクリアしている
音声を集合してテキスト化するアプリケーションを開発
→クラウドエースと3ヶ月かけて基盤を開発

音声データの活用①
ハイパフォーマーの音声を共有→育成担当者の教育時間を削減

音声データの活用②
カウンセリング履歴入力の削減→テキスト履歴入力の効率化

マッチングへの活用

Natural Langurage API を使って、転職理由・希望要件等を会話の中から自動的に内容を捉えて、BQ で職種別に分析、可視化している

転職希望者に実際に応募してもらったのかどうかを確認して、どのような提案がアドバイザーがしたのかとかを分析してより使い安い予測モデルを BigQuery を使って開発
希望条件を自動抽出→マッチング精度向上
データポータルを使った活用もできる
BQ 使った半年くらいだけど、検索もサクサクできて、可視化もできるメリットがある。

ディスカッション

導入のポイント【PERSOLキャリア様】

【高野Q】 今回のPJはデータの中でも非構造化データ(音声)で面倒かなと思いますが、弊社を選んだポイントは?

【Persol様】 難しいPJですが、ソフトウェアだけではなく、デバイスの扱いも難しかったです。CAはAIスピーカーの知見もあるということで一緒に進めておりました。

メリットは大きく2つ:

  1. 音声認識は導入ハードが高い。GCP™️ を使うことによってイニシャルコストがかからない。クラウドを使うことへの知見ができた。
  2. 間接的コストをコストを気にしなければならないので、CAのような技術パートナーとどうゆるく繋がっていけるか
    1. CAの GCP のノウハウがよかった
    2. 3ヶ月間に要件定義から入ってもらった。短い時間で早く開発ができた。
    3. Feed Backから更にCreativeな意見をもらえたのでInnovation開発ができた。

キャリアアドバイザーから新しいアイディアも出てきた。現場に新しいイノベーションを出していきたい(Persol様)
高野:クラウドの案件は最初の摩擦係数が高いので、滑り出しをいかにサポートするかを考えています。

活用事例:Truedata様、「Eagle Eye」

株式会社 True Data データマーケティング部・リーダー:竹村 博徳
株式会社 True Data IT戦略室・室長:池田 陽一

  • 購買行動データ商用分析サービス
  • 日本最大級ID-POS標準データベース
  • ポイントカード購買履歴を持ってる会社
  • 6000店舗、5000万人、過去15年分!
  • 日本最大級のID-POS標準データベース
  • データ量:13年で100倍!
  • 2004:数億
  • 2017:数百億

  • Eagle Eye

    • ID-POS分析の業界標準を備えたSaaS
    • 導入メーカー100社
    • 1社500名超の活用も実現
  • 急成長の理由は?
    • 誰でも使えるSaaSへ進化
    • 操作性
    • スキルレス
    • ビジュアライズ
  1. BQ で、高速に大量データでも対応できるSaaSへ進化
    1. 取り扱えるデータ量が1000倍に拡大
    2. 10億超のスキャン分析に耐えることができる
    3. 数分(2〜3分)で結果が返ってくる
  2. True data IT transformation
    1. 先頭を行こう→GCP、BQ ヘ移行を決断。
    2. システムの課題
    3. 増え続けるデータ量と処理量
                ↕
  3. 最大スケールに合わせた環境と様々な制約
  4. 優先順位
  5. 基幹サービスEagle Eyeから着手(2019/4 以降完了)

Why BQ?

理由は…

  1. 環境制約からの脱却
  2. データ鮮度
  3. 将来性
  4. スケールの極大化
  5. データ洗い換えが用意
  6. 分析なら Google™️

懸念点

  1. 料金
  2. クセがある
  3. 安定稼働
  4. 従量課金:安いというが、スケールによって増える費用を管理できるか心配だった
  5. シンプル。独特なArchitecture
  6. マネージドサービス(答えが必ず出るものではないのも理解していた)
  • パートナー
    • クラウドエースと共に!
    • GCP の伝道師と二人三脚で BQ の特性を活かし切った開発を実施
  • 料金
    • 技術面:BQ 適合設計、実装
    • サービス面:BQ 適合メニュー提供
    • ※フラットレート未使用


シャーディング、パーティショニングを正しく活用
1日でデータ入れかえ。データの鮮度が良い。
チューニングの結果、非常にシンプルに実装することができた。

安定稼働
シェアしている環境
リトライ在りきで処理、サービス構築

答えが返せないことはある=リトライすればいい
すぐ再実行できる仕組みにしている。
ただ、そういった場面になることは稀。

ディスカッション

【高野Q】どれくらい早くなったの?

【True Data】
例えばBIでライセンス数とか気にして、処理が集中したときに答えが返せない時があったが、それがなくなった。数時間かかってたものが数十分にもなった。
大量の処理を効率よく処理。

【高野Q】導入後の効果やこれからの展望は?

【True Data】
導入後の効果→オンプレの時には予想していなかったユーザー数を獲得できた+安定している。
今後の展望→「新商品好きな県ってどこでしょうデータ」を持ってるのですが、そのデータをいろんな業種に使えるようにしたい
→Eagle Eyeにのせて、分析できるようにしたい。商品別にもできます。

【高野Q】データの取り込みを担当されたと思うが今後の展望について?

【True Data】
購買データを扱っているが、ポイントとかポス周りの変化もあり、そういうデータも必要になってきた。さらに広くデータを取らなければならないので、そういうときに GCP をつかえば、日本中のデータが来てもクラウドエースと BigQuery でなんとか取り扱えるのではないかとおもってます。

メッセージ

池田様:BQ のお役に立てればいいかと思っている。ドキドキには力強いパートナーが必要なのでCAおすすめします。GCP どんどんつかいましょう。

パーソル様:GCP を使わない手はない!

次の記事を読み込んでいます
次の記事を読み込んでいます
次の記事を読み込んでいます