7
特集 16 富士ゼロックス テクニカルレポート No.27 2018 人とAIの協働によるデータエントリー業務改革 Advancements in Data Entry Through Human and AI Collaboration 富士ゼロックスは、業務のデジタル化や自動化を新たな 価値として提供するSmart Work Innovationを提案して いる。その1つとして本稿では、キーボード入力(データ エントリー)業務にAI(人工知能)を利用し、人とAIの協 働によって業務を効率化する方式について述べる。本方式 は、人とAIに業務を最適配分する「AI協働制御」と、条件 次第で人以上の高精度な文字認識が可能なAIの特性を利 用した「AI文字認識」の2つから構成される。この方式を 用いると、手書きの日本人氏名リストのデータエントリー 業務において、人間のみが行う場合と同じ精度のままで工 数を約2割にまで削減できることが実験から確認できた。 人間のみで行う場合、エントリー精度を高めるためには作 業者数の増加が必要で、精度向上と工数低減はトレードオ フの関係となる。人とAIの協働方式では本トレードオフが 解消され、データエントリーの業務改革が実現できる可能 性が示された。 Abstract Under the Smart Work Innovation concept, Fuji Xerox offers valuable solutions to facilitate business process digitization and automation. This paper illustrates a cutting- edge approach to streamlining data entry work through collaboration between humans and artificial intelligence (AI). This approach is based on AI-based task allocation technology and AI-based character recognition technology. The former makes it possible to automatically allocate tasks to AI and people, while the latter is used to recognize handwritten characters. Experimental results show that this approach can reduce the time spent on data entry work by 80% without degrading accuracy. This proven capability to reduce working hours while maintaining quality of output illustrates the potential of this technology to bring about innovation in data entry work. 執筆者(Author木村俊一(Shunichi Kimura*1 田中瑛一(Eiichi Tanaka*1 関野雅則(Masanori Sekino*1 桜井拓也(Takuya Sakurai*1 久保田 聡(Satoshi Kubota*1 一憲(Ikken So*1 上野邦和(Kunikazu Ueno*1 藤原久美(Kumi Fujiwara*1 裕(Yutaka Koshi*2 *1 研究技術開発本部 コミュニケーション技術研究所 Communication Technology Laboratory, Research & Technology Group*2 研究技術開発本部 インキュベーションセンター Incubation Center, Research & Technology Group【キーワード】 データエントリー、OCR、手書き文字認識、AI、深層学習、 ディープラーニング、人とAIの協働、一般化リジェクトモデル Keywordsdata entry, OCR, handwritten character recognition, artificial intelligence (AI), deep learning, human-AI collaboration, generalized reject model

人とAIの協働によるデータエントリー業務改革...特集 人とAIの協働によるデータエントリー業務改革 18 富士ゼロックス テクニカルレポート

  • Upload
    others

  • View
    6

  • Download
    0

Embed Size (px)

Citation preview

Page 1: 人とAIの協働によるデータエントリー業務改革...特集 人とAIの協働によるデータエントリー業務改革 18 富士ゼロックス テクニカルレポート

特集

16 富士ゼロックス テクニカルレポート No.27 2018

人とAIの協働によるデータエントリー業務改革 Advancements in Data Entry Through Human and AI Collaboration

要 旨

富士ゼロックスは、業務のデジタル化や自動化を新たな

価値として提供するSmart Work Innovationを提案して

いる。その1つとして本稿では、キーボード入力(データ

エントリー)業務にAI(人工知能)を利用し、人とAIの協

働によって業務を効率化する方式について述べる。本方式

は、人とAIに業務を 適配分する「AI協働制御」と、条件

次第で人以上の高精度な文字認識が可能なAIの特性を利

用した「AI文字認識」の2つから構成される。この方式を

用いると、手書きの日本人氏名リストのデータエントリー

業務において、人間のみが行う場合と同じ精度のままで工

数を約2割にまで削減できることが実験から確認できた。

人間のみで行う場合、エントリー精度を高めるためには作

業者数の増加が必要で、精度向上と工数低減はトレードオ

フの関係となる。人とAIの協働方式では本トレードオフが

解消され、データエントリーの業務改革が実現できる可能

性が示された。

Abstract

Under the Smart Work Innovation concept, Fuji Xerox offers valuable solutions to facilitate business process digitization and automation. This paper illustrates a cutting-edge approach to streamlining data entry work through collaboration between humans and artificial intelligence (AI). This approach is based on AI-based task allocation technology and AI-based character recognition technology. The former makes it possible to automatically allocate tasks to AI and people, while the latter is used to recognize handwritten characters. Experimental results show that this approach can reduce the time spent on data entry work by 80% without degrading accuracy. This proven capability to reduce working hours while maintaining quality of output illustrates the potential of this technology to bring about innovation in data entry work.

執筆者(Author) 木村俊一(Shunichi Kimura)*1 田中瑛一(Eiichi Tanaka)*1

関野雅則(Masanori Sekino)*1 桜井拓也(Takuya Sakurai)*1

久保田 聡(Satoshi Kubota)*1

宋 一憲(Ikken So)*1 上野邦和(Kunikazu Ueno)*1

藤原久美(Kumi Fujiwara)*1

越 裕(Yutaka Koshi)*2 *1 研究技術開発本部 コミュニケーション技術研究所

( Communication Technology Laboratory, Research & Technology Group)

*2 研究技術開発本部 インキュベーションセンター (Incubation Center, Research & Technology Group)

【キーワード】

データエントリー、OCR、手書き文字認識、AI、深層学習、

ディープラーニング、人とAIの協働、一般化リジェクトモデル

【Keywords】 data entry, OCR, handwritten character recognition, artificial intelligence (AI), deep learning, human-AI collaboration, generalized reject model

Page 2: 人とAIの協働によるデータエントリー業務改革...特集 人とAIの協働によるデータエントリー業務改革 18 富士ゼロックス テクニカルレポート

特集

人とAIの協働によるデータエントリー業務改革

富士ゼロックス テクニカルレポート No.27 2018 17

1. はじめに

日本の生産年齢人口は、少子高齢化の進行によって

1995年をピークに減少している。2040年には6,000万

人を割り、2065年には4,529万人にまで減少するとも言

われている1)。また、かつての成長エンジンであったアジア

においても、生産年齢人口は減少局面に入っている2)。

その結果として起きる労働力の不足は社会経済へ少な

からず影響を与えるが、その対策の1つとして急速に進ん

でいるのが、AIを活用した働き方改革や業務改革による労

働生産性の向上である3)。

こうした背景の下、富士ゼロックスでは、業務のデジタ

ル化や自動化を新たな価値として提供するSmart Work

Innovationを提案している。その1つとして、本稿では、

文書処理や紙文書のワークフロー管理にAIを適用し、作業

を効率化するDocument AI技術について述べる。

AIについては近年、発展が続く中、ブームと冬の時代が

交互に訪れ、現在は第三次のブームにあると言われている4)。

本ブームは、2006年の深層学習(ディープラーニング)

の登場5)に端を発する。その後2012年に、物体画像識別コ

ン テ ス ト に お い て 、 深 層 学 習 の 一 種 で あ る

「Convolutional Neural Network(CNN)」と呼ばれる

手法を用いたシステムが圧勝したことを契機に、ブームは

世界的に広まった6), 7)。現在では、ボードゲームのように

ルールが明確な対象においては、AIは人間以上の能力を発

揮し得ることが示されている8), 9)。我々は、そのような高い

性能を持ち得るAI技術を、ドキュメント処理に適用し、業

務改革を実現させたいと考えている。

特に本稿では、Document AI技術を活用する対象とし

て、依然として人手に頼ることの多い実業務の1つである、

紙帳票によるワークフロー管理に着目する。この業務のボ

トルネックは、紙に記載されている文字を判読し、それを

社内の基幹系システムにキーボード入力(データエント

リー)する部分にある。従来の光学式文字認識技術(OCR)

は、読み取り精度が低く、手書きに対しての適用が難しい

ため、人間による確認・修正作業が不可欠である。そのう

え、人間であっても読み取りや入力の誤りが発生するため、

基幹系システムの要求精度を保つために、同内容の入力を

2人が行い、相違がある場合には3人目が入力を行うダブル

エントリー方式10)を採用することが一般的となっている。

このように、紙帳票の入力業務は労働集約的であり、精度

を得るにはコストがかかる。しかも、入力業務を担うデー

タエントリー操作員の数は増加傾向にあり11)、各企業の経

営課題の1つとなっている。

2045年には、AIが人を代替する「シンギュラリティ」

が実現するといわれているが12)、現状ではデータエント

リーだけをとってもAIは完全には人を代替できていない。

近い将来においてもその課題は簡単には解決されないだろ

う。というのも、データエントリー業務は、ボードゲーム

のようにあらかじめすべてのルールを規定することができ

ないからだ。人でなければ対応不可能なケースが存在する。

代表的な例としては、文字認識ができないほど崩して書

かれた文字や、未学習の言語で筆記されている内容の認識

が挙げられる。人間であればこうした場合も、たとえばネッ

ト検索を行ったり、有識者に問い合わせたり、あるいは、

語学学校で言語の習得を自ら行うといったことも含め、必

要性に応じてさまざまな手法を駆使して解読できる。しか

し現状では、AIにここまでは期待できない。

そこで本稿では、AIが人を完全には代替できないことを

前提とするが、先述のように、ルールが明確に規定された

対象であればAIはすでに人を超えることが可能である。ま

た、AIが自ら、認識すべき文字データが一定のルールに合

致するかどうかを判断し、自分では解読不可だと判定でき

れば、業務を人に分配することができる。

本稿では、AIが自ら業務を人とAIに分配でき、かつAIに

分配された場合は人間以上の結果を出せる方式を「人とAI

の協働方式」と呼ぶ。本方式を用いて、データエントリー

業務における人手工数を低減し、業務改革を実現できるこ

とを示す。

以下、第2章では、人とAIが協働するうえでの基盤とな

る、AIを活用した手書き文字認識技術について述べる。そ

して第3章では、人とAIの協働方式について、第4章では本

協働方式を拡張した「一般化リジェクトモデル」について

述べる。 後に第5章でまとめを行う。

2. AIを活用した手書き文字認識技術

本技術は2つの個別技術から構成される。1文字分の画

像を認識する「単文字認識技術」13)-15)と単文字認識結果を

組み合わせて文字列認識を行う「文字列認識技術」16)であ

る(以下、本稿ではこの2つの技術を併せて「AI文字認識」

と呼ぶ)。

2.1 単文字認識技術

我々は脳の視覚情報処理を模した深層学習方式である

CNN17)に関して、広く知られるようになる2012年以前

からいち早く着目し、手書き文字認識への適用を検討して

きた13)。

Page 3: 人とAIの協働によるデータエントリー業務改革...特集 人とAIの協働によるデータエントリー業務改革 18 富士ゼロックス テクニカルレポート

特集

人とAIの協働によるデータエントリー業務改革

18 富士ゼロックス テクニカルレポート No.27 2018

図1は単文字認識技術の説明図である。図の上部には脳

が文字を判読する仕組みが記載されている。

脳内では、信号処理で行う「畳み込み演算」と似た仕組

みで、特定の傾きの線分を抽出する処理が行われていると

言われている。さらに、このような抽出処理を階層的に組

み合わせることで、複雑な形状の認識を可能にしている。

こ の 仕 組 み を 模 し た 方 式 が CNN で あ る ( C は

Convolutionalで「畳み込み」の意味)。

脳には、縦線と横線など方位が交差する刺激を抑制する

仕組み(方位交差抑制性)18)が備わっている。我々は、漢

字のように画数が多く、かつ、文字種数が多い対象を認識

するため、この方位交差抑制性をCNNに新規に導入した。

具体的には、畳み込み演算後段のサブサンプリング部(プー

リング部)に、興奮性入力と抑制性入力の2つの種類の

ニューロン(神経細胞)を模した回路を組み込むことによ

り、本特性を実現した13), 15)。大量の単文字画像と文字コー

ドの組み合わせを学習することで、手書き文字、特に漢字

の認識を可能としている。

2.2 文字列認識技術

文字列認識は、たとえば図2に示されるような文字列画

像を入力し、文字列テキスト(本例では「本村拓哉」)を出

力する技術である。

この文字列認識において我々は、自然言語処理、特に系

列ラベリング(入力されたデータ列に対して、その個々の

データに何らかのラベルを付けて出力すること。例:1つ

の文を、単語のデータ列として入力して、単語ごとに品詞

をつけて出力する)で用いられるAI技術の1つである

Conditional Random Field(CRF)手法19)を適用した。

本手法の特徴は、入力された画像に対して文字列を出力し、

それが正しいであろう確率(生起確率)を算出する点にあ

る。この確率が低ければ、それは人に分配するべき業務で

あると判断する。そうして、人とAIの協働方式を実現する。

手書きの日本語文字列は、文字の幅や間隔が一様ではな

く文字境界が不明確であるため、単純に単文字領域を特定

することは困難である。そこで、CRF適用にあたり、文字

境界とテキスト列を同時に推定するアプローチである

semi-CRF20)を採用した。さらに、この文字列認識技術に

おいては、semi-CRFを非線形拡張21)して認識性能を高め

た新規semi-CNF(semi-Markov Conditional Neural

Fields)手法16)を用いている。

本手法を用いた文字列認識の様子を図3に示す。まず、

入力文字列画像は偏へん

と 旁つくり

などをできるだけ細かく分離し

た部分画像群に変換される22)。そしてこの画像群が、文頭

から文末に至る全体として取り得る、すべての文字列パ

ターンを表現したグラフが形成され、semi-CNF適用の結

果、各々の文字列パターンに対して生起確率が算出される。

その確率が も高い文字列パターン(図3における緑色の

パターン)を採用することで、文字列認識を実施できる。

本文字列認識技術が計算した生起確率、すなわち出力した

文字列が正しいであろう確率を用いて認識確信度を算出で

きる。こうして得られた確信度を、次章以降で活用する。

図1 単文字認識技術

図2 文字列画像例 図3 文字列認識技術

Page 4: 人とAIの協働によるデータエントリー業務改革...特集 人とAIの協働によるデータエントリー業務改革 18 富士ゼロックス テクニカルレポート

特集

人とAIの協働によるデータエントリー業務改革

富士ゼロックス テクニカルレポート No.27 2018 19

0.9

0.92

0.94

0.96

0.98

1

0 0.2 0.4 0.6 0.8 1

文字認識適用率X

氏名文字列認識率

人シングルエントリー精度達成領域

人ダブルエントリー精度達成領域

文字列認識率Y

3. 人とAIの協働方式

すでに述べたとおり、AIが完全には人を代替できないこ

とを前提とし、以下では人とAIを協働させることによる業

務改革の方法を説明する。人とAIの協働方式は、前節で述

べた「AI文字認識」と、人とAIに業務を分配する「AI協働

制御」から構成される。

図4を用いて、人とAIの協働ケースについて考察を行う。

3.1 従来型文字認識の考え方

従来、自動の文字認識を用いる場合、図4(a)に示すよ

うに、認識結果をオペレーターが全件確認を行い、修正す

ることが前提だった。この場合、全件に対して人間による

作業が必要となる。それゆえ、文字認識による自動化を導

入しても、人手工数の削減による業務改革は困難であった。

3.2 人とAIの業務分配ワークフロー

前述の課題を解消するため、人とAIに業務を分配する

ワークフローを考えた。文字列認識技術において算出した

認識確信度が十分に高い場合、人に任せることなくAIによ

る文字認識の結果をそのまま利用する。これにより、工数

が削減され業務改革を実現できる。本業務分配機能が「AI

協働制御」であり、これを「AI文字認識」と組み合わせる

ことで、人とAIの協働方式を実現する。

図4(b)は、オペレーター1名(シングルエントリー操

作、以下シングルエントリー)とAI文字認識に業務を分配

するケースを示している。同様に図4(c)は、オペレーター

2名(ダブルエントリー操作、以下ダブルエントリー)とAI

文字認識に業務を分配するケースである。実は、図4(b)

(c)に示したケースと同等の考え方は古くからある。これ

は、認識確信度が低い場合に、AIによる認識結果を拒絶(リ

ジェクト)し、人にエントリーを任せるリジェクトシステ

ムである23)。従来の光学式文字認識技術によるデータエン

トリー業務では、本リジェクトシステムは実現できなかっ

たが、それは文字認識の精度が低く(人の精度を超える領

域が存在しない)、後段で常に人が全件確認を行わざるを得

ず、そもそも業務分配ができなかったためである。人とAI

の協働方式を実現するには、次の2つの条件が必要となる。

(条件1)少なくとも一部の領域でAIが人を超える精度

での文字認識を実現できること。

(条件2)AIが人の精度を超える領域を自動で判定可能

であること。

次節では、これら2条件を満たす方式の設計方法を示す。

3.3 人とAIの協働方式の設計例

上述の2条件を満たす人とAIの協働方式の設計例を示す

にあたって、直感的な理解を助けるため、「文字認識適用率

-文字列認識率」グラフを用いたAIの文字認識性能の評価

方法について述べる。

このグラフにおいて、横軸Xは、AIによる文字認識適用

率、すなわち、データエントリーする全文字列画像のうち

AIによる文字認識を適用した割合である(0≦X≦1)。ただし、

AIにとって認識結果に自信のある(=認識確信度が高い)

ものから順に適用率X分だけ抽出するものとする。一方、縦

軸Yは、文字列認識率、すなわち、AIによる文字認識を適用

した文字列のうち、正しく認識できた割合である。

文字認識適用率Xのときの抽出文字列数をM(X)、そのう

ちの正解文字列数をQ(X)とすると、文字列認識率YはXの関

数であり、Y(X)=Q(X)/M(X)となる。

「文字認識適用率-文字列認識率」グラフの作成例を図5

に示す。これは、実在する日本人9,892人の評価用手書き

氏名画像を入力し、文字認識適用率Xごとに、文字列認識率

Yをプロットしたものである。文字認識適用率Xが大きくな

るほど、認識確信度の低い文字列までAIによる文字認識を

使うことになるため、文字列認識率Yは小さくなる。ちなみ

にここでは、評価用画像とは異なる日本人氏名の手書き

データを利用して、単文字認識および文字列認識の学習を

図4 人とAIの協働ケース

図5 「文字認識適用率-文字列認識率」グラフ

Page 5: 人とAIの協働によるデータエントリー業務改革...特集 人とAIの協働によるデータエントリー業務改革 18 富士ゼロックス テクニカルレポート

特集

人とAIの協働によるデータエントリー業務改革

20 富士ゼロックス テクニカルレポート No.27 2018

AIに行わせた結果を用いて認識を行っている。

次に、図4(c)ケース3を例に、(条件1)と(条件2)

を満たすことを確認する。ここで、ダブルエントリーの際

の人の文字あたり入力精度を一定値99.95%と仮定する24)。

また、人間による各文字の誤りは独立して発生するとして、

平均文字数4.07の評価用氏名文字列の人の入力精度を算

出すると、99.8%となる。そして図5から、AIがこの精度

を満たすのは、文字認識適用率が0.678以下の場合である

ことがわかる。すなわち、入力文字列画像全体の67.8%に

ついては、AIが人の精度を超えていることが確認できる

(条件1)。また、認識確信度の高い文字列から順に抽出し、

文字認識適用率が0.678となるところまでAIにエント

リーを任せることで、入力文字列画像全体の67.8%をAIに、

残り32.2%を人がエントリーするという自動制御が実現

できる(条件2)。

以上のように、「文字認識適用率-文字列認識率」グラフ

(図5)を用いて、2条件を満たす人とAIの協働方式の例が

示された。

ちなみに、図4(b)ケース2の、シングルエントリーの

場合では、人の入力精度は96.8%であり(ダブルエント

リーの場合の精度より換算)、AIがこの精度を満たすのは、

文字認識適用率が0.978であることを図5のグラフより確

認できる。また、同グラフから入力文字列全体の認識率は、

X=1.0の点を用いて96.4%であるとわかる。つまり、これ

がAIの一般的な認識率である。本節で示した人とAIの協働

方式においては、この一般的認識率を気に留める意味はほ

とんどない。この領域では、AIによる文字認識を適用せず、

人にエントリーを任せてしまうためである。

3.4 ワークフロー拡張

現実の実装に際しては、文字列認識を行った時点で認識

確信度と認識結果の両方を得ている。そのため、AI協働制

御とAI文字認識は同時に行われていることになる。本節で

は、AI協働制御とAI文字認識を2つの機能として分離する

考え方を採用することにより、以下に示すワークフローの

拡張を導く。

ここで、オペレーターによるエントリーとAIによる文字

認識を、それぞれデータエントリーサブシステム(以下、

サブシステム)であると考えれば、AI協働制御は、複数存

在するサブシステムに業務を分配する技術とみなせる。

適な業務分配のためには、与えられた条件(たとえばエン

トリー精度)を満たすサブシステムのうち、 もコスト(た

とえば人手工数)が小さいものを選択すればよい。

このように考えると、コストの大きいサブシステムは結

果として選択されないだけであるため、サブシステムを増

加させても、複雑化が伴うという点を除けば、 終コスト

に影響はない。それゆえ、選択肢(サブシステム)は多け

れば多いほどよいことになる。

上記の考え方をもとにワークフローを拡張(サブシステ

ムを追加)した具体例を図4(d)に示す。これは、認識確

信度が中程度の場合に、AI文字認識とオペレーターによる

ダブルエントリーを行うサブシステムを追加したケース

(人とAIの協働ケース4)である。

このような3分割のケースでは3.3節で述べたような直

感的な設計が難しい。そこで次節では、このような複雑な

ケースにおいても人とAIの協働方式が適用できるように

考案した一般化リジェクトモデルについて述べる。このモ

デルでは、サブシステムの個数およびコストに関しても一

般化する。

4. 一般化リジェクトモデル

4.1 定義と特徴

一般化リジェクトモデル25)を図6に示す。AI協働制御で

は、認識確信度t(0≦t≦1)の値に応じて、n+1個のサブシス

テムから1つを選択する。今我々が求めたいのは、どのサ

ブシステムを選択するかを決定する閾値群T0~Tn+1である。

本モデルでは、下式(1)に示すコスト関数L(T)を定義する。

∫∑+

+

++

+==

1

1

])|()()(

)|()()([)(0

k

k

k

k

T

Tkee

kr

T

Tkcc

kr

n

k

dttptpCC

dttptpCCL

ϕ

ϕT (1)

ただし、上式において、T0=0、Tn+1=1、T =( T0, T1, …, Tn+1)

である。また、Cc、Ce、Crkはそれぞれ、正エントリー時、

誤エントリー時、および、サブシステム(k)の運用コストで

ある。さらに、p(t)は認識確信度tの生起確率、p(ϕck|t)、p(ϕek|t)

はそれぞれ、認識確信度tの条件下でのサブシステム(k)の正

エントリー、および、誤エントリー確率である。

本モデルでは、上記コスト関数を 小化する協働制御閾

値ベクトルTを求めることでシステムの 適化を行う。現

実のシステムにおいては、確率密度関数p(・)が離散関数(確

率質量関数)となることを考慮し、積分演算を加算演算化

した数値計算によって 適化を行う。

本モデルの特徴は、人を含む全サブシステムの誤り特性

を定義している点にある。従来のリジェクトモデル23)では

「人は誤らない」という前提を持ち、リジェクト後の人手

入力時に誤りが生じる可能性を考慮していない。これに対

し、本モデルでは、AIが人の精度を超える領域を記述する

ため、人の誤りも含んだ形での定式化を行っている。

Page 6: 人とAIの協働によるデータエントリー業務改革...特集 人とAIの協働によるデータエントリー業務改革 18 富士ゼロックス テクニカルレポート

特集

人とAIの協働によるデータエントリー業務改革

富士ゼロックス テクニカルレポート No.27 2018 21

これにより、たとえばエントリー精度を 重要視した場

合にも対応することができるようになっている(従来のモ

デルでは、エントリー精度を 大化するためには、すべて

を人手エントリーにするのが 適である、という誤った結

論が導かれてしまう)。

本モデルでは、 も認識確信度が高い場合に選択される

サブシステム(n)はAI文字認識の単独システムであり、逆に

も認識確信度が低い場合に選択されるサブシステム(0)

は人のみによるデータエントリーとなる。中間のサブシス

テムはAI文字認識と人の組み合わせとなる(図6)。

4.2 適化例

本節では、一般化リジェクトモデルを用いて、協働制御

閾値を 適化することによって業務改革を実現する一例を

示す。

ここでは、図5のグラフに示した認識特性を持つAI文字

認識、3.3節に示した人のダブルエントリー精度、および、

人とAIの協働ケース4(図4(c))を前提とし、エントリー

精度を 重要視した場合(Ce>>Cc、Ce>>Crk)の 適化結果

を示す。本モデルではコスト 小を 適とみなすため、人

のダブルエントリー精度を満たし、かつ も人手工数の小

さなサブシステムを選択することになる。

図7は、数値計算で閾値ベクトルTと各サブシステムの

適用割合を算出し、その結果を用いて工数量を算出した結

果である。人のダブルエントリー時の工数を1、シングル

エントリー時の工数を0.5として算出すると、ケース4の工

数は0.207となる。すなわち、エントリー精度を維持しな

がら、工数を約2割に削減できたことがわかる。

4.3 実システムへの適用

前節では日本人の氏名認識に対する 適化例を述べた

が、認識対象に依存して各種特性は変化する。つまり、氏

名や住所などの筆記枠項目、筆記者の特性、帳票デザイン、

学習量などさまざまな要因で認識性能は変動する。

そのため、AI協働制御の 適化は認識対象ごとに個別に

行うことが望ましい。また、AI文字認識の性能向上のため

には、筆記が行われた状況、帳票、筆記項目ごとに、大量

のデータを用いて学習することが有効であることが原理的

にわかっている。

そのため、人とAIの協働方式を実データエントリーシス

テムに適用する場合、可能な限り、適用するシステムごと

に個別に学習や 適化が行われることが望ましい。我々の

AI文字認識やAI協働制御は、各々の入力データに対して個

別に学習や 適化を実施できる構成を採っている。その性

質を利用して、より強力に業務改革を進めることが可能に

なる。

5. おわりに

生産年齢人口減少に伴う社会問題を背景とし、富士ゼ

ロックスは業務のデジタル化や自動化を新たな価値として

提供するSmart Work Innovationを提案している。その

中で、本稿では特にデータエントリー業務に対してAIを適

用して業務改革を行うDocument AI技術に関して述べた。

実業務への適用を考えた場合、現状のAIの課題は、完全

には人を代替できない点にある。この課題を解決するため、

人とAIに業務を 適に分配する、人とAIの協働方式を提案

した。本方式は、人とAIに業務を分配する「AI協働制御」

と、実際にAIを用いて文字認識を実施する「AI文字認識」

から構成される。

AI文字認識では、第三次AIブームの中心的技術である、

CNNを拡張した手書き文字認識技術、および文字列の生起

確率を算出可能なCRF技術を拡張したsemi-CNFを用い

た文字列認識を行う。AI文字認識によって、一部では人を

超えるエントリー精度を実現できる。一方、AI協働制御で

は、AI文字認識で得られる認識確信度を用いて、人とAIに

業務を 適に分配する。さらに、我々はこの 適分配の具

図6 ワークフロー拡張、一般化リジェクトモデル

図7 人とAIの協働による業務改革

Page 7: 人とAIの協働によるデータエントリー業務改革...特集 人とAIの協働によるデータエントリー業務改革 18 富士ゼロックス テクニカルレポート

特集

人とAIの協働によるデータエントリー業務改革

22 富士ゼロックス テクニカルレポート No.27 2018

体的手法として、一般化リジェクトモデルを提案した。

人のデータエントリーでは、エントリー精度を高めるた

めにはエントリー人数の増加が必要であり、精度と工数低

減はトレードオフの関係にある。本稿では、人とAIの協働

方式を採ることにより、このトレードオフの関係を打破し、

同一精度のまま約2割の工数に削減できる例を示した。

今後、人とAIの協働方式を実データエントリー業務に活

用していく。また、本方式は、AIを用いた他のさまざまな

社会課題の解決法にも適用可能と考えられる。データエン

トリー業務以外への方式展開も図っていく予定である。

参考文献

1) 国立社会保障・人口問題研究所, “日本の将来推計人口(平成29年推計)”,

http://www.ipss.go.jp/pp-zenkoku/j/zenkoku2017/pp29_ReportALL.pdf (参照日: 2017.12.13).

2) 国連, “World Population Prospects: The 2017 Revision”,

https://esa.un.org/unpd/wpp/ (参照日: 2017.12.13).

3) 総務省,“平成29年度版 情報通信白書”, http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h29/pdf/index.html (参照日: 2017.12.11).

4) 野村総合研究所,“ICTの進化が雇用と働き方に及ぼす影響に関する調

査研究報告書”,

http://www.soumu.go.jp/johotsusintokei/linkdata/h28_03_houkoku.pdf (参照日: 2017.12.11).

5) G. E. Hinton, R. R. Salakhutdinov: “Reducing the Dimensionality of Data with Neural Networks”, Science, Vol.313, No.5786, pp.504 - 507, (2006).

6) A. Krizhevsky, I. Sutskever, G. E. Hinton: “ImageNet Classification with Deep Convolutional Neural Networks”, Proc. of NIPS, pp.1097-1105, (2012).

7) 中山英樹: “画像解析関連コンペティションの潮流”, 電子情報通信学

会誌, Vol.100, No.5, pp.373-380, (2017). 8) 松原 仁: “ゲーム情報学”, 情報管理, Vol.59, No.2, pp.89-95,

(2016).

9) David Silver el. al.: “Mastering the Game of Go without Human Knowledge”, Nature, Vol.550, pp.354–359, (2017).

10) K. A. Barchard, L. A. Pace: “Preventing Human Error: The Impact of Data Entry Methods on Data Accuracy and Statistical Results”, Computers in Human Behavior Vol.27, No.5, pp. 1834-1839, (2011).

11) 総務省,“IoT時代におけるICT経済の諸課題に関する調査研究報告書”,

www.soumu.go.jp/johotsusintokei/linkdata/h29_04_houkoku.pdf (参照

日: 2017.12.13).

12) 山川 宏、市瀬龍太郎、井上智洋: “汎用人工知能が技術的特異点を巻き

起こす”, 電子情報通信学会誌, Vol.98, No.3, pp.238-243, (2015).

13) 関野雅則、木村俊一、越 裕: “視覚エネルギーモデルと交差方位抑制

モデルに基づく複雑型細胞を用いた畳み込みニューラルネットワーク

文字認識”, MIRU2012, (2012).

14) 関野雅則, 木村俊一, 越 裕: “視覚情報処理モデルに基づいて改良し

た 畳 込み ニ ューラ ル ネッ ト ワーク 文 字認 識 ” ,人工 知 能学 会 ,

JSAI2013, (2013).

15) 関野雅則, 木村俊一, 越 裕: “視覚情報処理モデルに基づいて改良し

た畳み込みニューラルネットワーク文字認識”, 富士ゼロックステク

ニカルレポートNo. 23, pp.82-88, (2014).

16) 田中瑛一, 木村俊一, 越 裕: “semi-CNFによる手書き日本語文字列

認識の弱教師学習”, 第14回情報科学技術フォーラム、H-002,

(2015). 17) Y LeCun, L Bottou, Y Bengio, P Haffner: “Gradient-based Learning

Applied to Document Recognition”, Proc. of the IEEE, Vol.86 No.11, pp.2278-2324, (1998).

18) R. Kimura, I. Ohzawa: “Time Course of Cross-Orientation Suppression in the Early Visual Cortex”, J Neurophysiol Vol.101, pp. 1463-1479, (2009).

19) J. D. Lafferty, A McCallum, F. C. N. Pereira: “Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data”, ICML01, pp.282-289, (2001)

20) X. D. Zhou, D. H. Wang, F. Tian, C. L. Liu, M. Nakagawa: “Handwritten Chinese/Japanese Text Recognition Using Semi-Markov Conditional Random Fields”, IEEE Trans, PAMI, Vol.35, No.10, pp.2413-2426, (2013).

21) J. Peng, L. Bo, and J. Xu: “Conditional Neural Fields”, Proc. NIPS 2009, pp.1419-1427, (2009).

22) 田中瑛一:“ 短経路の収束を利用した文字切り出し方式の提案”,

MIRU2011, pp.331-336, (2011).

23) C. K. Chow: “On Optimum Recognition Error and Reject Tradeoff”, IEEE Trans. on Information Theory, Vol.16, pp.41-46, (1970).

24) 日本データ・エントリ協会,“平成26(2014年)度 データエントリ料金

資料”, https://www.jdea.gr.jp/report/ (参照日: 2015.5.14). 25) S. Kimura et. al.: “A Man-Machine Cooperating System Based on the

Generalized Reject Model,” ICDAR2017, pp.1324-1329, (2017).

筆者紹介

木村俊一 研究技術開発本部 コミュニケーション技術研究所に所属

専門分野:画像処理、画像認識

田中瑛一 研究技術開発本部 コミュニケーション技術研究所に所属

専門分野:画像認識、自然言語処理

関野雅則 研究技術開発本部 コミュニケーション技術研究所に所属

専門分野:画像処理、画像認識

桜井拓也 研究技術開発本部 コミュニケーション技術研究所に所属

専門分野:画像処理、画像認識

久保田 聡 研究技術開発本部 コミュニケーション技術研究所に所属

専門分野:画像処理、画像認識

宋 一憲 研究技術開発本部 コミュニケーション技術研究所に所属

専門分野:画像処理、画像認識

上野邦和 研究技術開発本部 コミュニケーション技術研究所に所属

専門分野:画像処理、画像認識

藤原久美 研究技術開発本部 コミュニケーション技術研究所に所属

専門分野:画像処理、画像認識

越 裕 研究技術開発本部 インキュベーションセンターに所属

専門分野:画像処理、画像認識