坂上 万里*1、陳 偉健*2
近年のナノテクノロジーの発展により、半導体分野、先端材料分野、電子部品分野など様々な分野において微細化や精密化が進んでいる。そのため、従来では問題視されていなかった微小異物の混入が精密化した部品の機能障害につながる大きな原因となってきた。
従来では、部品の異物検査は光学顕微鏡で行われていたが、微細化と高品質化に伴い、光学顕微鏡の空間分解能が不足するようになったため、より高い空間分解能と深い焦点深度をもつSEM を用いた異物検査のニーズが増えている。異物検査作業は、検体数や目的に応じて検査者が大量の画像を取得し、各画像上の異物を検知する必要がある。SEM を用いた異物検査では、連続撮像機能により大量に取得した画像に対して、画像処理を用いた異物の判別が行われる。
一般的な画像処理による異物検出の手法には、画像データの輝度値による異物の識別が用いられるが、図1に示す異物A のように異物と背景の輝度差が小さい場合、画像処理ソフトの自動機能では識別ができない場合が多い。このような検体に対しては、作業者自身が画像上で異物の有無や個数を目視で確認する作業が不可欠であり、大きな作業負担となっている。そこでSEM 画像から異物を検知するための新しいアプローチとして、AIエンジンを搭載したソフトウェアを開発し、活用を試みた。従来手法では検知できなかった異物A が図2に示すようにAI の活用により、正確に検知され、異物検査の自動化が可能となった。
図1 従来の画像処理方法で処理した結果（異物A は未検知）
図2 AI画像認識技術で異物を検出した結果（異物A も検知）
本稿では、異物検知自動化システムをSEM のオプションとして搭載可能な「EM-AI」として製品化したので、以下に紹介する。
EM-AIシステムを初めに搭載するSEM として、コンパクトSEM であるFlexSEM1000Ⅱを選んだ。FlexSEM1000は「工業材料」2017年4月号で紹介した装置であるが、改良版であるFlexSEM1000Ⅱ（図3）ではステージの耐震性能を向上させるとともに、多領域自動画像取得を可能とするMulti Zigzag 機能をオプション設定した。顧客ごとの様々な設置シーンに対応するため、高分解能を維持しながら小型化を図り、真空排気システムは低真空モードと高真空モードを目的に応じて選択可能としている。
図3 FlexSEM1000Ⅱの外観写真
EM-AIシステムは、このFlexSEM Ⅱとステージをリンクし、SEM による複数検体の自動連続撮像機能とAI 画像認識技術を組み合わせ、異物を自動検知するシステムである。異物を検知し、その異物の場所にステージを移動させ、詳細な観察や分析を実施することも可能である。
FlexSEM1000Ⅱには、視野探しの手間を大幅に減らし、直感的な視野探しを実現する「SEM MAP」機能を標準装備している。この機能では、SEM 観察開始前に視野探し用の光学画像を取込み、試料室内部を模したマップに貼付け、ナビゲーション用マップを作成する。マップ上の光学画像は座標情報や倍率情報を保持しており、このマップ画像上でマウスをドラッグ操作することで、観察視野への移動や、測定領域を指定できる。
このSEM MAP を用いて、複数の領域を一括指定することで、多領域連続SEM 画像取込みを可能とする「Multi Zigzag」機能を設定した。Multi Zigzag 機能による複数領域指定画面を図4に示す。この機能は撮像領域の複製機能も有しており、領域枠を固定し、複数試料での連続撮影も可能であるため、自動異物解析用に大量の画像を取得する際の操作の負担軽減も図っている。EM-AI による自動異物検知システムでは、これらの機能による複数試料の連続画像取得したデータも処理可能である。
図4 Multi Zigzag機能による多領域指定
EM-AI を用いることで、ユーザーはSEM 観察から粒子解析までを、専門知識を必要とせずに自動化することが可能で ある。異物検知のためには初めに、AIエンジンに対して異物を深層学習させる必要がある。異物の学習方法は2種類ある。一方は、事前に良品の形状を登録し、異物があった際に検知するという方法で、異物が少ない場合などに用いる。他方は、異物の形状やテクスチャーを学習させるという方法で、異物が多い、あるいは特徴的である場合に用いる。良品を学習させた例を図5に示す。Cuメッシュ上に異物のない画像を良品画像として20枚以上準備し、学習させた後、EM-AI で異物検知を行ったところ、Cuメッシュ上の異物を検知できたことを示す結果である。
図5 AIに良品を学習させ、異物検知させた例
次に、異物の形状やテクスチャーを学習させた例を図6に示す。試料はフィルター上に捕集されたアスベスト繊維で ある。この画像のアスベスト繊維の径はばらつきが多く、また細い繊維は、従来の画像処理ベースの異物解析システムでは背景画像（フィルター）と異物（アスベスト）を輝度判別できずに検出が困難となる。AI では特定の異物を「ペンツール」を用いて手動でラベル付けをして学習させる。異物の無いフィルターのみの良品画像、フィルター上にアスベストが捕集されているNG 画像をそれぞれ20枚以上学習させた後の検査結果を図7に示す。
図6 捕集されたアスベストのAI学習例
図7 AIによるアスベストの自動検出
学習後の結果では、フィルターとのコントラスト差が小さい、細いアスベスト繊維( → )も自動で検出することが可能であった。このように、異物を検知させるための学習を適宜実施することで、従来の異物解析システムでは検出できなかった異物でも、検知精度が向上できている。
EM-AIシステムによる検査ワークフローを図8に示す。前述のSEM による多領域連続画像撮影機能と、AI による異物
検知を組み合わせ、SEM 観察から粒子解析までを自動で行うことができる。粒子解析に関しては、粒子解析用のエンジンを積むことで、粒形に対する各閾値の設定、粒子サイズの分布、粒子数などのより詳細な自動解析を、異物の検知と同時に実施することが可能である。
EM-AI では、複数の領域やサンプルを連続で自動解析できることから、作業者を拘束する時間を大幅に減らすことが可能となり、作業効率を高めることができる。
図8 EM-AIシステムのワークフロー
EM-AI の自動粒子解析システムを用いて、特定粒子の検出を行った事例を示す。試料にはほぼ同じ粒径で組成も近い ラテックス粒子とダイヤモンド砥粒を混在させたものを使用し、その中からダイヤモンド砥粒のみを異物として検知させることを試みた。まずAI の深層学習により、ラテックス（円形粒子）は無視し、ダイヤモンド粒子のみを検知するよう、40枚の画像を使用して学習させた結果を図9に示す。ここで作成した教師ファイルを用い、EM-AI により、100視野の自動粒子解析を実施した結果を図10に示す。SEM により指定した領域①、その領域内の広域自動撮像データ②、および検出状況③を一覧で表示できる他、検出粒子の直径の自動測長④など、指定した粒子解析結果の表示や一括したレポート作成も可能である。
図9 AI学習による特定粒子の検出（ダイヤモンド粒子のみ検出）
図10 広域自動撮像データと粒子の検出状況の一覧表示
本稿では、異物検知手法において、EM-AIシステムを用いることで、従来の画像処理手法では検出困難だった異物でも、AI 技術により深層学習させれば、検出可能になることを紹介した。EM-AIシステムは用途ごとのデータをAI に学習させることで、特定用途に特化させることなく、柔軟性の高い解析システムの実現・構築が可能となった。今後は他の電子顕微鏡へのEM-AIシステムの展開や、最先端技術を搭載した装置を最先端の場に提供し、材料解析や品質管理に貢献していきたい。
出典
月刊誌「工業材料」2019 年11 月号掲載
著者紹介
さらに表示
