從零開始，成為 AI 圖像訓練師! 認證檢定教材

從零開始，成為 AI 圖像訓練師 ! CONTENTS 01 我們與 AI 的關係 08 1. AI，其實是一個勤能補拙的學生 09 2. AI 圖像訓練師，就是當好一個老師 14 02 我們跟 AI 的溝通管道 : AI 互動平台 20 1. 為什麼我們需要 AI 互動平台 21 2. 訓練平台的基本功能 25 3. 生成模型四步驟 : 標記、訓練、驗證與測試 30 4. 應用平台的基本功能 34 03 學會幫 AI 設計題目 : 資料準備與標記 40 1. 出題目 ! 資料集的準備 41 2. 題目品質影響學習效果 : 取像的重要性 46 3. 把題目分成練習題與考題 : 資料集的切割 49 4. 讓題目有變化 : 資料增強方法 53 04 讓 AI 開始學習 : 訓練 62 1. 如何選擇與訓練 AI 模型 ? 63 2. 評分機制很重要 : 損失函數的選擇 71 3. 練習題怎麼寫 ? 迭代次數與學習率的選擇 76 05 考考 AI 學會了沒 : 驗證與測試 80 1. 驗證與測試有何不同 ? 81 2. 考不好的解決方案 : 測試指標過低的對策 84 06 讓 AI 為我們工作 : 模型應用方式 90 1. 應用的方式有哪些 ? 91 2. 應用的注意事項 105

07 AI 也能做分類 ? AI 圖像分類器的應用 116 1. 哪些模型可以用呢 ? 常見的分類器模型 118 2. 站在巨人的肩膀上 : 分類器應用案例 122 3. 實戰時間 1 : 訓練自己的分類器模型 124 4. 實戰時間 2 : 把模型導入檢測平台 132 08 不只分類，還要知道位置 : AI 物件偵測 146 1. 哪些模型可以用呢 ? 常見的物件偵測模型 148 2. 站在巨人的肩膀上 : 物件偵測應用案例 152 3. 實戰時間 1 : 訓練自己的物件偵測模型 157 4. 實戰時間 2 : 把模型導入檢測平台 165 09 每一個像素都要檢測 : AI 影像分割 178 1. 哪些模型可以用呢 ? 常見的影像分割模型 180 2. 站在巨人的肩膀上 : 影像分割應用案例 184 3. 實戰時間 1 : 訓練自己的影像分割模型 185 4. 實戰時間 2 : 把模型導入檢測平台 192 10 圖像以外的 AI : 各領域應用補充 206 1. Hey AI - 語音辨識 207 2. 你可以幫我嗎－以自然語言處理 210 各行各業的 AI 214 11 AI 超新星 : ChatGPT 與 Stable Diffusion 228 1. 搜尋方式的革命 : ChatGPT 229 2. 圖像真假難辨 : Stable Diffusion 233 12 AI 的未來 236 1. AI 的未來發展 237 2. AI 影響的職業 239 3. AI 倫理道德 244 4. 各國對 AI 的發展 253

發行人序 人工智慧（AI）正以驚人的速度在改變著我們以往的生活與教育方 式，「讓每個人都能輕鬆建立自己的 AI 模型」是我與智泰 AI 團隊努力 的目標。為逐步實現這目標，我們開始與全國六都與十六縣市政府教育 局、處合作，對高中職、國中小等各學校進行 AI 模型訓練軟體（VisLab） 的捐贈活動並進行課程教材的規劃及師資培訓，期望讓每個學生都能學 習到 AI 的新知識及技能，另外我們與全國各大專院校一起合作共同成 立「AI 培訓中心」，辦理 AI 師資培訓課程及訓練，以加速我國 AI 教育 的普及落地，目前全國已有 40 幾所大專院校一起參與此 AI 培訓中心的 合作。 為加速 AI 的教育及應用落地，我們透過產官學合作一起舉辦 AI 應 用的各種研習、研討及競賽，並已連續兩年舉辦「全國 AI 圖像辨識應 用競賽」，全國各大專院校與高中職超過 120 隊參賽，藉由 AI 競賽瞭 解現今的 AI 原理與技術，以應用在食衣住行的生活、學習及職場中。 未來也將繼續擴大舉辦 AI 競賽，全面落實 AI 教育的推廣與應用。 我們也與公會、協會及學術界討論規劃了 AI 認證標準及檢定方式， 讓大家能透過考證照取得證書，以提升 AI 人才價值能力的鑑定標準， 期能幫助各公司找尋到適任的 AI 人才。 我們結合過去幾年 AI 師資培訓的經驗及專家們的討論撰寫本書， 本書採用淺顯易懂的方式帶領讀者們從認識 AI、瞭解 AI、訓練 AI 到運 用 AI，期盼讀者們透過這本書能了解 AI 及應用，並且能藉由學習本書 通過 AI 認證考試，建立自己 AI 的新技能。



序言 在浩瀚無垠的宇宙中，有一個小小的藍色星球，孕育了巍峨的山 川，蜿蜒的河流、四季更迭、萬物生長……每一次草長鶯飛，每一個花 晨月夕都是自然對於我們人類的饋贈。 人類，作為萬物靈長，成為了這個星球重要的居住者。歷史長河波 瀾壯闊，歲月一刻不停地向前，逝者如斯夫，時間永遠不會為任何人停 駐，每一個有思想有追求的人，都希望自己在短暫的人生中不斷發展和 完善自我，有所作為。而人類提高和完善自己的能力，是在思考和處理 問題的過程中獲得的，是通過改變自己的思維方式，進而改變自己的行 動及現狀而實現的。人類改變和進步的關鍵是激發創造性，從深層次打 破陳規，創新思維方式，創造性是人類發展源源不斷的動力。 人類不斷地思考和求索，因此而獲得的產物包羅萬象，豐碩多元。 1956 年的夏天，電腦科學家 John McCarthy 在著名的達特茅斯會議上 首次提出了“人工智慧”這個詞，如今 AI 仍然被全球認為是非常前沿 和創新的科研方向，如今 AI 的影響力已不局限於學術界，而是向商業 應用、各行各業拓展和實踐，取得了令人矚目的成果。 AI 是對人類學習過程的詮釋，對人類思維過程的量化，對人類行 為過程的再現，以及對人類自我認知歷程的延伸，不久的將來，AI 一 定會在極大程度上推動人類社會的進步和發展，提升各行各業的效率， 實現技術變革，通過智慧運算，AI 將進行定量分析、成果優化並替代 人們完成重複性的工作；AI 也將融入人們的生活，改善生活品質，提 升生產力，人類將通過 AI 技術大幅節省時間，將潛力盡力發揮，去從 事更需策略和思考、更需複雜技術和藝術創造力、更需投入情感和愛心 的事情。芸芸百姓，能有更多時間陪伴家人閑坐，燈火可親，享受三餐 煙火暖，四季皆安然的人生況味。 人類的對話模式已經逐漸由 2D 交互向具有更高效率和真實沉浸體 驗感的 3D 交互轉變，3D 視覺交互系統則取決於虛擬實境（VR）、增

強現實（AR）和混合現實（MR）的發展。在數位時代，龐大的、爆發 式的海量資料處理能力和算力提升將推動 AI 的生態環境，人類將探索 出更多 AI 的落地場景；加之自動化技術和感知技術進一步成熟，資料 驅動 AI 自主決策的各類應用將深度解放人類，使人類從曾經為了生存、 生活、求知、溝通交流的物質層面進入到專注“身心靈”健康和美好的 嶄新維度，人類可以讓思想和思維提升到前所未有的高度，找尋宇宙新 能量，用心靈力量穿越時空，探索更多未知。 人類的發展和進化源於每一次挑戰和嘗試，無論是成功的嘗試還是 失敗的嘗試，都是在人類思想光芒的指引下，不斷前行，得以進步。因 此人類的思想至今仍是獨特的，被尊重的高等智慧，充滿神奇的力量。 人類運用思想智慧的力量，在曲折中不斷前進，不斷完善，建設性地、 創造性地開發出更多智慧產物，並進一步服務於人類。 AI 時代已經到來，我們如果對未來充滿熱情，對創新技術的浪潮 保持好奇和探索欲；對元宇宙、AI 等知識充滿求知的動力，那這本書 便是帶領我們打開這扇大門的鑰匙。親愛的讀者，希望我們共同發掘這 個神秘技術蘊藏的能量，願我們所有編者的努力能為您帶來一些啟發和 收穫。

1第 章 我們與 AI 的關係 一、AI，其實是一個勤能補拙的學生 ----------------09 二、AI 圖像訓練師，就是當好一個老師 -------------14 8 第一章 我們與 AI 的關係

一 AI，其實是一個勤能補拙的學生 在我們探討 AI 圖像訓練師的角色和責任之前，讓我們先以一個擬 人化的方式來看待 AI。你可以把 AI 想像成一個勤奮且虛心的學生，它 不斷地從大量的資料中學習，進步並不斷地提升自己。 AI 的學習方式有點像人腦神經的運作方式。人腦神經透過不斷的 學習和經驗累積，逐漸形成對事物的辨識和理解能力。而 AI 則是通過 對大量的資料進行訓練，來學習並模擬人腦的辨識和理解過程。透過 這樣的方式，AI 在圖像辨識、語音辨識、自然語言處理等領域取得了 驚人的進步。 在圖像辨識領域，AI 可以通過訓練來學習識別圖像中的物體、場 景和人物。例如：當你上傳一張照片到社交媒體上，AI 可以自動識別 照片中的人物並標記出來，這樣你就可以輕鬆地標記照片中的朋友。 此外，AI 還能夠識別圖像中的物體，例如：汽車、動物、建築物等， 這在自動駕駛和智能城市等領域有著重要的應用價值。 在語音辨識領域，AI 可以通過訓練來識別和理解人類的語音。例 如：智能助理如 Siri 和 Alexa 就是基於語音辨識技術開發的，它們能 夠聽取用戶的聲音指令並做出相應的回應。此外，語音辨識技術還在 客戶服務、語音助手、醫療診斷等領域有著廣泛的應用。 9

圖解從觀察大腦構造、理解神經元、以程式設計神經元到串接為 AI 神經網路的過程 在自然語言處理領域，AI 可以通過訓練來理解和生成人類的語言。 例如：機器翻譯技術可以將一種語言轉換為另一種語言，這在跨國交 流和文化交流中起到了重要的作用。此外，自然語言處理技術還可以 應用於情感分析、信息提取、文本生成等領域。 10 第一章 我們與 AI 的關係

然而，儘管 AI 在這些領域取得了巨大的進步，但我們也應該意識 到，AI 只是一個 \" 學生 \"，它需要被教導和引導。就像我們教導一個學 生一樣，我們需要確保 AI 得到正確和合適的教導，以避免出現不正確 的結果或不良的影響。這就是本書的目的，將介紹如何教導和引導我 們的 \"AI 學生 \"，以確保它們能夠更好地運用於現實世界中的各種應用 場景。 AI 訓練師的職責就是教導好 “AI 學生” < 圖片來源 : https://www.irasutoya.com/> AI 學生的最大優勢在於它的勤奮。與人類相比，AI 學生可以通過 加速的方式進行學習，不僅可以迅速完成大量的練習題，還可以不斷 地重複練習，而不會感到疲憊。這種勤奮的特點使得 AI 在各領域中超 越了人類的表現，並以 \" 勤能補拙 \" 的方式取得優勢。 在 AI 圖像訓練師的角色和責任中，AI 學生的勤奮優勢尤為顯著。 AI 可以在短時間內處理龐大的圖像資料集，並通過不斷的訓練和優化 11

來提升自己的辨識和理解能力。相比之下，人類訓練師在處理大量圖 像資料時可能會感到疲憊，並因此在效率和準確性上受到限制。而 AI 學生則可以不受時間和疲勞的限制，持之以恆地進行學習和訓練，不 斷進步。 此外，在其他領域中，AI 學生的勤奮優勢也同樣明顯。例如：在語 音辨識和自然語言處理領域，AI 可以不斷地處理大量的語音資料和文 本資料，並進行深度學習和模型優化，以提高自己的辨識和理解能力。 而人類在處理大量的語音和文本資料時可能會感到疲憊和出錯，這就 使得 AI 在這些領域中表現出超越人類的潛力。 總體來說，AI 學生的勤奮優勢使得它們在各領域中能夠以加速的 方式進行學習和訓練，並不斷地提升自己的能力，超越人類的表現。 這種特點使得 AI 在未來的科技發展中具有巨大的潛力，並在許多領域 中發揮著重要的作用。 深度學習的訓練，就如同學生不斷做練習題一般 < 圖片來源 : https://www.irasutoya.com/> 12 第一章 我們與 AI 的關係

只要放著 AI 模型自己學習就可以獲得很強的能力嗎 ? AI 模型就像是學生，還是需要 AI 訓練師做適當的引導， 例如：設定超參數、提供資料集等等，才能調整出最好 的 AI 模型 ! 13

二 AI 圖像訓練師，就是當好一個老師 AI 圖像訓練師猶如一位優秀的老師，他們需要負責引導 AI 模型 進行圖像辨識的學習，確保它能夠達到高準確性和效能，就像老師引 導學生學習一樣。 首先，就像老師出題目一樣，AI 圖像訓練師需要蒐集並整理大量 的圖像資料集，這相當於給學生出習題。他們需要仔細選擇和標記這 些圖像，為 AI 模型提供足夠的訓練樣本，讓模型能夠從中學習。 其次，就像老師選擇教學策略一樣，AI 圖像訓練師需要選擇並使 用適合的機器學習算法和模型來訓練 AI 模型，這就是訓練的過程。他 們需要根據不同的圖像訓練需求調整和優化模型的參數和結構，就像 老師根據學生的學習情況調整教學方法。 此外，AI 圖像訓練師還需要像隨堂考一樣進行評估和驗證訓練後 的 AI 模型的性能。他們需要進行大量的測試和評估，確保模型在不同 的圖像驗證集上能夠達到高準確性，就像隨堂考評估學生的學習成果。 如果發現模型存在問題或不足之處，訓練師需要根據結果進行調整和 改進，就像老師根據考試結果給予學生反饋。 最後，就像期末考一樣， AI 圖像訓練師需要在最終階段進行測 試，確保 AI 模型在實際應用中能夠達到最佳效果。他們需要與其他團 隊成員合作，確保模型能夠與其他系統和應用進行結合，就像學生在 期末考前需要整合所學的知識。 AI 模型的生成過程就像教導學生一樣，要經過出題目 ( 蒐集大量資料集 ) 、做練習題 ( 訓練 AI 模型 ) 以及期末考 ( 測試與應用 ) 。< 圖片來源 : https://www.irasutoya. com/> 14 第一章 我們與 AI 的關係

以下將簡介每一個項目的意義 : 1 整理圖像資料集 整理大量的圖像資料集，相當於給學生出習題。就像一位老師在 編排習題時需謹慎挑選題目，AI 圖像訓練師也需要仔細挑選並整理圖 像資料集，以確保資料集的品質和多樣性。 首先，AI 圖像訓練師需要從不同來源收集大量的圖像資料，這相 當於給學生出題目。這些圖像可能來自不同的資料庫、網站、社交媒 體等，並且可能包含多種不同主題、場景和風格的圖像。訓練師需要 仔細挑選和篩選這些圖像，確保它們能夠代表訓練模型所需學習的範 疇，就像老師挑選習題時要符合學生的學習目標。 其次，訓練師需要對這些圖像進行標記，以便讓 AI 模型能夠理解 圖像中的內容和特徵，就像老師在習題上標記答案或給予提示。這可 能包括標示圖像中的物體、場景、位置、顏色等信息，以幫助模型從 圖像中學習並建立對象的認知。 此外，訓練師還需要考慮資料集的多樣性和平衡性，確保資料集 中包含足夠的正樣本和負樣本，以及不同類別和屬性的圖像。這相當 於老師在出習題時，要確保題目的難度、類型和範疇都能夠均衡分佈， 以確保學生能夠全面掌握學科知識。 整理大量的圖像資料集是 AI 圖像訓練師的首要責任，就像老師給 學生出習題一樣，訓練師需要謹慎挑選和標記圖像，確保資料集的品 質和多樣性，為 AI 模型提供優質的訓練樣本。 15

2 模型選用與訓練策略 就像老師在教學時需要選擇不同的教學策略以應對不同學生的需 求，AI 圖像訓練師也需要選擇並使用適合的機器學習算法和模型來訓 練 AI 模型。 AI 圖像訓練師需要根據資料集的特性、任務的需求以及預期的結 果，來選擇合適的機器學習算法和模型。例如：在圖像分類任務中以 卷積神經網絡（CNN）為最常見的算法，但 AI 訓練師需要了解如何選 擇最合適模型、特點和應用場景，並根據任務的要求選擇合適的模型 架構、損失函數和優化器等訓練參數，就像老師在選擇不同的教學方 法和教材一樣，需根據學生的不同特點和學科要求來選擇合適的教學 策略。 此外，訓練師還需進行模型的訓練、驗證和測試，這相當於學生 在學習過程中完成回家習題、隨堂考和期末考。他們需要調整模型參 數，優化模型性能，並通過驗證資料和測試資料來評估模型的準確性、 穩定性和泛用性。 最後，訓練師還需要不斷更新和改進訓練策略，以適應不斷變化 的資料和需求，就像老師不斷反思和調整教學策略以提高教學效果一 樣。 選擇並使用適合的機器學習算法和模型，是 AI 圖像訓練師的重要 責任，他們需深入了解不同算法和模型的特點並根據任務需求進行選 擇和優化，以確保 AI 模型能在實際任務中有最好的表現，就像學生能 在期末考中取得好成績一樣。 16 第一章 我們與 AI 的關係

3 模型的測試與應用 就像期末考一樣，AI 圖像訓練師需要在最終階段進行測試，以確 保 AI 模型在實際應用中能夠達到最佳效果。 測試是訓練師在訓練過程中的最後一個關鍵步驟，就像學生在期 末考中展示他們學習成果一樣。訓練師會使用測試資料來評估模型的 性能和準確性，並確保模型能夠在實際應用中達到預期的效果。 測試階段通常包括使用先前未見過的資料集來進行模型的性能評 估，以驗證模型的泛用性。這相當於期末考中學生需要應對不同題型 和考題來展示他們對知識的全面理解。 訓練師會分析測試結果，並根據模型的表現進行調整和優化，以 確保模型在實際應用中能夠達到最佳效果。他們可能會調整模型的參 數、改進損失函數、調整模型架構或者進行資料增強等操作，以提升 模型的性能，就像學生在期末考後根據考試結果來檢討自己的答題方 式和提升自己的考試成績。 測試結果也可以幫助訓練師評估模型的強弱之處，並作為未來模 型改進的參考依據。透過測試階段的反饋，訓練師能夠進一步優化模 型的訓練策略，提升模型的性能和準確性。 總之，測試階段對於確保 AI 模型在實際應用中達到最佳效果至關 重要，就像期末考對於學生展示他們學習成果的重要性一樣。訓練師 需要根據測試結果進行模型的優化和改進，以確保模型能夠在實際應 用中達到預期的效果。 17

1 2 整理圖象 訓練 數據集 4 3 測試與應用 驗證 AI 模型訓練與應用的四大流程 圖像 AI 訓練師需要做哪些事情呢 ? AI 訓練師需要先整理圖像資料集，接著選擇適當的 AI 模 型進行訓練、驗證，在反覆至 AI 模型在驗證中取得好的 成績後，再將模型搭載到實際環境進行測試與實際應用。 18 第一章 我們與 AI 的關係

NOT E 19

2第 章 我們跟 AI 的溝通管道 : AI 互動平台 一、為什麼我們需要 AI 互動平台 ----------------------21 二、訓練平台的基本功能 -----------------------------25 三、生成模型四步驟 : 標記、訓練、驗證與測試 ------30 四、應用平台的基本功能 -----------------------------34 20 第二章 我們跟 AI 的溝通管道 : AI 互動平台

一 為什麼我們需要 AI 互動平台 AI 技術的應用越來越廣泛，包括圖像辨識、語音識別、自然語言 處理等領域。然而，這些技術通常需要深厚的程式基礎和專業知識， 導致一般人難以使用和應用。 如果一般人希望自行使用 AI 技術，他們需要學習相關的程式語言， 例如：Python，並了解深度學習框架如 PyTorch、TensorFlow 等。這 需要花費大量的時間和精力來學習程式語言和相關工具，並理解其背 後的原理和應用。 此外，他們還需要學習如何導入和訓練 AI 模型，了解模型的導入 方式、參數調整和模型優化等技巧。這涉及到對機器學習算法和深度 神經網絡的深入理解，並需要進行反覆的實驗和調試，以找到最佳的 模型參數。 即使成功學習上述知識，還需要解決系統相容性的問題，例如： 確保 AI 模型能夠在特定的硬體和軟體環境中運行正常，並能夠與其他 系統進行集成。這涉及到處理不同版本的程式庫、解決可能出現的相 容性問題，並進行系統層面的調試和測試。 此外，當遇到問題時，需要進行調試和錯誤排除，這可能需要對 模型的運行過程和程式碼進行深入的分析和修復，對一般人來說很困 難。 因此，我們需要 AI 互動平台來解決這個問題。這些互動平台提供 了簡單的使用者界面 ( UI ) ，使普通人能夠輕鬆地與 AI 進行溝通和互 動，就像與一個 AI 學生交流一樣。透過這些平台，我們不再需要學習 寫程式，只需透過簡單的 UI 操作就可以訓練出想要的模型。 這些 AI 互動平台通常提供了視覺化的模型訓練界面，讓使用者可 以直觀地設定模型的參數、選擇訓練資料、調整模型架構等，而不需 21

要深入了解機器學習算法和深度神經網絡的細節。使用者只需透過拖 放和點擊等簡單的操作，就可以訓練自己的 AI 學生。 此外，這些 AI 互動平台通常也已經為我們解決了硬體相容性的問 題。它們通常運行在雲端伺服器上，使用者無需擔心硬體設備的兼容 性和性能問題，可以輕鬆地在平台上進行模型訓練和推理。 而且，這些平台通常提供了範例操作和教學資源，使使用者可以 有系統地學習如何訓練自己的 AI 學生。使用者可以參考範例操作來了 解如何設定參數、選擇資料集、評估模型性能等，並根據自己的需求 進行調整和優化。 AI 互動平台為一般人提供了一個簡單、直觀且無需程式基礎的方 式來使用和應用 AI 技術。透過這些平台，使用者可以輕鬆地訓練自己 的 AI 學生，並且可以避免繁瑣的程式語言學習和系統相容性問題。這 使得 AI 技術更加普及化，讓更多的人能夠受益於其應用。 有了 AI 互動平台，無須繁瑣的編碼流程也可以使用 AI 技術。 < 圖片來源 : https://www.irasutoya.com/> 22 第二章 我們跟 AI 的溝通管道 : AI 互動平台

舉例如：國產的智泰科技 VisLab 和 VisCam，它是一個 AI 互動平 台，為使用者提供了一個直觀和友好的界面，讓使用者可以輕鬆地進 行圖像辨識和物體檢測等任務，無需深入了解複雜的 AI 技術和編程知 識。 這樣的互動平台使得更多的人可以受益於 AI 技術，包括普通用戶、 非專業人士、企業和組織等。這樣的平台能夠降低使用 AI 技術的門檻， 讓更多的人能夠輕鬆地使用 AI 技術，並將其應用於各種實際場景，從 而推動 AI 技術的普及和應用。 AI 互動平台的出現解決了一般人無法使用 AI 技術的問題，提供了 簡單易用的界面，使人們能夠輕鬆地與 AI 進行溝通和互動，促進了 AI 技術的應用和普及。 使用 AI 互動平台，可以很容易地將 AI 模型導入到實際應用中。 < 圖片來源 : https://www.irasutoya.com/> 23

使用 AI 互動平台相比於使用網路上的開源程式碼有什麼 優勢呢 ? AI 互動平台大多是專業的 AI 工程師開發的，讓我們可以 透過簡單的 UI 操作就能訓練 AI 模型。此外，更完善的 平台還能提供與其他程式或是設備串接的功能，並大幅 度減少相容性的問題，讓多數人都能輕鬆上手 ! 24 第二章 我們跟 AI 的溝通管道 : AI 互動平台

二 訓練平台的基本功能 AI 互動平台提供了 AI 訓練師和 AI 學生之間的互動空間，就像在 教室中一樣。這個平台充滿了各種功能，例如：分類、物件偵測和影 像分割等，就像我們在學校裡學習各種不同的學科一樣。此外，這個 AI 平台還提供了完整的標記、訓練和驗證功能，就像學校的教學系統 一樣，讓訓練師和學生能夠輕鬆地進行模型訓練和評估。 在 AI 平台中，訓練師和學生可以使用標記工具，輕鬆地在圖像中 標記不同的物件類別或區域，進行分類、物件偵測或影像分割等任務。 訓練師和學生可以根據不同的需求，選擇不同的深度學習演算法，如 卷積神經網絡（CNN），並設定相關的參數，如學習率、批次大小等， 進行模型的訓練。平台還提供了驗證功能，讓訓練師和學生能夠評估 模型在不同資料集上的性能，並做出調整和優化。 此外，AI 平台還提供了資料增強等功能，這就像是學校為學生提 供特別訓練一樣。資料增強技術可以通過生成虛擬資料、旋轉、翻轉、 縮放等方式，擴增原始資料集，提高模型的穩健性和泛用性。 最後，在訓練完成後，AI 平台還可以讓訓練師和學生將訓練好的 模型匯出，就像學校幫學生與企業接軌一樣。這樣，訓練師和學生就 可以將訓練好的模型應用於實際應用場景中，達到實際應用和實現商 業化的目的。 以智泰科技的 VisLab 為例，這是一個功能豐富的 AI 訓練平台， 可以支援多種不同的應用場景，包括分類、物件偵測和影像分割等。 25

分類模式：此平台提供了簡便的標記工具，讓使用者能夠輕鬆地 在圖像中標記不同的物件類別。標記完成後，使用者可以使用平台 內 建 的 訓 練 功 能， 選 擇 不 同 的 深 度 學 習 演 算 法， 如 卷 積 神 經 網 絡 （Convolutional Neural Network, CNN），並設定相關的參數，例如： 學習率、批次大小等，進行模型的訓練。平台還提供了驗證功能，讓 使用者能夠評估模型在不同資料集上的性能。 物件偵測模式：在這個模式下，此平台允許使用者在圖像中標記不 同物件的位置和類別。使用者可以輕鬆地進行物件的標記和訓練， 並且可以選擇不同的物件偵測演算法，如基於區域的卷積神經網絡 （Region-based Convolutional Neural Network）等，進行模型的訓 練。驗證功能也可以幫助使用者評估模型的準確性和穩定性。 影像分割模式：此平台還支援影像分割任務，使用者可以輕鬆地標 記圖像中的不同區域，並訓練模型來實現圖像的分割。平台提供了不 同的分割演算法，如全卷積神經網絡（Fully Convolutional Networks, FCN），供使用者選擇。 標記工具可以讓訓練師快速生成資料的標記 26 第二章 我們跟 AI 的溝通管道 : AI 互動平台

訓練工具讓訓練師方便地訓練 AI 模型 驗證工具讓模型的訓練結果一目了然 此外，此平台還具備與後續應用串接的方式，例如：可以使用智 泰科技的 VisCam AI 應用平台進行模型導入並連接相機，使得訓練出 的模型可以直接應用於實際環境中。另外，平台還支援 HTTP 通訊協 定，可以輕鬆地與其他設備或程式進行串接，實現更多應用場景的整 合。 27

總結此小節，有了 AI 互動平台的導入，使用者可以跳過繁複的編 碼流程，而直觀、簡易地透過 UI 操作實現與 AI 學生互動的目的，進 一步訓練出適合的 AI 模型。但儘管使用方便，AI 模型的訓練過程仍有 許多細節需要注意，也有許多會影響最終結果的技巧，這些將會在後 續的章節做說明。 透過 AI 應用平台，可以很容易地把 AI 模型串接到實際應用中 透過 AI 應用平台，可以很容易地把 AI 模型串接到實際應用中 28 第二章 我們跟 AI 的溝通管道 : AI 互動平台

圖像分類、物件偵測與影像分割有甚麼不同呢 ? 29

三 生成模型四步驟 : 標記、訓練、驗證與測試 在 AI 互動平台中，生成好的 AI 模型通常需要經過四個關鍵步驟 : 標記、訓練、驗證與測試。這四個步驟就像是幫 AI 設計題目、讓 AI 做練習題、讓 AI 做考試題，以及讓 AI 做期末考試題，通過這些步驟， 可以生成高效且準確的 AI 模型，而每個步驟都是生成高效且準確的 AI 模型不可或缺的一部分。 準備訓練素材，是訓練 AI 模型的第一步 1 標記 ( Labeling ) : 標記就像是為 AI 設計題目。在這一步驟中，訓練師和學生可以使 用平台提供的標記工具，對圖像、文字或其他類型的資料進行標記， 指定其對應的類別或區域。例如：對於圖像分類任務，訓練師和學生 可以手動為圖像中的物件標記其類別，例如：貓、狗、汽車等。這樣 的標記可以作為 AI 模型的訓練標籤，用於學習和預測未標記資料。 30 第二章 我們跟 AI 的溝通管道 : AI 互動平台

透過 AI 互動平台的標記功能，可以快速準備標記資料 2 訓練 ( Training ) 訓練就像是讓 AI 做練習題。在這一步驟中，訓練師和學生可以選 擇合適的深度學習演算法，並設定相關的參數，如學習率、批次大小 等，進行模型的訓練。訓練師和學生可以使用平台提供的訓練功能， 將標記的資料輸入模型，進行多輪的訓練和優化。模型通過不斷的反 饋和調整，逐漸提高其預測準確性。 透過 AI 互動平台的訓練功能，可以輕鬆訓練 AI 模型 31

3 驗證 ( Validation ) 驗證就像是讓 AI 做考試題。在這一步驟中，訓練師和學生可以使 用平台提供的驗證功能，將訓練好的模型應用於不同的資料集，評估 其性能。驗證資料通常是從原始資料集中分離出來的，用於測試模型 對未見資料的預測能力。訓練師和學生可以根據驗證結果，調整模型 的參數和架構，進一步提升模型的準確性和泛用性。 4 測試 ( Testing ) 測試就像是讓 AI 做期末考試題。在這一步驟中，訓練師和學生可 以使用平台提供的測試功能，將訓練好的模型應用於測試資料，進行 模型的最終評估。測試資料通常是未見過的資料，用於模型的最終性 能評估。訓練師和學生應評估模型在測試資料上的準確性、泛用性， 確保模型能夠在實際應用中具有良好的表現。 透過 AI 互動平台的驗證功能，可以進行模型驗證與測試 32 第二章 我們跟 AI 的溝通管道 : AI 互動平台

通過這四個步驟，訓練師和學生可以不斷進行標記、訓練、驗證 和測試的迭代過程，不斷優化和提升 AI 模型的效能。這樣生成的 AI 模型將能夠在實際應用中應對各種情境並產生準確且有價值的預測結 果。在接下來的章節中，我們將更加詳細地介紹每一個步驟的相關技 術和方法，以幫助訓練師和學生更好地生成高效的 AI 模型，進一步應 用在各行各業中。 健康醫療 農漁畜牧 智慧生活 智慧製造 訓練出性能優異的 AI 模型，將可在各行各業應用無窮 < 圖片來源 : https://www.irasutoya.com/> 生成一個好的圖像 AI 模型 ( 監督式學習 ) 有哪些步驟呢 ? 首先要進行標記，就像在給 AI 出考題一樣。第二步要進 行模型訓練，這一步就像是讓 AI 做練習題。第三步要進 行驗證，就像讓 AI 做平時考。最後要進行測試，用 AI 完全沒有見過的題目考考 AI，確認他是不是真的融會貫 通! 33

四 應用平台的基本功能 在前面的小節中，我們已經了解了訓練 AI 模型的大致流程。然 而，將 AI 模型應用到實際應用端仍然面臨著許多問題，例如：系統相 容性、硬體限制、平台選擇和程式串接等等。這就像學生在取得學位 後，不一定能夠順利與產業接軌一樣。 在實際應用中，將訓練好的 AI 模型整合到現有系統中可能面臨系 統相容性的挑戰。不同的系統可能使用不同的程式語言、資料格式或 通訊協定，這可能需要進行程式串接或資料轉換來實現模型的無縫整 合。此外，不同的硬體環境可能對模型的運行效能和運行速度產生限 制，例如：運算資源不足、記憶體限制或能耗限制等，需要在應用平 台的選擇和部署方式上做出適當的考量。 平台的選擇也是一個重要的議題。市場上有眾多的 AI 應用平台和 框架可供選擇，每個平台都有其優點和限制。選擇合適的平台需要考 慮到應用需求、預算限制、開發人員技能等多方面因素。此外，平台 的技術支援和更新頻率也是需要考慮的因素，因為不斷變化的 AI 技術 和生態系統可能會影響到應用的效果和長期可維護性。 此外，實際應用中還需要考慮到資料隱私和安全等議題。AI 模型 可能需要存取大量的使用者資料，因此必須確保資料的合法使用和隱 私保護，避免違反相關法規和產生潛在的風險。 應用 AI 模型到實際應用端可能需要進行性能優化、測試驗證和效 果評估等工作。這涉及到對模型的持續改進和優化，以確保模型在實 際應用中能夠達到預期的效果。 因此，應用平台的功能變得尤為重要。一般來說，應用平台由專 業的 AI 工程師設計和製作，可以很好地將 AI 模型與實際應用進行串 接。以國產的智泰科技 VisCam AI 應用平台為例，該平台具有清楚直 34 第二章 我們跟 AI 的溝通管道 : AI 互動平台

觀的使用者介面，可以輕鬆地驅動訓練好的 AI 模型，並且支援在 CPU 與 GPU 之間進行切換，以符合檢測端的硬體支援性。此外，該平台 還提供直接串接相機的方案，使用者可以將相機資料傳送給該平台， 該平台會在第一時間對相機截取到的圖像進行 AI 分析並將結果儲存於 電腦中。 此外，該平台還可以輕鬆地與其他應用程式進行串接，通過 HTTP 通訊協定，該平台可以作為區域網路內的伺服器，將所有在同一網域 內（包括同一台電腦）的其他程式傳輸過來的圖片進行即時的 AI 分析， 並回傳檢測結果，因此可以直觀地與各種裝置進行串接，並進一步實 現實際應用，例如：瑕疵檢測、機械手臂定位等等。 當然，除了像 VisCam 這樣介面化的應用平台之外，如果使用者 具備深入的軟硬體基礎，也可以自行在個人電腦上編寫檢測程式，或 者將應用端架設於像 Google、Microsoft、Amazon 這樣的大型雲端 服務平台，甚至是使用遠端伺服器或邊緣運算的方式進行部署。 透過 AI 應用平台，可以快速將訓練後的 AI 模型與實際應用串接 35

值得一提的是，不同的應用場景和需求可能需要不同的應用平台 或部署方式。例如：如果需要在嵌入式系統中運行 AI 模型，可能需要 使用特定的嵌入式系統平台和相應的軟體工具。如果需要在移動設備 上運行 AI 模型，可能需要使用移動端的 AI 框架和開發工具。因此， 在選擇應用平台和部署方式時，需要根據具體應用的需求和硬體環境 進行適配。 此外，應用平台還應該提供完善的支援和技術服務，例如：定期 的軟體更新、技術支援、使用文檔和社群支援等，以確保使用者能夠 充分發揮 AI 模型的潛力，並解決可能遇到的問題。 只要簡單編寫一個 HTTP 應用端，就可以快速與具有 HTTP 服務器功能的 應用平台串接 總之，應用平台在將 AI 模型應用於實際應用時起著重要的作用， 它可以幫助使用者輕鬆地將訓練好的 AI 模型整合到實際應用中，並實 現實際的應用效果。選擇適合的應用平台並善用其功能，將對實際應 用的成功與效益產生積極的影響。AI 應用平台很好的為我們解決了 \"AI 學生 \" 與 \" 工作 \" 接軌的問題。通過平台的使用， AI 圖像辨識的技 術已經在很多領域取得成功，而我們只要循序漸進成為一個好的 AI 訓 練師，就可以讓 AI 為我們創造出無限的可能 ! 36 第二章 我們跟 AI 的溝通管道 : AI 互動平台

透過 AI 檢測平台的串接，已經實現了各種生活應用 訓練好圖像 AI 模型後一般有哪些方式可以將模型搭載到 應用端呢 ? 對於一般人而言建議可以使用 AI 應用平台中的功能直接 讀取相機輸入或是電腦中的圖像。若有程式能力的人則 可以考慮雲端服務平台或是直接將模型搭載於邊緣運算 裝置，使用領域會更加廣泛，但也需要解決較多的相容 性問題。 37

NOT E 38 第二章 我們跟 AI 的溝通管道 : AI 互動平台

NOT E 39

3第 章 學會幫 AI 設計題目 : 資料準備與標記 一、出題目 ! 資料集的準備 ---------------------------41 二、題目品質影響學習效果 : 取像的重要性 -----------46 三、把題目分成練習題與考題 : 資料集的切割 ---------49 四、讓題目有變化 : 資料增強方法 --------------------53 40 第三章 學會幫 AI 設計題目 : 資料準備與標記

一 出題目 ! 資料集的準備 在訓練 AI 模型之前，一個重要的步驟是準備適合的資料集。資料 集的選擇和準備就像是要準備給學生的教材一樣，對於訓練出高品質 的 AI 模型至關重要。在這一章中，我們將討論資料集的準備與標記相 關的議題。 1 使用公開資料集還是自己的資料集 ? 在準備資料集時，首先需要考慮是使用公開資料集還是自己的資 料集。使用公開資料集的優點包括資料集已經經過驗證和標記、樣本 量通常較大、多樣性較高，並且有助於避免版權和合規性的問題。此 外，使用公開資料集還可以促進研究和開放科學的發展，並且節省資 源和時間。 然而，使用公開資料集也可能存在一些限制。例如：公開資料集 可能不完全符合特定應用的需求，例如：資料集可能與實際應用場景 不符，或者資料集的標記可能不準確或不完整。此外，由於公開資料 集被廣泛使用，因此在訓練模型時可能會面臨競爭和相似性的問題， 可能導致模型的泛用性受到限制。 另一方面，使用自己的資料集可能有更好的控制權，可以根據特 定需求和應用場景進行定制化。自己的資料集可能更貼近實際應用， 有助於提升模型的泛用性。此外，自己的資料集可能有更好的標記品 質和標記準確性，因為可以根據需求進行精細的標記。 然而，使用自己的資料集也可能面臨一些挑戰。例如：自己的資 料集可能樣本量較少、多樣性較低，需要額外的時間和資源進行標記 和驗證。此外，自己的資料集可能需要處理版權和合規性等法律和倫 理問題，並且需要確保資料集的隱私和安全。另外，使用自己的資料 集可能需要額外的努力來收集、整理和處理資料，並且可能需要解決 資料品質和標記準確性等問題。 41

除此之外，部分的 AI 互動平台如智泰科技的 VisLab 也會提供程 式內專屬的資料集供使用者使用。這種類型的資料集雖不像公開資料 集一樣有極大的資料量，但也是由專業的 AI 工程師審核過的資料，並 且也具備一定的規模，又免去了自行蒐集與標記資料的困擾，不失為 一個好選擇。 綜合考慮，選擇使用公開資料集還是自己的資料集應該根據具體 情況而定。公開資料集通常適合快速開展實驗和研究，但可能面臨資 料準確性和泛用性的挑戰。而使用自己的資料集可能需要額外的努力 和資源，但可以更好地滿足特定需求和應用場景。 直接使用 AI 平台提供的資料集是一個好選擇 42 第三章 學會幫 AI 設計題目 : 資料準備與標記

2 常見的圖像公開資料集 ? 在圖像處理領域，有許多公開資料集可供使用。這些資料集通常 包含大量圖像和相關的標記資訊，可以用於訓練不同類型的 AI 模型， 例如：圖像分類、物件偵測和影像分割等。 以下是一些常見的圖像公開資料集： ImageNet: ImageNet 是一個大規模的圖像資料集，包含超過一百 萬的圖像和一千個不同類別的標記，被廣泛用於圖像分類和物件偵測 任務。 COCO ( Common Objects in Context ) : COCO 是一個包含大約 三十萬圖像和超過八十個物件類別的資料集，被廣泛用於物件偵測、 影像分割和關鍵點偵測等任務。 Pascal VOC ( Visual Object Classes ) : Pascal VOC 是一個經典的 圖像資料集，包含超過一萬張圖像和二十個不同類別的標記，主要用 於物件偵測和影像分割等任務。 CelebA ( Celebrities Attributes ) : CelebA 是一個包含二十萬個名 人圖像和四十個屬性標記的資料集，主要用於人臉識別和屬性預測等 任務。 MNIST ( Modified National Institute of Standards and Technology database ) : MNIST 是一個包含六萬張手寫數字圖像的資料集，主要 用於圖像分類和手寫數字辨識等任務，是一個經典的入門資料集。 43

3 圖像資料集的標記方式 圖像資料集的標記方式通常包括以下幾種： 分類 ( Classification ) ：對圖像進行標記，指定其屬於哪一個或哪 幾個類別。這是最簡單的標記方式，通常用於圖像分類任務，例如： 將圖像分為不同的物件類別或場景類別。 分類模式使用流程圖 物件偵測 ( Object Detection ) ：在圖像中標記出物件的位置和類 別。物件偵測標記通常包括物件的邊界框 ( Bounding Box ) 和物件類 別的標籤，用於標示圖像中的物件位置和類別信息。 物件偵測模式使用流程圖 44 第三章 學會幫 AI 設計題目 : 資料準備與標記

影像分割 ( Image Segmentation )：對圖像中的每個像素進行標記， 將其劃分為不同的區域或類別。影像分割標記通常使用像素級別的標 籤，用於標示圖像中不同的區域，例如：物件和背景等。 影像分割模式使用流程圖 以上是圖像資料集中常見的標記方式，不同的標記方式適用於不 同的應用場景和任務需求。選擇合適的標記方式對於訓練準確的 AI 模 型非常重要，並且需要確保標記的準確性和一致性。通常，標記圖像 資料集需要耗費大量的時間和資源，因此在進行資料準備和標記時， 需要仔細考慮標記方式的選擇和相關的資源投入。此外，還需要注意 資料集的隱私和安全，並確保符合相關法律和倫理要求。 圖像準備資料集有哪幾種常見的方式呢 ? 一般來說可以選擇公開的資料集或是付費購買的資料 集，也可以自己在應用場景架設取相設備自行蒐集圖像 資料。另外，部分 AI 互動平台也會提供隨平台軟體附贈 的資料集，也是不錯的選擇。 45

二 題目品質影響學習效果 : 取像的重要性 在 AI 模型的訓練過程中，取像是非常重要的步驟，就像是在準備 學生的教學素材一樣，取像的質與量在 AI 訓練的過程中扮演了重要的 角色。然而，有許多迷思需要被澄清，因此在本小節中，會著重針對 幾個常見的迷思進行破解。 1 取的圖片越多越好嗎 ? 這是一個常見的問題。當然，照理說較多的圖片可以訓練出更具 有泛用性的模型。然而，在務實層面上會面臨幾個問題 : 當選用較為輕量化的模型時，過多的圖片可能會導致模型無法成功 學習其中的特徵。然而如果為了遷就大量的圖片而選擇較為大型的模 型時，可能會消耗過多的運算資源，並且檢測的速率也會明顯下降。 大量的圖片需要非常多標記人力，如果準備大量圖片只比少量圖片 的訓練效果提升一些，完全不符合成本效益，此外，大量的圖片也對 導致 AI 模型訓練的困難，一來有可能難以收斂，二來即使能收斂也會 消耗大量的時間，時間成本不一定是划算的。 有時較專精的應用，例如：瑕疵檢測，只需要學習幾個特定的特徵 即可。如果使用大量、且變異量高的圖片，會導致模型學習過多與應 用無關的特徵，反而可能導致檢測效果變差。 有鑑於以上的問題，本書作者較建議的取像方式是先取較少量的 樣本 ( 大約每種類別 30~100 張 ) 進行標記，並進行初步測試，也就是 以這些樣本進行模型的訓練、驗證，再針對驗證的結果決定要如何進 行下一步。例如：如果特定類別正確率較低可以針對這個類別多取幾 張圖片，就像教導學生時針對他錯的題目可以多出幾題練習題一樣。 當少量樣本測試可以達到相當水平的正確率時，如需追求更高的整體 正確率再考慮加入更多的樣本，如此才不會投入過多資源卻無法取得 對應的效能提升。 46 第三章 學會幫 AI 設計題目 : 資料準備與標記

過多的圖片可能消耗大量的運算資源，並且需要很長的時間進行訓練， 因此選擇適量的圖片很重要。 2 隨手拿相機或手機拍就可以嗎 ? 這是第二個常見的問題，在這個人手一機的時代，說到拍照一般 人直覺就想到手機。然而，大家都一定有使用手機拍文件或是證件的 經驗吧 ? 如果使用手機拍攝，往往會有光源不穩定、陰影或是變形的 問題，而使用掃描機還是可以明顯感受出所取得的圖像更加清晰、光 源也更均勻。因此最好還是以專業的取像設備進行取像會更好，如果 有實際應用場景，那建議直接使用與應用時相同的環境與取像設備蒐 集資料集，就可以做到全真模擬考的效果，降低 AI 模型因為不熟悉 環境與設備所造成的錯誤判斷。 以手機拍攝 ( 左圖 ) 與使用線掃描設備 ( 右圖 ) 取像有顯著差異，不管在細節的呈現 或是減少反光與變形上都是線掃描設備更好。 47

綜上所述，若有取像需求，應該在實際應用端架設專業的取像設 備，並以此設備蒐集 AI 模型的訓練與驗證資料。初期建議使用少量資 料進行初步測試，再針對 AI 檢測不夠好的項目增加樣本數量，直到達 成預定目標，這樣才能把每一分錢與時間花在刀口上。 專業的取像平台可以大幅提升取像的品質 若要自己取圖像資料集，怎麼做比較好呢 ? 建議先在應用場景架設取像設備，先蒐集少量資料進行 訓練、驗證，初步評估可行性之後再針對較困難的類別 增加樣本，如此才能用較短的時間有效地訓練 AI 圖像模 型。 48 第三章 學會幫 AI 設計題目 : 資料準備與標記

三 把題目分成練習題與考題 : 資料集的切割 在機器學習和深度學習中，資料集的切割是一個重要的步驟。通 常，資料集會被切割成訓練集、測試集和驗證集，以便進行模型的訓 練、調整參數和評估。這樣的切割可以幫助我們評估模型在不同情境 下的性能，並確保模型的泛用性。 為什麼要分訓練集、測試集和驗證集呢？這是因為在機器學習中， 我們需要確保模型在不同的資料上都能夠表現良好，而不僅僅是在訓 練時的表現。就像教導學生時，如果將考試與回家作業的習題完全重 疊，就不知道學生是把答案背起來還是真的有學會。同理，如果我們 只使用訓練集來評估模型，可能會產生過擬合（Overfitting）的問題， 即模型在訓練集上表現很好，但在新的未見過的資料上表現較差。為 了解決這個問題，我們需要使用測試集和驗證集來評估模型的泛用性。 測試集可以想像為小考題，通常用於調整參數和模型的選擇。在 訓練過程中，我們可以使用測試集來調整模型的參數，例如：調整學 習率、正規化項等，以達到更好的性能。測試集的作用是在模型訓練 期間提供一個中間的評估指標，以幫助我們選擇最佳模型。 驗證集則更像是期末考題，用於最終模型的評估。一旦我們在訓 練和驗證過程中選擇了最佳模型，我們需要使用驗證集來進行最終的 性能評估。驗證集應該是未見過的資料，用於模型在實際應用中的泛 用性評估，以確保模型在真實環境中的表現。一般來說，驗證集在有 實際應用場景的情況下會在該場景下上機測試，如果沒有才會再從資 料集中另外分離出來。 49

在準備資料集時，一般會把資料分為訓練集與測試集，如果沒有實際應用場景則會 再切分出驗證集。 那麼，資料集應該如何切割比較好呢？有幾種常見的資料集切割 方法可以考慮： 一刀切法（Holdout Method）： 一刀切法（Holdout Method）是最簡單的資料集切割方法之一，將 資料集分成訓練集和驗證集兩部分，通常按照一定比例切割，例如： 80% 的資料用於訓練，20% 的資料用於驗證。這種方法的優點是簡單 直觀，適合在資料量較大的情況下使用。然而，這種方法可能會導致 模型對某一特定的驗證集表現良好，但對其他未見過的資料表現較差， 因此驗證集的選擇非常重要。 K 折交叉驗證法（K-fold Cross Validation）： K 折交叉驗證法是一種將資料集切割成 K 個子集的方法，其中 K-1 個 子集用於訓練，剩下的 1 個子集用於測試，依次輪流使用不同的子集 作為驗證集，最終獲得 K 個測試結果的平均值作為模型的最終評估結 果。這樣的方法可以更充分地利用資料，並且對模型的泛用性進行更 50 第三章 學會幫 AI 設計題目 : 資料準備與標記