跳至主要内容

Dataset

What？​

Dataset 是指一組有結構化或非結構化的資料，通常用於訓練、測試或部署各類技術應用，例如 Machine Learning 模型或 Data Analytics 平台。簡單來說，它是一個資料的集合，包含了我們需要分析、處理或操作的所有資訊。

舉例來說，假設你正在開發一個人臉辨識系統，你可能會使用一個包含數千張人臉照片的 Dataset 作為模型訓練的基礎。這些照片可能附有標籤，例如「年齡」、「性別」或「情緒」，以幫助模型理解並學習特定模式。

Who？​

主要使用者包括：

  1. Data Scientists：負責清理並準備 Dataset 以進行分析和建模。
  2. Machine Learning Engineers：利用 Dataset 訓練模型，並微調參數以提升效能。
  3. Analysts：透過查詢或視覺化工具探索 Dataset 中的趨勢或洞察。
  4. Software Developers：在應用程式中整合 Dataset，例如推薦系統中的商品推薦。

此外，企業決策者也可能間接受到影響，因為他們依賴這些基於資料分析得出的結果來制定策略。

When？​

你可能在以下情境中需要使用 Dataset：

  1. 模型訓練階段：例如開發機器學習模型時，用於提供樣本數據。
  2. 模型測試階段：驗證已訓練的模型是否準確。
  3. 生產環境監控：持續更新或擴充現有 Dataset 以保持系統效能。
  4. 探索式分析階段：例如進行 A/B 測試前需要整理相關資料集。

舉例而言，如果你在開發一個語音助理，則可能需要頻繁使用語音錄音和文字轉錄對應的 Dataset。

Where？​

通常我們會在以下架構中找到 Dataset：

  1. Data Storage 層：如 Cloud Storage（Google Cloud Storage、AWS S3）或者 Database（SQL/NoSQL）。
  2. Preprocessing Pipeline 層：對原始資料進行清理、轉換與標準化處理。
  3. Model Training 層：作為 Machine Learning 模型輸入的一部分。
  4. Visualization 層：透過 Dashboard 或報表進行呈現。

比如，在典型的 ETL 流程中（Extract, Transform, Load），原始資料首先被提取出來形成初步的 Dataset 再進行加工。

Why？​

使用 Dataset 的核心目的是：

  1. 提供足夠且可靠的樣本資料，以支持演算法有效運作。例如訓練深度學習網路時，需要大量高品質資料才能避免過擬合問題。
  2. 幫助抽取關鍵特徵，使得資料更容易被分析工具和 AI 模型所理解。例如在自然語言處理 (NLP) 中，我們需要將文字轉換成可計算表示，如 Word Embedding。
  3. 驗證系統效能，確保其符合業務需求。比如判斷推薦系統是否能精準地推送商品給目標客群。

沒有良好的 Dataset 就像廚師沒有食材，再高超的技術也無法展現成果。

How？​

🛠️ 建立階段​

建立一個高品質的 Dataset 通常包括以下流程：

  1. 確定用途與目標：
    • 決定要用這份數據做什麼，例如分類、回歸還是聚類。
  2. 資料收集：
    • 從內部系統、公開 API 或外部資源提取原始數據。例如利用 Twitter API 抽取推文內容作為文本分析輸入。
  3. 資料清理：
    • 移除缺失值、不合理值與重複項。例如刪除資料中的空白欄位或異常日期格式。
  4. 標籤化 (Labeling)：
    • 對資料打上標籤，例如圖片分類中的「貓」和「狗」，以便監督式學習模型運作。
  5. 特徵工程：
    • 將原始資料轉換成更易於處理形式，例如正規化 (Normalization)、獲取特徵向量等操作。

🔍 查詢階段​

查詢時通常涉及以下步驟：

  1. 定義查詢條件：
    • 明確篩選條件，如「選擇所有 2023 年銷售額大於 $1000 的記錄」可以用 SQL 表示為： 
      SELECT * FROM sales WHERE year = 2023 AND revenue > 1000;
  2. 執行查詢：
    • 使用 SQL 或其他工具執行篩選操作，比如 Pandas 的 .query() 方法： 
      df.query('year == 2023 and revenue > 1000')
  3. 數據可視化與檢查結果：
    • 利用工具如 Tableau 或 Matplotlib 將結果視覺化，以便快速確認趨勢是否符合預期。

補充說明​

📌 範例比較​

以下是兩種不同場景下使用 Dataset 的實例比較：

場景使用 Dataset 類型優勢
圖片分類CIFAR-10已經預先清洗且標籤明確
銷售趨勢分析自建 CSV 檔案彈性設計列欄位

🧠 延伸／常見誤解​

誤解 1: Dataset 越大越好​

事實上，大而雜亂的 Dataset 不一定比小而精準有效。在某些情境下，比如金融風險評估，需要的是高質量、具代表性的小樣本，而非大量重複且無意義的記錄。

誤解 2: 公共 Dataset 一定適合你的專案​

公共 Dataset 如 ImageNet 雖然廣泛被採用，但不一定適合所有應用。假如你的專案需要地區性圖片特徵，那就必須建立自己的 Dataset，而非依賴通用資源。