TensorFlow Extended (TFX)

Deskripsi

TensorFlow Extended (TFX) adalah platform machine learning (ML) yang komprehensif dan berskala produksi yang dibangun di atas TensorFlow. Platform ini menawarkan kerangka kerja konfigurasi yang kuat dan serangkaian pustaka bersama yang dirancang untuk menyederhanakan integrasi komponen penting dalam mendefinisikan, meluncurkan, dan memantau sistem machine learning yang kompleks. TFX memberdayakan pengguna untuk membangun dan mengelola alur kerja ML secara efektif di lingkungan produksi.

Inti dari TFX adalah penyediaan toolkit untuk membangun pipeline ML. Pipeline ini dapat diorkestrasi di berbagai platform, termasuk Apache Airflow, Apache Beam, dan Kubeflow Pipelines, yang menawarkan fleksibilitas dalam penerapan. Platform ini juga dilengkapi dengan serangkaian komponen standar yang memberikan fungsionalitas terbukti, menyederhanakan tahap awal pembangunan proses ML. Komponen-komponen ini dapat digunakan secara independen atau sebagai bagian dari pipeline yang lebih besar. Selain itu, TFX menyertakan pustaka yang membentuk fungsionalitas dasar untuk banyak komponen standarnya, memungkinkan pengembang untuk memasukkan kekuatan ini ke dalam komponen kustom mereka atau menggunakannya secara terpisah.

Pipeline TFX adalah urutan komponen yang dirancang untuk tugas ML berskala dan berkinerja tinggi, mencakup pemodelan, pelatihan, inferensi penyajian, dan pengelolaan penerapan ke berbagai target seperti aplikasi online, seluler asli, dan JavaScript. Komponen utama meliputi ExampleGen untuk penyerapan data, StatisticsGen untuk menghitung statistik, SchemaGen untuk membuat skema data, ExampleValidator untuk deteksi anomali, Transform untuk rekayasa fitur, Trainer untuk pelatihan model, dan Evaluator untuk menganalisis hasil pelatihan. Platform ini juga mendukung penyetelan hyperparameter dengan Tuner dan memvalidasi kemampuan penyajian model dengan InfraValidator sebelum penerapan melalui Pusher.

Ekosistem TFX mengintegrasikan beberapa pustaka yang kuat. TensorFlow Data Validation (TFDV) digunakan untuk menganalisis dan memvalidasi data ML, menawarkan perhitungan statistik berskala, pembuatan skema, dan deteksi anomali. TensorFlow Transform (TFT) menangani rekayasa fitur menggunakan TensorFlow, memastikan konsistensi antara pelatihan dan inferensi. TensorFlow Model Analysis (TFMA) menyediakan alat untuk mengevaluasi model TensorFlow pada kumpulan data besar, sementara TensorFlow Metadata (TFMD) menawarkan representasi standar untuk metadata ML. ML Metadata (MLMD) mencatat dan mengambil metadata yang terkait dengan alur kerja ML, mendukung persistensi melalui berbagai penyimpanan data.

TFX dirancang untuk portabilitas, mendukung berbagai lingkungan dan kerangka kerja orkestrasi seperti Apache Airflow, Apache Beam, dan Kubeflow, serta platform cloud seperti Google Cloud Platform (GCP). Platform ini berinteroperasi dengan layanan GCP terkelola seperti Cloud AI Platform untuk pelatihan dan prediksi, dan Cloud Dataflow untuk pemrosesan data terdistribusi. Platform ini mendukung target penerapan termasuk TensorFlow Serving untuk lingkungan produksi, TensorFlow Lite untuk aplikasi seluler dan IoT asli, dan TensorFlow.js untuk penerapan browser dan Node.js.

Bagi pengembang, TFX menawarkan platform yang kuat untuk setiap fase proyek ML, mulai dari penelitian dan eksperimen hingga penerapan. Platform ini sangat merekomendasikan implementasi pipeline TFX untuk pelatihan dan penerapan model, memanfaatkan komponen Transform untuk menggunakan TensorFlow Transform untuk preprocessing yang konsisten dan kode analisis, sehingga menghindari penyimpangan pelatihan/penyajian. Hal ini memastikan bahwa logika preprocessing yang sama diterapkan selama pelatihan dan inferensi, menulis kode hanya sekali.

Fitur Inti TensorFlow Extended (TFX)

• Platform ML skala produksi berbasis TensorFlow

• Kerangka kerja konfigurasi untuk sistem ML

• Pustaka bersama untuk komponen ML umum

• Orkestrasi alur kerja ML di berbagai platform (Airflow, Kubeflow, Beam)

• Komponen standar untuk tugas ML (penyerapan data, validasi, transformasi, pelatihan, evaluasi)

• Integrasi dengan TensorFlow Data Validation (TFDV) untuk analisis dan validasi data

• Integrasi dengan TensorFlow Transform (TFT) untuk rekayasa fitur

• Integrasi dengan TensorFlow Model Analysis (TFMA) untuk evaluasi model

• Dukungan untuk penyetelan hyperparameter

• Validasi model dan pemeriksaan kemampuan penyajian

• Penerapan ke TensorFlow Serving, TensorFlow Lite, dan TensorFlow.js

• Portabilitas di lingkungan on-premise dan cloud

• CLI terpadu untuk manajemen pipeline

Memulai dengan TensorFlow Extended (TFX)

1. 1

   Instal TFX: Gunakan pip install tfx.

2. 2

   Konfigurasi pipeline: Definisikan alur kerja ML Anda menggunakan komponen TFX dan orkestrator.

3. 3

   Bangun pipeline: Integrasikan komponen standar atau kustom untuk pemrosesan data, pelatihan, dan evaluasi.

4. 4

   Jalankan pipeline: Eksekusi pipeline TFX Anda menggunakan orkestrator yang didukung seperti Airflow atau Kubeflow.

5. 5

   Terapkan model: Gunakan komponen Pusher untuk menerapkan model yang dilatih ke target seperti TensorFlow Serving.

6. 6

   Pantau dan iterasi: Analisis kinerja model dan data untuk perbaikan berkelanjutan.

Kasus Penggunaan TensorFlow Extended (TFX)

• Pipeline ML Produksi
• Validasi dan Analisis Data
• Rekayasa Fitur
• Pelatihan dan Evaluasi Model
• Penerapan Model
• Otomatisasi MLOps
• Optimasi Hyperparameter
• Pemrosesan Data Berskala

FAQ dari TensorFlow Extended (TFX)

• Apa itu TensorFlow Extended (TFX)?

  TensorFlow Extended (TFX) adalah platform machine learning skala produksi Google yang menyediakan kerangka kerja konfigurasi dan pustaka bersama untuk mengintegrasikan komponen umum dalam mendefinisikan, meluncurkan, dan memantau sistem ML di produksi.

• Apa manfaat menggunakan TFX?

  TFX membantu membangun dan mengelola alur kerja ML di produksi, mengorkestrasi pipeline di berbagai platform, memastikan konsistensi antara pelatihan dan penyajian melalui kode preprocessing bersama, dan mendukung penerapan ke berbagai target.

• Apa saja komponen utama dari pipeline TFX?

  Komponen utama meliputi ExampleGen, StatisticsGen, SchemaGen, ExampleValidator, Transform, Trainer, Evaluator, InfraValidator, dan Pusher, masing-masing menangani tahap tertentu dari siklus hidup ML.

• Pada orkestrator mana pipeline TFX dapat dijalankan?

  Pipeline TFX dapat diorkestrasi pada platform seperti Apache Airflow, Apache Beam, dan Kubeflow Pipelines.

• Bagaimana TFX menangani rekayasa fitur?

  TFX menggunakan pustaka TensorFlow Transform (TFT) dalam komponen Transform-nya untuk melakukan rekayasa fitur, memastikan bahwa transformasi yang sama diterapkan selama pelatihan dan inferensi.

• Apa peran TensorFlow Data Validation (TFDV) dalam TFX?

  TFDV digunakan untuk menganalisis dan memvalidasi data ML, termasuk menghitung statistik, membuat skema, dan mendeteksi anomali, yang merupakan langkah penting dalam mempersiapkan data untuk model ML.

• Bagaimana cara menerapkan model yang dilatih dengan TFX?

  TFX mendukung penerapan ke TensorFlow Serving untuk lingkungan produksi, TensorFlow Lite untuk aplikasi seluler dan IoT, dan TensorFlow.js untuk aplikasi berbasis web.

• Apa itu SavedModel dalam konteks TFX?

  SavedModel adalah format serialisasi TensorFlow model yang universal dan netral bahasa, direkomendasikan untuk penyajian di produksi atau ekspor untuk aplikasi seluler atau JavaScript asli. Komponen TFX menghasilkan dan mengonsumsi SavedModel.

• Bisakah TFX digunakan untuk penyetelan hyperparameter?

  Ya, TFX menyertakan komponen Tuner opsional yang dapat ditambahkan sebelum Trainer untuk menyetel hyperparameter model.

• Bagaimana TFX memastikan konsistensi antara pelatihan dan penyajian?

  Dengan menggunakan komponen Transform dengan TensorFlow Transform, kode rekayasa fitur yang sama diterapkan selama pelatihan model dan inferensi, mencegah penyimpangan pelatihan-penyajian.

• Apa saja persyaratan instalasi untuk TFX?

  TFX dapat diinstal menggunakan pip dengan perintah `pip install tfx`. Paket harian juga tersedia.

• Bagaimana cara memantau kinerja model dengan TFX?

  Komponen Evaluator, yang memanfaatkan TensorFlow Model Analysis (TFMA), memungkinkan analisis mendalam terhadap hasil pelatihan dan kinerja model, dengan kemampuan visualisasi di notebook Jupyter.