Cara menggunakan model pra-terlatih dalam proyek bisnis Anda berikutnya
Teknologi

Cara menggunakan model pra-terlatih dalam proyek bisnis Anda berikutnya

Cara menggunakan model pra-terlatih dalam proyek bisnis Anda berikutnya

 

Cara menggunakan model pra-terlatih dalam proyek bisnis Anda berikutnya
Cara menggunakan model pra-terlatih dalam proyek bisnis Anda berikutnya

Sebagian besar model pembelajaran mendalam baru yang dirilis, terutama di NLP , sangat, sangat besar: Mereka memiliki parameter mulai dari ratusan juta hingga puluhan miliar .

Dengan arsitektur yang cukup baik, semakin besar modelnya , semakin banyak kapasitas pembelajaran yang dimilikinya. Dengan demikian, model-model baru ini memiliki kapasitas belajar yang sangat besar dan dilatih dengan dataset yang sangat, sangat besar .

Karena itu, mereka mempelajari seluruh distribusi dataset yang mereka latih. Orang bisa mengatakan bahwa mereka menyandikan pengetahuan terkompresi dari dataset ini. Ini memungkinkan model-model ini digunakan untuk aplikasi yang sangat menarik — yang paling umum adalah pembelajaran transfer . Transfer learning adalah penyempurnaan model pra-terlatih pada set data / tugas khusus , yang membutuhkan data jauh lebih sedikit, dan model-model berkonvergensi dengan sangat cepat dibandingkan dengan pelatihan dari awal.

Baca: [ Bagaimana mesin melihat: semua yang perlu Anda ketahui tentang visi komputer ]

Bagaimana model pra-dilatih adalah algoritma masa depan
Meskipun model pra-terlatih juga digunakan dalam visi komputer, artikel ini akan fokus pada penggunaannya yang mutakhir dalam domain pemrosesan bahasa alami (NLP). Arsitektur transformer adalah arsitektur paling umum dan paling kuat yang digunakan dalam model ini.

Arsitektur Transformer seperti yang disajikan dalam makalah Google 2017, “Attention Is All You Need.”

Meskipun BERT memulai revolusi pembelajaran transfer NLP, kami akan mengeksplorasi model GPT-2 dan T5 . Model-model ini sudah dilatih sebelumnya — menyetelnya pada aplikasi tertentu akan menghasilkan metrik evaluasi yang jauh lebih baik, tetapi kami akan menggunakannya di luar kotak, yaitu, tanpa penyesuaian.

Model NLP yang sudah dilatih sebelumnya: OpenAI’s GPT-2
GPT-2 menciptakan kontroversi ketika dirilis kembali pada tahun 2019. Karena sangat bagus dalam menghasilkan teks , itu cukup menarik perhatian media dan menimbulkan banyak pertanyaan tentang masa depan AI.

Terlatih pada 40 GB data tekstual, GPT-2 adalah model yang sangat besar yang mengandung sejumlah besar pengetahuan terkompresi dari penampang internet.

GPT-2 memiliki banyak kasus penggunaan potensial . Ini dapat digunakan untuk memprediksi probabilitas suatu kalimat. Ini, pada gilirannya, dapat digunakan untuk koreksi otomatis teks. Selanjutnya, prediksi kata dapat langsung digunakan untuk membangun komponen autocomplete untuk IDE (seperti Visual Studio Code atau PyCharm) untuk menulis kode serta penulisan teks umum . Kami akan menggunakannya untuk pembuatan teks otomatis, dan kumpulan besar teks dapat digunakan untuk analisis bahasa alami.

GPT-2 menghasilkan saran berdasarkan input teks. Input di sebelah kiri adalah “AI mengambil sebagian besar pekerjaan.” Tiga output yang disarankan di sebelah kanan adalah “Faktanya, kepalan tangan perusahaan yang mempekerjakan pada bulan Mei,” “Satu-satunya pekerjaan yang tidak diambil adalah dari,” dan “‘Ketika saya masih muda, rasanya seperti” tanpa kutipan penutup menandai.

Pembuatan teks
Kemampuan model pra-terlatih seperti GPT-2 untuk menghasilkan teks yang koheren sangat mengesankan. Kami dapat memberikannya teks awalan dan memintanya untuk menghasilkan kata, frasa, atau kalimat berikutnya.

Contoh use case adalah menghasilkan dataset ulasan produk untuk melihat jenis kata yang umumnya digunakan dalam ulasan positif versus ulasan negatif.

Mari kita lihat beberapa contoh, dimulai dengan apa yang kita dapatkan jika kita mulai dengan awalan positif, “Sangat menyukai film ini!”

Contoh 1 Mencintai emosi karakter karena berada dalam bahaya konstan, dan bagaimana ketakutan batinnya perlahan-lahan diatasi oleh peristiwa ini. Juga dicintai bahwa dia sangat fokus untuk bertahan hidup; bahkan untuk sesaat rasanya seperti sesuatu dari Batman v Superman muncul sekali lagi karena Anda selalu tahu musuh Anda akan muncul akhirnya 🙂 Tema akhirnya benar-benar terjebak dengan saya juga … Maksud saya ya mereka harus …
Contoh 2 Itu melakukan persis apa yang saya inginkan, hanya sangat menyenangkan. Para pemainnya mengagumkan dan ceritanya masuk akal sejauh ini setelah melihat semuanya sudah ada di IMDB. Ada petunjuk tentang berada di kota bawah tanah sejak dahulu kala karena “kekuatan” mereka (atau ketiadaan) tetapi mereka tidak benar-benar mengatakan begitu banyak … Saya pikir ini lebih seperti satu misteri besar kemudian beberapa aspek lain datang bersama dengan saya untuk saat ini meskipun … Seharusnya …
Seperti yang Anda lihat, kata review tidak ada di mana saja di awalan, tetapi karena kebanyakan review adalah judul yang diikuti oleh badan review, ini memaksa model untuk beradaptasi dengan distribusi itu. Perhatikan juga referensi ke Batman v Superman .

Mari kita lihat contoh lain. Alih-alih tinjauan film, kami akan mencoba menghasilkan ulasan produk menggunakan awalan negatif, “Produk sampah! Jangan Beli.”

Contoh 1 Dan tolong, JANGAN mencoba menggunakan ini sebagai pupuk untuk kebun atau halaman Anda – itu akan menyebabkan kerusakan air yang serius jika tertelan oleh ikan dan burung. Gunakan dengan hati-hati karena kemungkinan pestisida dapat hadir dalam makanan hewan peliharaan yang tersedia online di toko bahan makanan organik seperti nama yang terlalu “baik” seperti Petsmart, PetSmart & Safeway. Bagaimana racun adalah sisa makanan? Produk limbah dapat berkontribusi dalam jumlah yang signifikan – cukup sehingga bahkan sangat…
Contoh 2 Tidak ada yang akan memberi Anda sepotong sampah lagi. Lakukan saja kebaikan pada diri Anda dan bisnis Anda dan bersihkan sebelum membelinya secara cuma-cuma untuk menghemat uang atau kenyamanan di masa depan.1 / 2 ons Botol Kemasan Penyimpanan Makanan Plastik + 1 bungkus # 1636370105702615 (P, 3ml) $ 7 Beli Sekarang Anda dapat membeli botol-botol ini di toko ritel mana pun tetapi di sini adalah caranya…
Sekali lagi, awalan dapat disimpulkan sebagai judul ulasan produk, sehingga model mulai menghasilkan teks mengikuti pola itu. GPT-2 dapat menghasilkan semua jenis teks seperti ini.

Sebuah notebook Google CoLab siap untuk digunakan untuk eksperimen, seperti “Write Dengan Transformer” live demo .

Menjawab pertanyaan
Ya, karena GPT-2 dilatih di web, ia “tahu” banyak pengetahuan manusia yang telah dipublikasikan secara online hingga 2019. Ini dapat bekerja untuk pertanyaan kontekstual juga, tetapi kami harus mengikuti format eksplisit “ Pertanyaan: X, Jawab: ”sebelum dibiarkan mencoba pelengkapan otomatis. Tetapi jika kita memaksa model untuk menjawab pertanyaan kita, itu mungkin menghasilkan jawaban yang cukup samar. Inilah yang terjadi ketika mencoba memaksanya untuk menjawab pertanyaan terbuka untuk menguji pengetahuannya:

Contoh 1 Pertanyaan: Siapa yang menemukan teori evolusi?
Jawaban: Teori evolusi pertama kali dikemukakan oleh Charles Darwin pada 1859.
Contoh 2 Pertanyaan: Berapa banyak gigi yang dimiliki manusia?
Jawab: Manusia memiliki 21 gigi.
Seperti yang bisa kita lihat, model pra-pelatihan memberikan jawaban yang cukup rinci untuk pertanyaan pertama. Untuk yang kedua, ia mencoba yang terbaik, tetapi tidak dibandingkan dengan Google Search.

Jelas bahwa GPT-2 memiliki potensi besar. Menyempurnakannya, dapat digunakan untuk contoh yang disebutkan di atas dengan akurasi yang jauh lebih tinggi. Tetapi bahkan GPT-2 pra-pelatihan yang kami evaluasi masih tidak seburuk itu.

Model NLP yang sudah dilatih sebelumnya: Google T5
Google T5 adalah salah satu model bahasa alami paling canggih saat ini. Itu dibangun di atas pekerjaan sebelumnya pada model Transformer secara umum. Tidak seperti BERT, yang hanya memiliki blok encoder, dan GPT-2, yang hanya memiliki blok decoder, T5 menggunakan keduanya .

T5 input dan output. 1) “menerjemahkan Bahasa Inggris ke Bahasa Jerman: Itu bagus,” menjadi “Das ist gut.” 2) “kalimat cola: Kursus ini melompat dengan baik,” menjadi “tidak dapat diterima.” 3) “stsb kalimat1: Badak yang merumput di rumput. Kalimat2: Badak sedang merumput di ladang,” menjadi “3,8.” 4) “meringkas: otoritas negara mengirim kru darurat Selasa untuk mensurvei kerusakan setelah serangan cuaca buruk di mississippi …” menjadi “enam orang dirawat di rumah sakit setelah badai di daerah attala.”
Contoh input dan output yang sesuai dari model T5, dari makalah Google tahun 2019 , “Menjelajahi Batas Pembelajaran Transfer dengan Unified Text-to-Text Transformer.”
GPT-2 dilatih pada 40 GB data teks sudah mengesankan, tetapi T5 dilatih pada dataset 7 TB . Meskipun ia dilatih untuk jumlah iterasi yang sangat, sangat besar, ia tidak dapat membaca semua teks. Meskipun T5 dapat melakukan pembuatan teks seperti GPT-2, kami akan menggunakannya untuk kasus penggunaan bisnis yang lebih menarik.

Peringkasan
Mari kita mulai dengan tugas sederhana: peringkasan teks . Bagi perusahaan pengembangan AI yang ingin membangun aplikasi yang merangkum artikel berita, T5 sangat cocok untuk tugas itu. Misalnya, memberikan artikel ini ke T5, berikut adalah tiga ringkasan berbeda yang dihasilkannya:

V1 musim takdir 2 berikutnya, mulai 10 Maret, akan mengolah pedang. mereka akan memiliki energi pengisian ulang yang digunakan untuk menggerakkan serangan berat dan menjaga. acara hari valentine, hari merah, juga terjadi bulan ini.
V2 bungie telah mengungkapkan bahwa musim takdir 2 berikutnya akan secara dramatis mengolah pedang. studio sebagian besar malu-malu tentang apa yang akan terjadi musim ini. memikirkan kembali akan membiarkan pedang memotong sebagian perisai musuh.
V3 musim takdir 2 berikutnya akan mengolah pedang dan membiarkan mereka melewati perisai musuh. musim dimulai 10 Maret. Anda dapat bermain takdir 2 selama hari merah, acara hari valentine.
Seperti yang bisa kita lihat, itu telah melakukan pekerjaan yang cukup bagus meringkas artikel. Juga, setiap ringkasan berbeda dari yang lain.

Meringkas menggunakan model pra-terlatih memiliki aplikasi potensial yang sangat besar. Salah satu use case yang menarik adalah membuat ringkasan setiap artikel secara otomatis dan meletakkannya di awal untuk pembaca yang hanya ingin sinopsis. Ini dapat diambil lebih lanjut dengan mempersonalisasikan ringkasan untuk setiap pengguna . Misalnya, jika beberapa pengguna memiliki kosakata yang lebih kecil, mereka dapat disajikan ringkasan dengan pilihan kata yang tidak terlalu rumit. Ini adalah contoh yang sangat sederhana, namun itu menunjukkan kekuatan model ini.

Kasus penggunaan lain yang menarik adalah menggunakan ringkasan seperti itu dalam SEO situs web. Meskipun T5 dapat dilatih untuk menghasilkan SEO berkualitas sangat tinggi secara otomatis, menggunakan ringkasan mungkin membantu, tanpa melatih ulang model.

Pemahaman membaca
T5 juga dapat digunakan untuk membaca pemahaman , misalnya, menjawab pertanyaan dari konteks yang diberikan. Aplikasi ini memiliki case use yang sangat menarik yang akan kita lihat nanti. Tetapi mari kita mulai dengan beberapa contoh:

Pertanyaan Siapa yang menemukan teori evolusi?
Konteks
( Encyclopædia Britannica ) Penemuan tulang fosil dari mamalia besar yang telah punah di Argentina dan pengamatan sejumlah spesies kutilang di Kepulauan Galapagos adalah di antara peristiwa yang dikreditkan dengan merangsang minat Darwin pada bagaimana spesies berasal. Pada 1859 ia menerbitkan On the Origin of Species oleh Sarana Seleksi Alam, sebuah risalah yang menetapkan teori evolusi dan, yang paling penting, peran seleksi alam dalam menentukan arahnya.
Menjawab darwin
Tidak ada penyebutan eksplisit bahwa Darwin yang menciptakan teori tersebut, tetapi model tersebut menggunakan pengetahuan yang ada bersama beberapa konteks untuk mencapai kesimpulan yang tepat.

Bagaimana dengan konteks yang sangat kecil?

Pertanyaan Kemana kita pergi?
Konteks Pada hari ulang tahunku, kami memutuskan untuk mengunjungi daerah utara Pakistan. Sangat menyenangkan.
Menjawab daerah utara pakistan
Oke, itu cukup mudah. Bagaimana dengan pertanyaan filosofis?

Pertanyaan apa arti kehidupan?

Konteks
( Wikipedia ) Makna hidup seperti yang kita rasakan berasal dari kontemplasi filosofis dan religius, dan penyelidikan ilmiah tentang keberadaan, ikatan sosial, kesadaran, dan kebahagiaan. Banyak masalah lain yang juga terlibat, seperti makna simbolik, ontologi, nilai, tujuan, etika, baik dan jahat, kehendak bebas, keberadaan satu atau banyak dewa, konsepsi Tuhan, jiwa, dan kehidupan setelah kematian. Kontribusi ilmiah fokus terutama pada menggambarkan fakta empiris terkait tentang alam semesta, mengeksplorasi konteks dan parameter mengenai “bagaimana” kehidupan.
Menjawab kontemplasi filosofis dan religius, dan penyelidikan ilmiah tentang keberadaan, ikatan sosial, kesadaran, dan kebahagiaan
Meskipun kita tahu jawaban untuk pertanyaan ini sangat rumit, T5 mencoba untuk memberikan jawaban yang sangat dekat, namun masuk akal. Pujian!

Mari kita lanjutkan. Mari kita ajukan beberapa pertanyaan dengan menggunakan artikel Engadget yang disebutkan sebelumnya sebagai konteksnya.

Pertanyaan Tentang apakah ini?
Menjawab takdir 2 akan secara dramatis ulang
Pertanyaan Kapan kita dapat mengharapkan pembaruan ini?
Menjawab 10 Maret
Seperti yang Anda lihat, menjawab pertanyaan kontekstual dari T5 sangat baik. Satu kasus penggunaan bisnis adalah membangun chatbot kontekstual untuk situs web yang menjawab pertanyaan yang relevan dengan halaman saat ini.

Kasus penggunaan lain dapat dengan mencari beberapa informasi dari dokumen, misalnya, ajukan pertanyaan seperti, “Apakah itu pelanggaran kontrak untuk menggunakan laptop perusahaan untuk proyek pribadi?” menggunakan dokumen hukum sebagai konteks. Meskipun T5 memiliki batasnya, T5 cukup cocok untuk jenis tugas ini.

Pembaca mungkin bertanya-tanya, Mengapa tidak menggunakan model khusus untuk setiap tugas? Ini poin yang bagus: Akurasi akan jauh lebih tinggi dan biaya penyebaran model khusus akan jauh lebih rendah daripada model NLP pra-terlatih T5. Tetapi keindahan T5 adalah bahwa ia adalah “satu model untuk mengatur semuanya,” yaitu, Anda dapat menggunakan satu model pra-terlatih untuk hampir semua tugas NLP . Plus, kami ingin menggunakan model ini di luar kotak, tanpa pelatihan ulang atau fine-tuning. Jadi untuk pengembang yang membuat aplikasi yang merangkum artikel yang berbeda, serta aplikasi yang menjawab pertanyaan kontekstual, model T5 yang sama dapat melakukan keduanya.

Model pra-terlatih: model pembelajaran mendalam yang akan segera ada di mana-mana

Pada artikel ini, kami mengeksplorasi model pra-terlatih dan cara menggunakannya di luar kotak untuk kasus penggunaan bisnis yang berbeda. Sama seperti algoritma penyortiran klasik digunakan hampir di mana-mana untuk masalah penyortiran, model pra-terlatih ini akan digunakan sebagai algoritma standar. Cukup jelas bahwa apa yang kami jelajahi hanya menggores permukaan aplikasi NLP, dan ada banyak lagi yang dapat dilakukan oleh model-model ini.

Model pembelajaran dalam pra-terlatih seperti StyleGAN-2 dan DeepLabv3 dapat memberi daya, dengan cara yang

serupa, aplikasi penglihatan komputer .

The Toptal Desain Blog adalah hub untuk studi desain canggih oleh desainer profesional dalam jaringan Toptal pada semua aspek desain digital, mulai dari tutorial desain rinci untuk cakupan mendalam dari tren baru desain, alat, dan teknik. Anda dapat membaca karya asli yang ditulis oleh Nauman Mustafa di sini . Ikuti Blog Desain Toptal di Twitter , Dribbble , Behance , LinkedIn , Facebook , dan Instagram .

Sumber:

https://thesrirachacookbook.com/puffin-browser-pro/