Distilasi Model Amazon Bedrock

Ikhtisar

Dengan Distilasi Model Amazon Bedrock, Anda dapat menggunakan model yang lebih kecil, lebih cepat, dan lebih hemat biaya yang memberikan akurasi spesifik kasus penggunaan yang sebanding dengan model paling canggih di Amazon Bedrock. Model yang didistilasi di Amazon Bedrock lebih cepat hingga 500% dan lebih murah hingga 75% daripada model asli, dengan hilangnya akurasi kurang dari 2% untuk kasus penggunaan seperti RAG.

Manfaatkan model yang lebih kecil dan lebih hemat biaya

Dengan Distilasi Model, pelanggan dapat memilih model 'guru' yang akurasinya ingin dicapai untuk kasus penggunaan mereka, lalu memilih model 'siswa' yang ingin disesuaikan. Pelanggan juga memberikan prompt untuk kasus penggunaan mereka. Distilasi Model mengotomatiskan proses menghasilkan respons dari guru dan menggunakan tanggapan tersebut untuk menyempurnakan model siswa. Model siswa kemudian dapat berperilaku seperti model guru dengan akurasi yang sama dan biaya yang lebih rendah.

Tangkapan layar UI

Maksimalkan kinerja model yang didistilasi dengan sintesis data eksklusif

Penyempurnaan model yang lebih kecil dan hemat biaya demi mencapai akurasi yang mirip dengan model yang lebih besar untuk kasus penggunaan spesifik Anda adalah proses berulang. Untuk menghilangkan beberapa beban iterasi yang diperlukan untuk mencapai hasil yang lebih baik, Distilasi Model dapat memilih untuk menerapkan metode sintesis data berbeda yang paling cocok untuk kasus penggunaan Anda. Misalnya, Bedrock dapat memperluas set data pelatihan dengan menghasilkan petunjuk serupa atau menghasilkan respons sintetis berkualitas tinggi menggunakan pasangan respons prompt yang disediakan pelanggan sebagai contoh terbaik.

Tangkapan layar UI

Kurangi biaya dengan membawa data produksi Anda secara mudah

Dengan penyempurnaan tradisional, pelanggan harus membuat prompt dan respons. Dengan Distilasi Model, pelanggan hanya perlu memberikan prompt, yang kemudian digunakan oleh Distilasi Model untuk menghasilkan respons sintetis dan menyempurnakan model pemelajar. Pelanggan dapat mengarahkan kita ke log invokasi mereka dan juga memfilter log berdasarkan bidang metadata tertentu. Distilasi model dapat membaca prompt serta respons melalui log invokasi dan melewati pembuatan respons sintetis dalam alur kerja Distilasi Model, yang mengurangi biaya karena tidak harus menghasilkan respons dari model pengajar lagi. Mulai contoh kode.

Tangkapan layar UI