Sử dụng mô hình GPT để tạo văn bản tiếng Trung

Tạo lời nhạc cổ điển
Hiển thị mã nguồn

# Mô hình tạo lời nhạc tiếng Trung
from transformers import GPT2LMHeadModel, BertTokenizer, TextGenerationPipeline

bo_token = BertTokenizer.from_pretrained(r"D:\PycharmProjects\demo_16\model\models--uer--gpt2-chinese-lyric\snapshots\4a42fd76daab07d9d7ff95c816160cfb7c21684f")
mang_luoi = GPT2LMHeadModel.from_pretrained(r"D:\PycharmProjects\demo_16\model\models--uer--gpt2-chinese-lyric\snapshots\4a42fd76daab07d9d7ff95c816160cfb7c21684f")
# Khởi tạo pipeline
lyric_generator = TextGenerationPipeline(mang_luoi, bo_token)
ket_qua = lyric_generator("Trên đường mưa rơi, ngươi bước phía trước", max_length=100, do_sample=True)
print(ket_qua)
Tạo văn bản cổ điển
Hiển thị mã nguồn

# Mô hình tạo văn bản cổ điển
from transformers import BertTokenizer, GPT2LMHeadModel, TextGenerationPipeline

bo_tu_vung = BertTokenizer.from_pretrained(r"D:\PycharmProjects\demo_16\model\models--uer--gpt2-chinese-ancient\snapshots\3b264872995b09b5d9873e458f3d03a221c00669")
mang_luoi = GPT2LMHeadModel.from_pretrained(r"D:\PycharmProjects\demo_16\model\models--uer--gpt2-chinese-ancient\snapshots\3b264872995b09b5d9873e458f3d03a221c00669")
# Sử dụng GPU nếu có sẵn
ancient_generator = TextGenerationPipeline(mang_luoi, bo_tu_vung, device=0)
ket_qua = ancient_generator("Trên đường mưa rơi, ngươi bước phía trước", max_length=100, do_sample=True)
print(ket_qua)
Tạo câu đối
Hiển thị mã nguồn

# Mô hình tạo câu đối
from transformers import BertTokenizer, GPT2LMHeadModel, TextGenerationPipeline

bo_token = BertTokenizer.from_pretrained(r"D:\PycharmProjects\demo_16\model\models--uer--gpt2-chinese-couplet\snapshots\91b9465fb1be617f69c6f003b0bd6e6642537bec")
mang_luoi = GPT2LMHeadModel.from_pretrained(r"D:\PycharmProjects\demo_16\model\models--uer--gpt2-chinese-couplet\snapshots\91b9465fb1be617f69c6f003b0bd6e6642537bec")
# Khởi tạo pipeline cho GPU
couplet_pipeline = TextGenerationPipeline(mang_luoi, bo_token, device=0)
ket_qua = couplet_pipeline("[CLS]Thập khẩu tâm tư, tư hương tư quốc tư xã tắc -", max_length=28, do_sample=True)
print(ket_qua)
Tạo thơ cổ điển
Hiển thị mã nguồn

# Mô hình tạo thơ cổ điển
from transformers import BertTokenizer, GPT2LMHeadModel, TextGenerationPipeline

bo_tu_vung = BertTokenizer.from_pretrained(r"D:\PycharmProjects\demo_16\model\models--uer--gpt2-chinese-poem\snapshots\6335c88ef6a3362dcdf2e988577b7bafeda6052b")
mang_luoi = GPT2LMHeadModel.from_pretrained(r"D:\PycharmProjects\demo_16\model\models--uer--gpt2-chinese-poem\snapshots\6335c88ef6a3362dcdf2e988577b7bafeda6052b")
# Cấu hình pipeline
poem_generator = TextGenerationPipeline(mang_luoi, bo_tu_vung, device=0)
ket_qua = poem_generator("[CLS]Mai Sơn như tích thúy,", max_length=50, do_sample=True)
print(ket_qua)
Tạo văn bản hiện đại
Hiển thị mã nguồn

# Mô hình tạo văn bản hiện đại
from transformers import BertTokenizer, GPT2LMHeadModel, TextGenerationPipeline

bo_token = BertTokenizer.from_pretrained(r"D:\PycharmProjects\demo_16\model\models--uer--gpt2-chinese-cluecorpussmall\snapshots\c2c0249d8a2731f269414cc3b22dff021f8e07a3")
mang_luoi = GPT2LMHeadModel.from_pretrained(r"D:\PycharmProjects\demo_16\model\models--uer--gpt2-chinese-cluecorpussmall\snapshots\c2c0249d8a2731f269414cc3b22dff021f8e07a3")
# Tạo pipeline
vernacular_pipeline = TextGenerationPipeline(mang_luoi, bo_token, device=0)
ket_qua = vernacular_pipeline("Đã lâu rồi kể từ ngày đó,", max_length=100, do_sample=True)
print(ket_qua)

Thẻ: gpt2 BertTokenizer Transformers Máy học xử lý ngôn ngữ tự nhiên

Đăng vào ngày 6 tháng 6 lúc 04:10