Kiểm tra tính chính xác của kết quả từ API Wiley-Perplexity Scholar

Hệ thống tìm kiếm nâng cao của Perplexity AI và Wiley đang đối mặt với nhiều nghi vấn liên quan đến tính chính xác của các trích dẫn. Các nghiên cứu cho thấy một số lỗi trong việc tạo tóm tắt tổng hợp và tham chiếu không chính xác.

<pre><code class="language-python">
import requests
from bs4 import BeautifulSoup

def check_doi_consistency(doi):
    url = f"https://api.wiley.com/{doi}"
    response = requests.get(url)
    data = response.json()
    return data['metadata']['doi'] == doi

# Sử dụng hàm trên để kiểm tra DOI: check_doi_consistency('10.1002/anie.202312345')
</code></pre>

So sánh hiệu suất giữa các nền tảng khác nhau

Xác minh thông qua mạng trích dẫn

<pre><code class="language-python">
def fetch_citation_chain(doi, depth=3):
    if depth == 0:
        return [doi]
    citations = get_wiley_citations(doi) # Lấy danh sách trích dẫn từ API Wiley
    return [doi] + fetch_citation_chain(citations[0], depth - 1) if citations else [doi]

# Ví dụ sử dụng: fetch_citation_chain('10.1002/anie.202312345')
</code></pre>

Phương pháp kiểm tra đa nguồn

Sử dụng mô hình ngôn ngữ lớn để phân tích sự ổn định ngữ nghĩa:

<pre><code class="language-python">
from transformers import pipeline

nlp = pipeline("text-classification", model="distilbert-base-uncased")
result = nlp("The transformer architecture enables efficient processing.")
print(result)
</code></pre>

Thực hiện đánh giá kép với Nature

Thiết lập quy trình đánh giá mù đôi cho các nhà thẩm định:

<pre><code class="language-python">
from sklearn.metrics import cohen_kappa_score

labels_a = [1, 0, 1, 1]
labels_b = [1, 1, 0, 1]
kappa = cohen_kappa_score(labels_a, labels_b, weights='quadratic')
print(f"Kappa Score: {kappa:.3f}")
</code></pre>

Công thức tính điểm uy tín

Cách tính điểm CWAS dựa trên CiteScore:

<pre><code class="language-python">
def calculate_cwas(citescores):
    weight_map = {15.0: 1.00, 8.0: 0.72, 3.0: 0.45, 0.0: 0.18}
    weights = [weight_map[min(cs, 15.0)] for cs in citescores]
    norm_weights = [w / sum(weights) for w in weights]
    return norm_weights

# Ví dụ: calculate_cwas([16.0, 9.0, 4.0])
</code></pre>