Lọc JSONL → 8 nhóm lớn và Topics
Kiểm tra dataset nguồn → xem cấu trúc & từng bản ghi → lọc có giải thích → phân loại 30 chủ đề chi tiết → gộp 8 nhóm lớn → tạo dataset mới. Dataset mới chứa dữ liệu đạt lọc và thư mục REVIEW lưu mọi dòng nghi ngờ để đánh giá riêng, nguồn luôn chỉ đọc.
Đăng nhập Hugging Face
Chưa kết nối.
Chọn dataset và kiểm tra quyền đọc
Danh sách file nguồn
Chưa chọn file.
Cấu hình bộ lọc
Chỉ so sánh trong cùng nhóm SFT hoặc SDFT; không tự xóa một nhóm vì trùng với nhóm còn lại.
Xem cụ thể quy tắc lọc và cách ra quyết định
| Nhóm kiểm tra | REVIEW (lưu file riêng) | KEEP (có cảnh báo nhẹ) |
|---|---|---|
| Cấu trúc / lỗi rõ ràng | JSON lỗi, instruction trống, chỉ số/URL, spam ký tự rất mạnh, placeholder lặp | Câu rất ngắn hoặc nhiều dấu câu |
| Trùng lặp | Trùng hoàn toàn sau chuẩn hóa → REVIEW/Duplicated | Gần trùng theo MinHash/Jaccard trong Balanced; Aggressive chuyển REVIEW |
| Ngôn ngữ và noise | Balanced: chỉ ngoại ngữ có bằng chứng mạnh; không xóa văn bản cần dịch | Tiếng Việt không dấu, tiếng pha trộn, chuỗi bất thường và chỉ báo chưa chắc chắn |
| Độ tự nhiên / ý nghĩa | Chỉ chuyển REVIEW khi bằng chứng mạnh | Câu mệnh lệnh lặp/khó hiểu; cần người kiểm tra hoặc LLM Judge |
Không sử dụng LLM Judge: heuristic không thể đánh giá tin cậy ý nghĩa sâu, tính hữu ích hoặc độ tự nhiên trong mọi trường hợp. REVIEW được lưu riêng đầy đủ trong dataset mới, không tự xóa.
- Stage 0 — Đọc dữ liệu: OAuth → kiểm tra quyền đọc → đọc từng JSONL và từng dòng, nhận diện instruction/response.
- Stage 1 — Data & Instruction Filtering: JSON lỗi, instruction thiếu/rỗng, noise, spam, ngôn ngữ không phù hợp.
- Stage 2 — Deduplication & Answer Review: trùng chính xác xuyên file, tìm gần trùng MinHash/Jaccard; cảnh báo đáp án không đầy đủ.
- Stage 3 — Category + Topic: phân loại bản ghi KEEP; dùng danh mục 92 topic chi tiết thuộc 30 Category cũ, ánh xạ về 8 nhóm lớn để tạo thư mục; giữ category chi tiết và topic trong metadata.
- Stage 4 — Sharding & Upload: gộp KEEP theo
SFT/Nhóm-lớn/part-xxxxx.jsonl; ghi REVIEW theoREVIEW/Lý-do/SFT|SDFT/part-xxxxx.jsonl; thống kê nguồn trong README và metadata mỗi dòng, đối chiếu Hub và ghi README.
Quy tắc offline, minh bạch; chưa dùng BERT, embedding, LLM Judge hay đo độ chính xác phân loại trên nhãn thật. Mức low/Other được giữ với metadata cảnh báo, chưa dùng LLM Judge.
Danh mục Category và Topic
Xem tất cả nhóm và topic đang hỗ trợ
Đang tải...
Kết quả KEEP/REVIEW và lý do sẽ hiển thị tại đây.
Thống kê nhóm lớn và Category chi tiết sau lọc
Tạo dataset mới trên Hub
Chỉ nhập tên dataset, không cần gõ username hoặc dấu /.
Đăng nhập Hugging Face để đặt tên dataset.
Vietnamese-SFT-SDFT-Filter-v4-5/ ├── SFT/Education/part-00000.jsonl ├── SDFT/Education/part-00000.jsonl ├── REVIEW/Duplicated/SFT/part-00000.jsonl ├── REVIEW/Spam/SDFT/part-00000.jsonl ├── REVIEW/Repetition/SFT/part-00000.jsonl ├── REVIEW/Other-Word/SFT/part-00000.jsonl ├── REVIEW/Non-Instruction/SFT/part-00000.jsonl └── README.md
Chọn dataset nguồn để ước tính khối lượng upload.
KEEP vào SFT/SDFT; bản ghi nghi ngờ/lỗi/trùng được lưu đầy đủ trong REVIEW với lý do và đường dẫn nguồn; README thống kê cả hai nhóm. Không tạo thư mục source_N trong output. Các dòng thuộc cùng Kind/Category (hoặc REVIEW/Lý-do/Kind) được gộp chung xuyên nguồn và đánh số part liên tục; README thống kê số bản ghi theo nguồn, metadata từng dòng giữ đường dẫn và số dòng gốc. Hugging Face có thể tự tạo file hệ thống .gitattributes.
Chưa bắt đầu.
Checkpoint chưa có. Tiếp tục sẽ dùng vị trí đọc đã lưu.
Thống kê lý do chuyển vào REVIEW và lỗi schema
Chưa chạy. Các nguyên nhân tách REVIEW sẽ hiển thị tại đây; các bản ghi vẫn được lưu trong dataset đích.