FANDOM


Ngữ liệu Wikipedia tiếng Việt vào ngày 01.01.2014. Sau khi giải nén, mỗi tệp chứa 1MB nội dung văn bản (đã loại bỏ các cấu trúc XML, markup của MediaWiki nhưng vẫn giữ lại một số "magic word").

Một tệp có thể chứa nhiều bài viết được đánh dấu bằng cặp thẻ <doc></doc>. Ngoài chức năng đánh dấu thẻ này còn cho biết địa chỉ và mã bài viết.

Tải xuống ở đây.

Một vài bài viết ví dụ

<doc id="843" url="http://vi.wikipedia.org/wiki?curid=843" title="Ontario"> Ontario

Ontario là một tỉnh bang của Canada. Thác Niagara nổi tiếng thế giới và Ottawa, thủ đô của Canada, nằm trong địa phận tỉnh bang này. Phía đông Ontario giáp với Québec, tây giáp với Manitoba, bắc giáp với vịnh Hudson và vịnh James, nam giáp với sông St. Lawrence và Ngũ Đại Hồ. Là tỉnh bang lớn thứ hai của Canada, Ontario có diện tích gần 1,1 triệu km², trên nửa triệu ao hồ, và 60.000 km sông ngòi. Tính toàn bộ, Ontario lớn hơn hai nước Pháp và Tây Ban Nha gộp lại và có dân số trên 10 triệu người. Ở thủ phủ Toronto có nhiều hoạt động kinh tế và văn hoá. Ví dụ, tháp CN ("CN tower") là công trình kiến trúc đứng riêng cao nhất thế giới cho đến năm 2007. Tên Ontario thường được cho là bắt nguồn từ tiếng Iroquois, "Skanadario", có nghĩa là "Dòng nước đẹp".

</doc> <doc id="844" url="http://vi.wikipedia.org/wiki?curid=844" title="Manitoba"> Manitoba

Manitoba là một trong ba tỉnh bang nằm ở trung tâm của Canada, có cùng biên giới với Ontario, Saskatchewan và Nunavut, phía bắc giáp vịnh Hudson và phía nam giáp Hoa Kỳ. Hầu hết dân Manitoba có nguồn gốc Anh. Nhưng nhiều thay đổi trong mô hình nhập cư và di trú đã biến tỉnh này là nơi mà không có một sắc tộc nào nổi bật về số lượng. Có trên 700 tổ chức ở tỉnh này hỗ trợ cho công dân mới và dân nhập cư. Khoảng 60% trong số một triệu người dân Manitoba sinh sống ở thành phố chính Winnipeg, thủ phủ của tỉnh bang này. Thành phố lớn thứ hai là Brandon, ở phía tây nam Manitoba. Tên Manitoba có thể đến từ tiếng Cree "manitou bou" có nghĩa là "Eo biển hẹp của Thần linh Vĩ đại". Manitoba cũng là quê hương của Vườn Hoà bình Quốc tế - khu vườn lớn nhất thế giới dành tặng cho hoà bình thế giới.

</doc>

Phương pháp xây dựng

  1. Tải dump của Wikipedia tiếng Việt tại: http://dumps.wikimedia.org/backup-index.html
  2. Tải công cụ Wikipedia Extractor: http://medialab.di.unipi.it/wiki/Wikipedia_Extractor
  3. Trích xuất nội dung bằng lệnh:
    bzcat viwiki-DATE-pages-articles.xml.bz2 | python2.7 WikiExtractor.py -cb 1M

Vấn đề đã biết

  1. Wikipedia tiếng Việt chứa một lượng không rõ nội dung tiếng Anh trong các bài đang dịch dở. Bộ ngữ liệu chưa lọc bỏ được phần nội dung này.
  2. Công cụ Wikipedia Extractor để lại các liên kết ngoài dưới dạng [http://...]. Vấn đề này có thể khắc phục được nhưng phải sửa mã nguồn.

Tác giả

Lê Ngọc Minh <ngocminh.oss@gmail.com>

Bản quyền

CC BY-SA

Ad blocker interference detected!


Wikia is a free-to-use site that makes money from advertising. We have a modified experience for viewers using ad blockers

Wikia is not accessible if you’ve made further modifications. Remove the custom ad blocker rule(s) and the page will load as expected.