Twitter
最新の記事
カテゴリ
タグ
以前の記事
100万字日本語かなn-gramデータ
 tomoemonさんが日本語n-gramのデータを探されているようなので、探されているものとは違うような気もするけれど、自分が作ったn-gramデータをアップしておきます。

 作成手順は以下の通り。

1.Web上その他から、文章を適当に100万字採集。一応、URL、ブログの日付部分、青空文庫のルビなど、集計する意味がないと思われる部分は採集しないようにした。できるだけジャンルが偏らないようにした……つもり。採集した文章のリスト→n-gram_text_list.ods

2.すべての半角文字を全角に変換する。※どうせ英数記号は集計しない。

3.「.」「,」を「。」「、」に変換する。※句読点に「、」「。」ではなく、「,」「.」を使っている文章もあるので。

4.『Kanji2na』で漢字とカタカナをひらがなに変換する。

5.かなと句読点以外(空白も含む)を〓に置き換え、改行の手前に〓を入れる。〓が連続した部分は〓1つに置き換える。※morogramは空白や改行を無視して連続しているとみなすので、その部分を連続していないとして数えるため。

6.かなが存在しない行を削除。※かなが存在せず、句読点が存在する行も削除する。「。」「、」「〓」のみが残っている行の「。」「、」は日本語文章中の句読点ではないと考えられるため。

7.『morogram』で解析する。

 ……というようなものですので、ご利用する場合はその特徴をよく考えてご利用ください。

【日本語n-gramデータ】
N-gram_1gram.txt
N-gram_2gram.txt
N-gram_3gram.txt
N-gram_4gram.txt
N-gram_5gram.txt
N-gram_6gram.txt

 ちなみに、「1万字のかなを入力する場合の打鍵数」で使ったデータは、これです。

※関連記事
「新下駄配列の作成に使用したかな出現数・連なりデータ」
[PR]
by koutarou_13 | 2009-03-01 15:13 | ●その他の日本語入力配列の話 | Trackback(1) | Comments(0)
トラックバックURL : http://kouy.exblog.jp/tb/9731073
トラックバックする(会員専用) [ヘルプ]
Tracked from tomoemonの日記 at 2009-03-02 20:42
タイトル : [タイピング]100万字かなのn-gramデータゲットだぜ
kouyさんデータ提供だけにとどまらず分析方法まで明示していただきありがとうございますm(_ _)m早速使わせていただきます. ローマ字入力でもなく、かな入力でもなく : 100万字日本語かなn-gramデータ 探されているものとは違うような気もするけれど Googleのn-gramデー... more
<< ネットブック買ったよ 利き手なんて関係ない? >>

▼日本語入力方法はローマ字入力とかな入力だけではない▼ローマ字入力とかな入力以外も普通のPCで簡単に使える▼というわけで新下駄配列で快適PCライフをめざすkouyのブログ
検索
最新のトラックバック
新配列習得前覚え書き1(..
from 未来の記憶たち ~Futur..
3時間新下駄配列速習教材
from お泊まり恋愛詩
通勤通学用!新下駄配列5..
from お泊まり恋愛詩
13日間新下駄配列マスタ..
from お泊まり恋愛詩
追加配列仮公開中
from 姫踊子草の楽屋裏
配列関連厳選リンク集
【このブログのおすすめ記事】

【新下駄配列】
●新下駄配列を作りました
●新下駄配列 - Wikipedia
●新下駄配列ブックマーク(はてなブックマーク)
●13日間新下駄配列マスターコース
●ヘヴィのヘヴィなお部屋::新下駄の巨人(新下駄練習用画像セットなど)

【下駄配列】
●下駄配列って何だ?
●ニコニコ動画:下駄配列でタイプウェルに挑戦
●YouTube:下駄配列でタイプウェルに挑戦
●下駄配列ブックマーク(はてなブックマーク)

【けいならべ】
●けいならべ――ローマ字入力より簡単なローマ字入力――

【キーボード配列】
◆総合紹介ページ
●いろいろなカナ入力配列
●QWERTYだけじゃない。 キーボード配列と日本語入力法 - NAVER まとめ

〔親指シフト系〕
◆NICOLA(親指シフト)
●NICOLA 日本語入力コンソーシアム
●親指シフトウォッチ

〔新JIS、中指シフト系〕
◆新JIS配列
●新JIS配列
◆花配列
●花のくに
◆月配列系
●月-中指シフト新JIS配列(2-263式)
●とりあえず月配列とかのブログ(U8版)
●ぶな配列

〔ローマ字入力拡張系、行段系、Dvorak系〕
◆AZIK・ACT
●拡張ローマ字入力『AZIK』・『ACT』で快適な日本語入力を!
◆Dvorak
●DvorakJP

〔漢字直接入力系〕
●漢直ノート 出張版

【配列変更ソフト・キーカスタマイズソフトなど】
●キー入力入れ替えソフト姫踊子草情報頁
●DvorakJ
●やまぶき作ってます
●「のどか」のページ (『窓使いの憂鬱』の派生ソフト)(初心者向けガイド:繭使いの憂鬱
●『KeySwap for XP』(愛とゆりの部屋)
●『Change Key』(窓の杜ライブラリ)
●Karabiner
(Macのキーカスタマイズソフト)
●『まじかるキーボード』(arakisoftware)※配列図を表示するソフト

【キーカスタマイズ】
●俺的キーカスタマイズまとめ (当ブログ記事)
●Wisteria:キーボードを最適に
●分裂勘違い君劇場:思考の速度でパソコンを使う技術
●ejanの24/7:キー配置を変更する:その4
●こどものもうそうblog:1.5倍速く打てる「米光配列」
●enthumble(アンサンブル)

【タイピング】
●GANGAS(『タイプウェル』シリーズ)
●e-typing
●TypeLighter
●シャドールーム
●GROW LAND:タイピング講座
●新聞コラム・社説を打とう

【キーボード】
●ShopU - 親指シフトキーボード
●東プレ株式会社 - キーボード(Realforce)
●富士通専門店ACCESS
●猫のキーボードルーム:キーボード個別面談
●親指シフトの小部屋:親指シフト化に適しているかもしれないJISキーボード

【ワープロ速記、口述筆記】
●テープ起こし・音声起こしの総合情報サイトokoso
●新ワープロ速記法《Internet Archive》
●パソコン要約筆記鷹の爪。

【配列作成参考資料】
◆かなの出現頻度
●100万字日本語かなn-gramデータ
●10万字サンプルにおける文字の出現頻度。
●文字頻度表
●文字や文字の連なりの出現頻度調査結果
●【ローマ字,仮名,親指】新JIS配列キーボード 165
●かな出現頻度調査
◆かなの連なり頻度
●100万字日本語かなn-gramデータ
●10万字サンプルにおける 2-gram 頻度。
●文字や文字の連なりの出現頻度調査結果
●よろしければ配列について教えろ その2 248

【このブログのコメント、トラックバック機能についてなど】

リンク集の最終更新日:2015/12/13

あわせて読みたい
その他のジャンル
記事ランキング
ブログジャンル
画像一覧