ゼロから学ぶ正規表現による中国語テキスト検索・分析入門

1.1　正規表現って何？

正規表現（Regular Expression、略して regex）とは、文字列のパターンを記号で表現する方法です。「任意の1文字」「0回以上の繰り返し」「行の先頭」といった条件を、特定の記号（メタ文字）で書き表します。

たとえば「結婚という2文字の間に何か1文字入っているもの」を探したいとき、正規表現では：

.（ピリオド）が「任意の1文字」を表しています。このように、記号1つで「どんな文字でもいい」という条件を表現できるのが正規表現の力です。

1.2　何ができるのか・できないこと

できること

• 柔軟な検索：完全一致でなく「パターン」で探す
• 一括置換：データの整形・クリーニング
• 抽出：本文・セリフ・特定構造の文だけを取り出す
• 複数ファイル横断検索（Grep）：数百ファイルを一度にスキャン
• 繰り返し処理の自動化：Pythonと組み合わせれば何千ファイルも

苦手なこと・できないこと

• 意味的な検索：「怒りを表す表現」などは意味を理解できない
• 深いネスト構造の完全解析：HTMLの複雑な入れ子には限界がある
• 完璧な精度：意図しないものがヒットすることもある（試行錯誤が必要）

1.3　Ctrl+F との違い

1.4　なぜ中国語研究に向いているのか

英語はスペースで単語が区切られているため、単語単位の検索が比較的簡単です。しかし中国語はスペースで区切られていません。「结」という文字が「结婚」の一部なのか「结束」の一部なのか、文字だけでは判断できません。

また中国語には離合詞（「结婚」→「结了婚」）、呼応形式（「虽然…但是」）、重ね型（「看看」「高高兴兴」）など、パターン的な文法形式が豊富です。これらはまさに正規表現が得意とする「構造的なパターンの検索」に向いています。

2.1　インストールと設定

本書ではPulsar（旧Atom）を使います。無料・オープンソースで、Windows・Mac・Linux すべてに対応しています。

1. https://pulsar-edit.dev/ にアクセス
2. お使いのOSに合わせてダウンロード
3. インストーラーを実行（指示に従うだけ）
4. 起動後、File → Add Project Folder でデータフォルダを開く

2.2　画面の説明

2.3　最初の検索を試す

ステップ1：サンプルテキストを作る

メモ帳やPulsarで以下の内容を sample.txt（UTF-8）として保存してください：

他是昨天去的北京。
我是在上海出生的。
她是坐飞机来的。
这是我的书。
我们是好朋友。

ステップ2：検索してみる

1. Pulsarで sample.txt を開く
2. Ctrl+F（Mac: Cmd+F）で検索パネルを開く
3. .* ボタンをクリックして正規表現モードをオン
4. 検索欄に 是.+的 と入力
5. ハイライトされた部分を確認する

3.1　任意の1文字：.（ピリオド）

. は「改行以外の任意の1文字」にマッチします。

3.2　繰り返し：* + ? {n,m}

3.3　文字クラス：[] と [^]

[] は「この中の文字のどれか1文字」にマッチします。

3.4　行頭・行末：^ と $

3.5　グループ・選択・後方参照：() | \1 $1

置換での後方参照の使い方

3.6　貪欲マッチと非貪欲マッチ

これは正規表現で最もつまずきやすいポイントです。

記号一覧まとめ

4.1　離合詞を探す

「结婚」「睡觉」「生气」のように、分離して使われることがある動詞を離合詞といいます。

4.2　呼応形式・不連続成分を探す

4.3　「是…的」構文を探す

4.4　重ね型・畳語を探す

4.5　量詞・数量表現を探す

# 漢数字＋量詞
[一二三四五六七八九十百千两]+[个只条张本块件套]

# 数字（漢字・算用字）＋量詞（どちらも）
([一二三四五六七八九十百千两]+|[0-9]+)[个只条张本块件套]

# 時間表現
([一二三四五六七八九十]+|[0-9]+)(个)?(小时|分钟|秒)

4.6　語気助詞・文末表現を探す

5.1　どんなデータが使えるか

5.2　晋江文学城（小説データ）

整形手順

1. <script[\s\S]+?</script> → 空欄（scriptタグ削除）
2. <style[\s\S]+?</style> → 空欄（styleタグ削除）
3. 本文div（id="paragraph_comment_content"）より前後を手動削除
4. <[^>]+> → 空欄（HTMLタグ削除）
5.   → スペース（エンティティ処理）
6. 　+ → 空欄（全角スペース削除）
7. ^\n → 空欄（空行削除）
8. ([。！？][""]?) → $1\n（1文1行化）

こんな研究ができる

5.3　字幕ファイル（srt）の処理

1                                    ← 字幕番号
00:00:01,000 --> 00:00:03,500        ← タイムコード（開始→終了）
[王老师] 大家好，我们开始上课。      ← 発話者ラベル＋本文
                                     ← 空行（ブロック区切り）
2
00:00:05,200 --> 00:00:07,600
[学生甲] 老师好！

語彙・文法研究用（タイムコード削除）

# 1. 行番号を削除
検索：^\d+$

# 2. タイムコードを削除
検索：^\d{2}:\d{2}:\d{2},\d{3} --> \d{2}:\d{2}:\d{2},\d{3}$

# 3. 発話者ラベルを削除
検索：^\[[^\]]+\]\s*

# 4. 空行を削除
検索：^\n

# 5. 発話者をタブ区切りで残したい場合
検索：^\[([^\]]+)\]\s*(.+)$　置換：$1\t$2
# → 「王老师\t大家好，我们开始上课。」形式でExcel集計可能

こんな研究ができる

5.4　SNS・Weiboデータの処理

@小李子2024 今天天气真好！#北京生活#想出去逛逛[微笑]。
昨天去了故宫[心动]，超级漂亮！@王芳 你也去了吗？
https://weibo.com/12345/abc #旅游#[doge]
转发 @旅游达人：北京的秋天是最美的季节。

語彙・文法研究用の整形（推奨順序）

# 1. ハッシュタグを削除（Weibo形式 #話題名#）
検索：#[^#\s]+#

# 2. URLを削除
検索：https?://\S+

# 3. @ユーザー名を削除
検索：@[^\s，。！？]+

# 4. ブラケット絵文字を削除
検索：\[[^\]]+\]

# 5. リツイート行を削除
検索：^(转发|RT)\s*@[^\s：:]+[：:]?\s*

# 6. 空行を削除
検索：^\n

こんな研究ができる

5.5　フォルダ構成の設計

5.6　Pythonで自動化する

ファイルが数十〜数百になると手作業には限界があります。Pythonを使えば整形作業を一括自動化できます。

HTML本文の一括抽出（晋江の例）

import re, os, glob

def extract_jinjian(html):
    # scriptタグ・styleタグを削除
    html = re.sub(r'<script[\s\S]+?</script>', '', html)
    html = re.sub(r'<style[\s\S]+?</style>', '', html)
    # 本文divを抽出
    m = re.search(
        r'id="paragraph_comment_content"[^>]*>([\s\S]+?)</div>\s*<div[^>]+id="favoriteshow',
        html)
    if not m: return None
    text = m.group(1)
    text = re.sub(r'<[^>]+>', '', text)   # タグ削除
    text = text.replace('&nbsp;', ' ')       # エンティティ処理
    text = re.sub(r'　+', '', text)           # 全角スペース削除
    text = re.sub(r'\n{2,}', '\n', text)      # 連続改行を整理
    return text.strip()

# フォルダ内のHTMLをまとめて処理
os.makedirs('text_files', exist_ok=True)
for path in glob.glob('html_files/*.html'):
    basename = os.path.splitext(os.path.basename(path))[0]
    with open(path, encoding='gb18030', errors='replace') as f:
        text = extract_jinjian(f.read())
    if text:
        with open(f'text_files/{basename}.txt', 'w', encoding='utf-8') as f:
            f.write(text)
        print(f'✓ {basename}.txt')

srtの一括整形

def clean_srt(srt, remove_speaker=True):
    text = re.sub(r'^\d+$', '', srt, flags=re.MULTILINE)
    text = re.sub(r'^\d{2}:\d{2}:\d{2},\d{3} --> \d{2}:\d{2}:\d{2},\d{3}$',
                  '', text, flags=re.MULTILINE)
    if remove_speaker:
        text = re.sub(r'^\[[^\]]+\]\s*', '', text, flags=re.MULTILINE)
    return re.sub(r'\n{2,}', '\n', text).strip()

5.7　こんな研究ができる

6.1　Grep検索の使い方

1. File → Add Project Folder でデータフォルダを開く
2. Ctrl+Shift+F（Mac: Cmd+Shift+F）でプロジェクト検索を開く
3. .* ボタンで正規表現モードをオン
4. 検索式を入力 → Enter
5. 結果はファイル名・行番号・マッチした行で表示される

6.2　実践演習課題

7.1　タグ付けとは何か

通常のテキストに品詞・文法情報などのタグ（ラベル）を付加したものをタグ付きコーパス（annotated corpus）といいます。タグ付きにすることで「名詞のあとに動詞が来るパターン」のような、品詞レベルの検索が可能になります。

7.2　jiebaでTSV形式に自動タグ付け

jieba（结巴）は中国語の分かち書き・品詞付与ライブラリです。

# インストール
pip install jieba

import jieba.posseg as pseg

text = "周锦渊待过最大的集体就是道观，他连连喊冤。"

# 品詞付与してTSV形式で出力
with open('output.tsv', 'w', encoding='utf-8') as f:
    for word, pos in pseg.cut(text):
        f.write(f'{word}\t{pos}\n')

# 出力例：
# 周锦渊    nr   (人名)
# 待过      v    (動詞)
# 最大      a    (形容詞)
# 的        uj   (助詞)
# 集体      n    (名詞)

jiebaの主要品詞タグ

7.3　TSVタグ付きデータの検索

TSV形式での正規表現検索

# TSVファイルの例（1行1形態素）
周锦渊	nr
待过	v
最大	a
的	uj
集体	n
就是	d

# 「名詞のあとに動詞が来るパターン」を検索
# 検索式（Pulsarで）：
^\S+\tn\n\S+\tv
# → 「名詞（n）の次の行が動詞（v）」にマッチ

# 「的」のあとに名詞が来るパターン
^的\tuj\n(\S+)\tn
# → 「的＋名詞」の名詞を抽出できる

Pythonでの活用例

import re

# TSVファイルを読み込んで動詞リストを抽出
with open('output.tsv', encoding='utf-8') as f:
    lines = f.readlines()

verbs = [line.split('\t')[0] for line in lines
         if line.strip().endswith('\tv')]
print("動詞一覧：", verbs[:10])

# 動詞の頻度集計
from collections import Counter
verb_freq = Counter(verbs)
for word, count in verb_freq.most_common(10):
    print(f'{word}: {count}回')

• 沈国威・氷野善寛（2005）「Windowsパソコンにおける中国語の検索——EmEditorを例に」関西大学東西学術研究所紀要
• 沈国威（2000）『電脳による中国語研究のススメ』白帝社

ゼロから学ぶ正規表現による中国語テキスト検索・分析入門