まとめ : 英語字幕と日本語字幕がある動画

import xml.etree.ElementTree as ET
import re
import urllib.request
from collections import Counter
from xml.sax.saxutils import unescape

# 文字列に含まれるタグを削除する正規表現
reg_tag= re.compile(r"<[^>]*?>")

# 出現する単語
words = []

# Youtube動画の video_id (v=xxxxxxx にある xxxxxxx の部分)
# 先頭から，Github, Dropbox, Youtube Creators, Google search
codes = ["w3jLJU7DT5E", "QADSH8XYx_A", "hPxnIix5ExI", "BNHR6IQJGZs"]
url = 'https://video.google.com/timedtext?hl=en&lang=en&name=&v='

for video_id in codes:
    # Youtubeから英語字幕のXMLファイルを取得
    req = urllib.request.Request(url + video_id)
    with urllib.request.urlopen(req) as responese:
        xml_data = responese.read()

        # xmlの解析
        root = ET.fromstring(xml_data)

        # <text>タグの要素を抽出
        for e in root.getiterator("text"):
            # HTML特殊文字が含まれるので変換
            str = unescape(e.text)

            # unescapeは前後に空白がないと適用されないので，
            # アポストロフィとクォテーションだけ応急処置
            str = str.replace("&#39;", "'")
            str = str.replace("&quot;", '"')

            # 文字から不要な文字を削除
            str = str.replace('.', "")
            str = str.replace(',', "")
            str = str.replace('?', "")
            str = str.replace('!', "")
            str = str.replace(':', "")
            str = str.replace('"', "")
            str = reg_tag.sub("", str)

            # 文字列から単語に分割
            str = str.split()

            # 単語をカウント
            for word in str:
                words.append(word.lower())


# 単語のカウンター
counter = Counter(words)

# 出現頻度の上位50個を出力
no = 1
for word in counter.most_common(50):
    print("%2d.(%2d): %s" % (no, word[1], word[0]))
    no += 1

import xml.etree.ElementTree as ET
import re
from collections import Counter


# 文字列に含まれるタグを削除する正規表現
reg_tag= re.compile(r"<[^>]*?>")

# 出現する単語
words = []

# Youtube動画の字幕
# 下のブログからXMLファイルで字幕を取得して適当な名前で保存（citesには対応するファイル名）
# [purplebabyのブログ](http://purplebaby.opal.ne.jp/2011/06/youtubecgi.html)
cites = ["github.xml", "dropbox.xml", "youtube.xml", "how_search.xml"]

for file_name in cites:
    tree = ET.parse(file_name)
    root = tree.getroot()

    # <text>タグの要素を抽出
    for e in root.getiterator("text"):
        str = e.text

        # 文字から不要な文字を削除
        str = str.replace('.', "")
        str = str.replace(',', "")
        str = str.replace('?', "")
        str = str.replace('!', "")
        str = str.replace(':', "")
        str = str.replace('"', "")
        str = reg_tag.sub("", str)
        str = str.split()

        # 単語をカウント
        for word in str:
            words.append(word.lower());


# 単語のカウンター
counter = Counter(words)

# 出現頻度の上位50個を出力
no = 1
for word in counter.most_common(50):
    print("%2d.(%2d): %s" % (no, word[1], word[0]))
    no += 1