Python2年生 スクレイピングのしくみ 体験してわかる!会話でまなべる!

 

目次

第1章 Pythonでデータをダウンロード

LESSON 01 スクレイピングってなに?

クローリングとスクレイピング

気を付けないといけないこともある

robots.txtとは?

LESSON 02 Pythonをインストールしてみよう

Windowsにインストールする方法

macOSにインストールする方法

LESSON 03 requestsでアクセスしてみよう

ライブラリのインストール方法

HTMLファイルを読み込むプログラム

IDLEを起動しよう

プログラムを作ってみよう

テキストファイルに書き込む:open、close

テキストファイルに書き込む:with文

 

第2章 HTMLを解析しよう

LESSON 04 HTMLを解析してみよう

Beautiful Soupをインストール

Beautiful Soupで解析する

タグを探して表示する

すべてのタグを探して表示する

idやclassで検索範囲を絞り込む

LESSON 05 ニュースの最新記事一覧を取得してみよう

デベロッパーツールを使って絞り込もう

LESSON 06 リンク一覧をファイルに書き出そう

すべてのリンクタグのhref属性を表示する

すべてのリンクタグのhref属性を絶対URLで表示する

リンク一覧自動作成プログラム

LESSON 07 画像を一括ダウンロードしよう

画像ファイルを読み込んで保存する

ダウンロード用のフォルダを作って保存する

すべてのimgタグの画像ファイルURLを表示する

ページ内の画像を一括ダウンロードするプログラム

 

第3章 表データを読み書きしよう

LESSON 08 pandasを使ってみよう

pandasをインストール

表データってなに?

CSVファイルを読み込む

列データ行データを表示する

列データ行データを追加する

列データ行データを削除する

LESSON 09 さまざまなデータの加工

必要な情報を抽出する

データを集計する

データを並べ替える

行と列を入れ替える

CSVファイルに出力する

LESSON 10 グラフで表示してみよう

matplotlibをインストール

グラフで表示する

さまざまな種類のグラフを表示する

個別のデータをグラフで表示する

棒グラフを画像ファイル出力する

LESSON 11 Excelファイルを読み書きしてみよう

openpyxlをインストール

Excelファイルに出力する

Excelファイルを読み込む

 

第4章 オープンデータを分析してみよう

LESSON 12 オープンデータってなに?

オープンデータは宝の山

LESSON 13 郵便局:郵便番号データ

csvファイルを読み込む

データを抽出する

LESSON 14 e-Stat:政府統計の相互窓口

csvファイルを読み込む

データをグラフで表示する

LESSON 15 キッズすたっと:探そう統計データ

csvファイルを読み込む

データをグラフで表示する

LESSON 16 自治体のデータ:データシティ鯖江

csvファイル(消火栓)を読み込む

foliumをインストール

地図上に消火栓を表示

csvファイル(店舗)を読み込む

地図上に店舗を表示

 

第5章 Web APIでデータを収集しよう

LESSON 17 Web APIってなに?

他のコンピュータの機能を利用する

LESSON 18 OpenWeatherMapってなに?

OpenWeatherMapサイトの利用手順

OpenWeatherMapを利用する

LESSON 19 現在の天気を調べよう

都市名で指定して、天気を取得

JSONってなに?

JSONデータの書式

JSONデータを読み込む方法

郵便番号で指定して、天気を取得する

LESSON 20 現在から5日間(3時間ごと)の天気を調べよう

5日間の天気を取得してみよう

UTC(協定世界時)をJST(日本標準時)に変換

5日間の気温をグラフで表示してみよう

更に先へ進もう

PostgreSQL徹底入門 第4版 インストールから機能・仕組み、アプリ作り、管理・運用まで

作って理解するOS x86系コンピュータを動かす理論と実装

関連記事

  1. SEO検定 公式テキスト 2級 2020・202…

    目次第1章 コンテンツ資産の構築1 内部要素のコンテ…

  2. 日常業務をRPAで楽しく自動化 WinActor…

    目次Chapter1 WinActorの基本と仕組み…

  3. テックネイティブ・カンパニー ~デジタル時代を生…

    目次第1章 テクノロジーから世の中を変えるビジネスを生み出す…

  4. こどもプログラミングドリル (Scratch(ス…

    目次Lesson01 プログラムってどうやって動くの?…

  5. Effective C# 6.0/7.0

    目次第1章 C#言語イディオム項目1 ローカル変数の…

  6. クラウドゲームをつくる技術 ――マルチプレイゲー…

    目次第0章 レンダリング再入門0.1 ゲームプログラ…

  7. 思考法図鑑 ひらめきを生む問題解決・アイデア発想…

    目次序章 思考法を活用するために…

  8. JavaScript フレームワーク入門

    目次Chapter1 JavaScript とフレームワーク…

最近の記事

  1. Microsft .NET C#
  2. れいといちかとまほうのトンネル
PAGE TOP