検索： "SecureString" - PowerShell Scripting Weblog

PowerShellでスクレイピング　前編　文字列を取得する

Posted: 07:44:30 |

この記事はPowerShell Advent Calendar 2015の4日目の記事です。

はじめに

今回はPowerShellでWebページのスクレイピングをする際の、ちょっとしたノウハウ集を前後編に分けて紹介したいと思います。

スクレイピングというのは、Webページから文字列を取ってきて、スクリプトから利用可能な形に加工する処理です。昨今は多くのWebサイトやサービスでWeb APIが公開されていて、スクレイピングをせずとも比較的簡単にデータを取得できます。PowerShellだとInvoke-RestMethodコマンドレット等が使えます（その話はまた次回とかにやります）。

しかし現実には、APIが公開されていない等の理由で、HTMLを取ってきて自前で解釈せざるを得ないケースが多々あります。さて、PowerShellではどうやりましょうか、というのが今回の話。様々な方々によってもう色々と語られている分野ではあるのですが、結構細かいハマりどころがあるのでちょっとまとめてみようと思いました。

前編ではまず、Webページからの文字列の取得方法ついてまとめます。

なお、スクレイピングには技術的な問題以外の、微妙な問題（著作権の問題とか、Webサイトへの攻撃と見なされる可能性とか）を含むものなので、その辺りは各自どうかご留意ください。この辺りの話はPowerShellに限った問題ではないので、ここでは詳説いたしません。参考記事：Webスクレイピングの注意事項一覧 - Qiita

Invoke-WebRequestコマンドレットで文字列を取得する

PowerShellでのスクレイピング、基本は何はなくともInvoke-WebRequestコマンドレットです。ただしこのコマンドレットはPowerShell 3.0で追加されたものなので、2.0環境にはないことに注意です。その場合は.NETのWebClientクラス等を使う方法があり、後で述べます。

基本は、

$response = Invoke-WebRequest -Uri "http://winscript.jp/"

のように、Invoke-WebRequestコマンドレットを実行する、だけです。「-Uri」は省略可能です。

このとき$responseにはHtmlWebResponseObjectオブジェクトが格納されています。このうち、指定URLのWebページに含まれているHTMLなどの文字列データは、Contentプロパティに格納されます。つまり、$response.Content に欲しいデータが格納されているので、あとはそれをよしなに利用すればいいわけです。

実はInvoke-WebRequestは、文字列データを取得すると同時に、HTMLの場合はパースしてタグの構造をオブジェクト化までしてくれます。が、それについては次回。

なお、Invoke-WebRequestコマンドレットでは文字列を取得する他、バイナリデータをダウンロードしてファイルとして保存する機能もあります。それについては過去記事をご参照ください。

リクエストにパラメータを付与する（GET）

GETメソッドを用いてクエリを指定する場合、要はhttps://www.google.co.jp/search?q=PowerShell のようなURLのデータを取得する場合は、Invoke-WebRequest "https://www.google.co.jp/search?q=PowerShell" のようにQueryStringを含んだURLをそのまま指定するだけでOKです。

ただし、動的にクエリを組み立てる場合は、URIエンコード（URIエスケープ）を考慮する必要があります。もっとも簡単なのは

$searchWord = "PowerShell 配列"
$response = Invoke-WebRequest "https://www.google.co.jp/search?q=$([Uri]::EscapeDataString($searchWord))"

のように、Uri.EscapeDataStringメソッドを使う方法かと思います。

リクエストにパラメータを付与する（POST）

POSTメソッドでリクエストボディにパラメータを付与するには、Invoke-WebRequestコマンドレットの-Methodパラメータに"Post"を指定し、-Bodyパラメータにリクエストボディに付与するデータを連想配列で指定します。

たとえばブログのトラックバックを手動で撃つにはこんな感じでいけます。

$body = @{title="テスト";url="http://example.com/";excerpt="テスト";blog_name="test"}
Invoke-WebRequest http://ご自分のブログのトラックバックpingURL -Method POST -Body $body

なお、リクエストボディに含めるパラメータの各値（連想配列の値）は、自動でURIエンコードしてくれます。

（12/16追記）
また、-Bodyには連想配列のみならず、任意の文字列（URIエンコード要）やバイト配列（バイナリを送信する場合）を指定することも可能です。

標準認証が必要なページを取得する

ページの取得に標準認証が必要な場合は、-Credentialパラメータにユーザー名とパスワードを指定したPSCredentialオブジェクトを指定すればOKです。

セキュリティのことは取りあえず置いておき、簡易的にスクリプトに生パスワードを直書きしてもいいかな、という場合には以下のように書くことができます。

$userName = "user"
$password = "pass"
$credential = New-Object PSCredential $userName, (ConvertTo-SecureString $password -AsPlainText -Force)
Invoke-WebRequest 認証が必要なページのURL -Credential $credential

しかしこの方法はもちろんお勧めできないので、スクリプトとして保存する場合は通常はパスワードを暗号化しておきます。

まず、Get-Credential ユーザー名 | Export-Clixml cred.xmlを、スクリプトを実行するコンピュータ上で、スクリプトを実行するアカウントと同じアカウントで実行します。パスワードを入力するダイアログが出るので、Webサイトにログオンする際のパスワードを入力します。すると、ユーザー名と暗号化されたパスワードがcred.xmlに出力されます。

スクリプトからは

$credential = Import-Clixml cred.xml
Invoke-WebRequest 認証が必要なページのURL -Credential $credential

のようにすると、cred.xmlからユーザー名と復号したパスワードを、そのまま-Credentialパラメータに渡すことが可能です。

なおcred.xmlに含まれる暗号化パスワードは、ConvertFrom-SecureStringコマンドレットと同様、Windows Data Protection API（DPAPI）を用いてWindowsアカウントのパスワードをキーに利用して暗号化されているので、他のユーザーが復号することはできません。

ちなみに同一スクリプトファイルに暗号化パスワードを含めておくこともできなくはないです。過去記事参照。あと本当は資格情報マネージャーを使うのがいいんですが、…略。参考：PowerShell で Windows の資格情報マネージャーを利用する (Jenkins などでの Git Credentialなど) - tech.guitarrapc.com

セッション情報を引き継ぐ

多くのWebアプリケーションは、同一クライアントからの連続したアクセスを、セッションという単位で管理します。

サーバーはクライアント（普通はWebブラウザ）の初回アクセス時にセッションIDを含むcookieを返し、クライアントからの2回目のアクセス時に、サーバーはcookieにセッションIDが含まれているかどうかを確認し、同一クライアントからのアクセスかどうかを判断するわけです。（ざっくりした説明ですが）

WebブラウザではなくInvoke-WebRequestを使ったアクセスでも同様に、以下のようにすれば受けとったcookie等のセッション情報を次回アクセスに引き継ぐことができます。

$url = "https://ログオンが必要なサイト"
$body = @{リクエストボディ（例えばユーザー名とかパスワードとか）}
$response = Invoke-WebRequest $url -SessionVariable sv -Method POST -Body $body
Invoke-WebRequest $url -WebSession $sv

初回アクセス時に-SessionVariableパラメータに指定した変数名（sv）の変数（$sv）にはWebRequestSessionオブジェクトが格納されます。この中に、サーバーから受け取ったcookie等の情報が格納されています。

次回アクセス時には、-WebSessionパラメータに、初回アクセス時に得られたWebRequestSessionオブジェクト（$sv）を指定します。

さて、実際のWebアプリケーションではcookie以外にも、Formのhiddenフィールドの値などもセッション管理に用いていることがあります。その場合は、初回アクセスのレスポンスからFormに含まれるinput type="hidden"なフィールドを抽出し、次回アクセスのリクエストボディに含ませる必要が出てきます。この辺りの話は後編で述べるパースが必須になってくる（し、長くなる）ので今回は詳説しません。Invoke-WebRequestコマンドレットのリファレンスのExample2に、Facebookにログオンする例なんてのがあるので、そちらで雰囲気をつかんでください。（今でも動作するかは確認してないですが）

エラートラップ

さて、Invoke-WebRequestは、タイムアウトになった、名前解決ができなかった、ページが無かった（404エラー）等々、正常にWebページを取得できなかった場合は、System.Net.WebExceptionというエラーを出します。

コマンドレットの出すエラー（Errorストリームに出力されるErrorRecord）は、try...catchステートメントでは捕捉できない、というのが原則ですが、Invoke-WebRequestコマンドレットのエラーは一般的なコマンドレットと異なり、普通の.NETの例外（System.Net.WebException）なので、try...catchステートメントでエラートラップを行います。

とは言え、Invoke-WebRequestコマンドレットの仕様上、エラートラップをして適切な処理を行うのは非常にめんどいです。何故かというと、Invoke-WebRequestがエラーを出した時点で、HtmlWebResponseObjectオブジェクトの出力は行われないので、このオブジェクトから得られる様々な情報（レスポンス文字列、ステータスコード等々）が取得できないからです。

じゃあどうすればいいのかという話なんですけど、どうもWebExceptionオブジェクトのResponseプロパティを見るしかないようです。具体的にはこんな感じ。

try
{
    $response = Invoke-WebRequest http://存在しないページなど
}
catch [System.Net.WebException]
{
    # HTTPステータスコード取得
    $statusCode = $_.Exception.Response.StatusCode.value__

    # レスポンス文字列取得
    $stream = $_.Exception.Response.GetResponseStream()
    $reader = New-Object System.IO.StreamReader $stream
    $reader.BaseStream.Position = 0
    $reader.DiscardBufferedData()
    $responseBody = $reader.ReadToEnd()
}

せっかくInvoke-WebRequestコマンドレットは、生のレスポンスを利用しやすくHtmlWebResponseObjectという形で返してくれるのに、エラー発生時はその恩恵を受けることができず、泥臭い処理が必要になります。これはかなりいけてないですし、どうせここまで書かないといけないのであれば最初からWebClientクラスを使った方がいいと思います。

httpsで無効な証明書が使われている場合

（12/16追記）
Invoke-WebRequestコマンドレット（およびWebClient）では、httpsで始まるURLからもダウンロード可能ですが、サイトで用いられている証明書に問題がある場合（期限が切れている、暗号化形式に問題がある、いわゆるオレオレ証明書である等）には、「要求は中止されました。SSL/TLSセキュリティで保護されているチャネルを作成できませんでした」というエラーが出てしまいます。

これを回避するには、Invoke-WebRequestコマンドレット実行前に、

[System.Net.ServicePointManager]::ServerCertificateValidationCallback = {$true}

という1文を記述しておきます。

ただし、証明書に問題があるということは、その通信相手が正当かどうか、通信内容が正しく秘匿されているかどうか、保証がされなくなるということですから、その点は念頭においてください。

文字化けの問題

Invoke-WebRequestコマンドレットのもう一つの悩ましい問題、それは文字コードです。実はInvoke-WebRequestコマンドレットには、Webページの文字コードを指定する方法がありません。（多分）

ではレスポンス文字列の文字コードがどのように決まるかというと、サーバーが返すレスポンスヘッダのContent-Typeフィールドで指定されているcharsetです。具体的には、$response.Headers["Content-Type"]の値が例えば"text/html; charset=UTF-8"であれば、$response.Contentの文字コードはUTF-8になります。

このときページ（HTML）を記述している文字コードと、レスポンスヘッダで指定されている文字コードが一致すれば全く問題はないのですが、異なる場合は容赦なく文字化けします。

異なる場合だけでなく、レスポンスヘッダのContent-Typeフィールドに文字コードの指定がない場合はASCIIと見なされるので、日本語のページの場合はやはり文字化けします。

この問題を回避する方法は、私はまだ見つけていません。よって文字化けが起きる場合は、諦めてWebClientを使って文字コードを指定するようにしています…。

WebClientを用いる

以上で述べてきたとおり、Invoke-WebRequestコマンドレットは、ページをさくっと取得して、さくっとパースするのには重宝するのですが、細かい所で融通が利かない印象があります。

そこで細かい処理が必要な場合（と、PowerShell 2.0環境）は、素直にWebClientクラスを用いるのがいいと思います。今回WebClientの使い方も入れようかと思いましたが、長くなったので詳しくは省略します。

基本は以下のような感じでDownloadStringメソッドを使って文字列を取得します。文字コードも指定できます。

$client = New-Object System.Net.WebClient
$client.Encoding = [System.Text.Encoding]::UTF8
$content = $client.DownloadString("http://アドレス")

なお、WebClientを用いた場合でも、Invoke-WebRequestと同等のHTMLパースを行う方法は存在するので、それは次回に。

おわりに

今回はまず、Webページから文字列データを取得する部分にフォーカスしてみました。といっても、Invoke-WebRequestの機能を全部網羅したわけではなく、使用頻度が高そうなものと個人的ハマリポイントがあるところだけです。なので詳しくはリファレンスを見て下さい。というかハマリポイントたぶんまだまだ一杯あると思います。

後編では、とってきた文字列データを「パース」して、扱いやすいデータ形式に変換する方法についてまとめようかと思います。

[PSv2]PSSessionに一発で入るための関数

Posted: 00:11:00 |

リモート（ローカルでもいいですが）のPSSessionに入る（ファンインする）ためには、まずNew-PSSessionでPSSessionを作成し、Enter-PSSessionでそのセッションに入ります。面倒なので関数化してみました。

function Enter-ServerSession()
{
	$encryptedString="中略"
	$credential = New-Object System.Management.Automation.PSCredential "ユーザー名@ドメイン名",(ConvertTo-SecureString $encryptedString)
	$session = New-PSSession サーバー名 -Credential $credential
	Enter-PSSession $session
}

ここで、パスワードを毎回入力するのは面倒なので、関数の中に暗号化したものを直書きしてしまいます（もちろん、見てはいけない人に見られないところに関数を保存してくださいね）。

$encryptedStringにはパスワードの暗号化文字列を入れます。この文字列の取得方法は、

PS C:\> ConvertFrom-SecureString (Get-Credential).Password

と入力すると認証ダイアログが出るので、そこにユーザー名とパスワードを入れると、パスワードが暗号化された文字列を得ることができます。

なお、もちろん、PSSessionを張るサーバーへの認証が必要ない場合は、-Credentialの指定は要らないです。

元記事：http://blogs.wankuma.com/mutaguchi/archive/2009/10/04/181825.aspx

[質問]SecureStringオブジェクトって何に使うんでしょうか？

Posted: 21:07:00 |

PowerShellのRead-Hostコマンドレットには-asSecureStringパラメーターってのがあって、これを指定するとSystem.Security.SecureStringオブジェクトが作れるのです（New-Objectでも作れるけど）。でもこれを何に使うかよくわかりません。何に使うんですか？

MSDNのサンプルは難しすぎて分からないし、「PowerShellインアクション」に書いてあることに意味があるとは思えないし。

なんか分かりやすい使い方ないですかー

ちなみにRead-Hostで入力するときに****で表示されるようになるのはいいんですけど、結果を普通のStringでも得られるようにしたほうがよっぽど使い道あると思うんですけど！SecureStringなんかPowerShellで使う場面あるのかー？

あらかじめSecureStringを作っておいて、Read-Hostで読み込んだ結果と比較してOKなら認証完了！みたいな使い方できんもんでしょうか。そもそもそういうものではなさそうな気もするんですが・・・

追記。あーExchange2007で使うのかー

http://winzenz.blogspot.com/2006/08/creating-new-mailbox-using-powershell.html

さらに追記。newpopsさんところに私の求めていたやり方が載っていましたー

http://d.hatena.ne.jp/newpops/20050923

元記事：http://blogs.wankuma.com/mutaguchi/archive/2007/11/18/109024.aspx

コマンドレット動詞ランキング

Posted: 21:20:00 |

ダッチさんのメソッド名ランキングにインスパイアされてPowerShellのコマンドレットではどうなのかというのをやってみました。

get-command |group-object verb|sort count -descending

結果

Count Name                      Group
----- ----                      -----
   29 Get                       {Get-Acl, Get-Alias, Get-AuthenticodeSignatu...
   13 Set                       {Set-Acl, Set-Alias, Set-AuthenticodeSignatu...
    8 New                       {New-Alias, New-Item, New-ItemProperty, New-...
    7 Write                     {Write-Debug, Write-Error, Write-Host, Write...
    6 Out                       {Out-Default, Out-File, Out-Host, Out-Null...}
    5 Remove                    {Remove-Item, Remove-ItemProperty, Remove-PS...
    4 Add                       {Add-Content, Add-History, Add-Member, Add-P...
    4 Format                    {Format-Custom, Format-List, Format-Table, F...
    4 Clear                     {Clear-Content, Clear-Item, Clear-ItemProper...
    4 Export                    {Export-Alias, Export-Clixml, Export-Console...
    3 Invoke                    {Invoke-Expression, Invoke-History, Invoke-I...
    3 Start                     {Start-Service, Start-Sleep, Start-Transcript}
    3 Stop                      {Stop-Process, Stop-Service, Stop-Transcript}
    3 Import                    {Import-Alias, Import-Clixml, Import-Csv}
    2 ConvertTo                 {ConvertTo-Html, ConvertTo-SecureString}
    2 Copy                      {Copy-Item, Copy-ItemProperty}
    2 Update                    {Update-FormatData, Update-TypeData}
    2 Select                    {Select-Object, Select-String}
    2 Rename                    {Rename-Item, Rename-ItemProperty}
    2 Move                      {Move-Item, Move-ItemProperty}
    2 Measure                   {Measure-Command, Measure-Object}
    1 Sort                      {Sort-Object}
    1 Where                     {Where-Object}
    1 Tee                       {Tee-Object}
    1 Split                     {Split-Path}
    1 Test                      {Test-Path}
    1 Trace                     {Trace-Command}
    1 Suspend                   {Suspend-Service}
    1 ForEach                   {ForEach-Object}
    1 Group                     {Group-Object}
    1 Join                      {Join-Path}
    1 Compare                   {Compare-Object}
    1 ConvertFrom               {ConvertFrom-SecureString}
    1 Convert                   {Convert-Path}
    1 Resolve                   {Resolve-Path}
    1 Restart                   {Restart-Service}
    1 Resume                    {Resume-Service}
    1 Pop                       {Pop-Location}
    1 Push                      {Push-Location}
    1 Read                      {Read-Host}

やはりGetが多いですね。対応してSetも多いです。結果は普通ですが一行のコマンドでこんなことが分かるのが面白いでしょ？

元記事：http://blogs.wankuma.com/mutaguchi/archive/2007/06/17/81041.aspx

PowerShell Scripting Weblog

Pick Up

Article List

Keywords

2015/12/04

PowerShellでスクレイピング　前編　文字列を取得する

はじめに

Invoke-WebRequestコマンドレットで文字列を取得する

リクエストにパラメータを付与する（GET）

リクエストにパラメータを付与する（POST）

標準認証が必要なページを取得する

セッション情報を引き継ぐ

エラートラップ

httpsで無効な証明書が使われている場合

文字化けの問題

WebClientを用いる

おわりに

2009/10/04

[PSv2]PSSessionに一発で入るための関数

2007/11/18

[質問]SecureStringオブジェクトって何に使うんでしょうか？

2007/06/17

コマンドレット動詞ランキング

Twitter

Books

PowerShell Scripting Weblog

Pick Up

Article List

Keywords

2015/12/04

PowerShellでスクレイピング 前編 文字列を取得する

はじめに

Invoke-WebRequestコマンドレットで文字列を取得する

リクエストにパラメータを付与する（GET）

リクエストにパラメータを付与する（POST）

標準認証が必要なページを取得する

セッション情報を引き継ぐ

エラートラップ

httpsで無効な証明書が使われている場合

文字化けの問題

WebClientを用いる

おわりに

2009/10/04

[PSv2]PSSessionに一発で入るための関数

2007/11/18

[質問]SecureStringオブジェクトって何に使うんでしょうか？

2007/06/17

コマンドレット動詞ランキング

Twitter

Books

PowerShellでスクレイピング　前編　文字列を取得する