2015/12/04
PowerShellでスクレイピング 前編 文字列を取得する
この記事はPowerShell Advent Calendar 2015の4日目の記事です。
はじめに
今回はPowerShellでWebページのスクレイピングをする際の、ちょっとしたノウハウ集を前後編に分けて紹介したいと思います。
スクレイピングというのは、Webページから文字列を取ってきて、スクリプトから利用可能な形に加工する処理です。昨今は多くのWebサイトやサービスでWeb APIが公開されていて、スクレイピングをせずとも比較的簡単にデータを取得できます。PowerShellだとInvoke-RestMethodコマンドレット等が使えます(その話はまた次回とかにやります)。
しかし現実には、APIが公開されていない等の理由で、HTMLを取ってきて自前で解釈せざるを得ないケースが多々あります。さて、PowerShellではどうやりましょうか、というのが今回の話。様々な方々によってもう色々と語られている分野ではあるのですが、結構細かいハマりどころがあるのでちょっとまとめてみようと思いました。
前編ではまず、Webページからの文字列の取得方法ついてまとめます。
なお、スクレイピングには技術的な問題以外の、微妙な問題(著作権の問題とか、Webサイトへの攻撃と見なされる可能性とか)を含むものなので、その辺りは各自どうかご留意ください。この辺りの話はPowerShellに限った問題ではないので、ここでは詳説いたしません。参考記事:Webスクレイピングの注意事項一覧 - Qiita
Invoke-WebRequestコマンドレットで文字列を取得する
PowerShellでのスクレイピング、基本は何はなくともInvoke-WebRequestコマンドレットです。ただしこのコマンドレットはPowerShell 3.0で追加されたものなので、2.0環境にはないことに注意です。その場合は.NETのWebClientクラス等を使う方法があり、後で述べます。
基本は、
$response = Invoke-WebRequest -Uri "http://winscript.jp/"
のように、Invoke-WebRequestコマンドレットを実行する、だけです。「-Uri」は省略可能です。
このとき$responseにはHtmlWebResponseObjectオブジェクトが格納されています。このうち、指定URLのWebページに含まれているHTMLなどの文字列データは、Contentプロパティに格納されます。つまり、$response.Content に欲しいデータが格納されているので、あとはそれをよしなに利用すればいいわけです。
実はInvoke-WebRequestは、文字列データを取得すると同時に、HTMLの場合はパースしてタグの構造をオブジェクト化までしてくれます。が、それについては次回。
なお、Invoke-WebRequestコマンドレットでは文字列を取得する他、バイナリデータをダウンロードしてファイルとして保存する機能もあります。それについては過去記事をご参照ください。
リクエストにパラメータを付与する(GET)
GETメソッドを用いてクエリを指定する場合、要はhttps://www.google.co.jp/search?q=PowerShell のようなURLのデータを取得する場合は、Invoke-WebRequest "https://www.google.co.jp/search?q=PowerShell" のようにQueryStringを含んだURLをそのまま指定するだけでOKです。
ただし、動的にクエリを組み立てる場合は、URIエンコード(URIエスケープ)を考慮する必要があります。もっとも簡単なのは
$searchWord = "PowerShell 配列" $response = Invoke-WebRequest "https://www.google.co.jp/search?q=$([Uri]::EscapeDataString($searchWord))"
のように、Uri.EscapeDataStringメソッドを使う方法かと思います。
リクエストにパラメータを付与する(POST)
POSTメソッドでリクエストボディにパラメータを付与するには、Invoke-WebRequestコマンドレットの-Methodパラメータに"Post"を指定し、-Bodyパラメータにリクエストボディに付与するデータを連想配列で指定します。
たとえばブログのトラックバックを手動で撃つにはこんな感じでいけます。
$body = @{title="テスト";url="http://example.com/";excerpt="テスト";blog_name="test"} Invoke-WebRequest http://ご自分のブログのトラックバックpingURL -Method POST -Body $body
なお、リクエストボディに含めるパラメータの各値(連想配列の値)は、自動でURIエンコードしてくれます。
(12/16追記)
また、-Bodyには連想配列のみならず、任意の文字列(URIエンコード要)やバイト配列(バイナリを送信する場合)を指定することも可能です。
標準認証が必要なページを取得する
ページの取得に標準認証が必要な場合は、-Credentialパラメータにユーザー名とパスワードを指定したPSCredentialオブジェクトを指定すればOKです。
セキュリティのことは取りあえず置いておき、簡易的にスクリプトに生パスワードを直書きしてもいいかな、という場合には以下のように書くことができます。
$userName = "user" $password = "pass" $credential = New-Object PSCredential $userName, (ConvertTo-SecureString $password -AsPlainText -Force) Invoke-WebRequest 認証が必要なページのURL -Credential $credential
しかしこの方法はもちろんお勧めできないので、スクリプトとして保存する場合は通常はパスワードを暗号化しておきます。
まず、Get-Credential ユーザー名 | Export-Clixml cred.xmlを、スクリプトを実行するコンピュータ上で、スクリプトを実行するアカウントと同じアカウントで実行します。パスワードを入力するダイアログが出るので、Webサイトにログオンする際のパスワードを入力します。すると、ユーザー名と暗号化されたパスワードがcred.xmlに出力されます。
スクリプトからは
$credential = Import-Clixml cred.xml Invoke-WebRequest 認証が必要なページのURL -Credential $credential
のようにすると、cred.xmlからユーザー名と復号したパスワードを、そのまま-Credentialパラメータに渡すことが可能です。
なおcred.xmlに含まれる暗号化パスワードは、ConvertFrom-SecureStringコマンドレットと同様、Windows Data Protection API(DPAPI)を用いてWindowsアカウントのパスワードをキーに利用して暗号化されているので、他のユーザーが復号することはできません。
ちなみに同一スクリプトファイルに暗号化パスワードを含めておくこともできなくはないです。過去記事参照。あと本当は資格情報マネージャーを使うのがいいんですが、…略。参考:PowerShell で Windows の 資格情報マネージャー を利用する (Jenkins などでの Git Credentialなど) - tech.guitarrapc.com
セッション情報を引き継ぐ
多くのWebアプリケーションは、同一クライアントからの連続したアクセスを、セッションという単位で管理します。
サーバーはクライアント(普通はWebブラウザ)の初回アクセス時にセッションIDを含むcookieを返し、クライアントからの2回目のアクセス時に、サーバーはcookieにセッションIDが含まれているかどうかを確認し、同一クライアントからのアクセスかどうかを判断するわけです。(ざっくりした説明ですが)
WebブラウザではなくInvoke-WebRequestを使ったアクセスでも同様に、以下のようにすれば受けとったcookie等のセッション情報を次回アクセスに引き継ぐことができます。
$url = "https://ログオンが必要なサイト" $body = @{リクエストボディ(例えばユーザー名とかパスワードとか)} $response = Invoke-WebRequest $url -SessionVariable sv -Method POST -Body $body Invoke-WebRequest $url -WebSession $sv
初回アクセス時に-SessionVariableパラメータに指定した変数名(sv)の変数($sv)にはWebRequestSessionオブジェクトが格納されます。この中に、サーバーから受け取ったcookie等の情報が格納されています。
次回アクセス時には、-WebSessionパラメータに、初回アクセス時に得られたWebRequestSessionオブジェクト($sv)を指定します。
さて、実際のWebアプリケーションではcookie以外にも、Formのhiddenフィールドの値などもセッション管理に用いていることがあります。その場合は、初回アクセスのレスポンスからFormに含まれるinput type="hidden"なフィールドを抽出し、次回アクセスのリクエストボディに含ませる必要が出てきます。この辺りの話は後編で述べるパースが必須になってくる(し、長くなる)ので今回は詳説しません。Invoke-WebRequestコマンドレットのリファレンスのExample2に、Facebookにログオンする例なんてのがあるので、そちらで雰囲気をつかんでください。(今でも動作するかは確認してないですが)
エラートラップ
さて、Invoke-WebRequestは、タイムアウトになった、名前解決ができなかった、ページが無かった(404エラー)等々、正常にWebページを取得できなかった場合は、System.Net.WebExceptionというエラーを出します。
コマンドレットの出すエラー(Errorストリームに出力されるErrorRecord)は、try...catchステートメントでは捕捉できない、というのが原則ですが、Invoke-WebRequestコマンドレットのエラーは一般的なコマンドレットと異なり、普通の.NETの例外(System.Net.WebException)なので、try...catchステートメントでエラートラップを行います。
とは言え、Invoke-WebRequestコマンドレットの仕様上、エラートラップをして適切な処理を行うのは非常にめんどいです。何故かというと、Invoke-WebRequestがエラーを出した時点で、HtmlWebResponseObjectオブジェクトの出力は行われないので、このオブジェクトから得られる様々な情報(レスポンス文字列、ステータスコード等々)が取得できないからです。
じゃあどうすればいいのかという話なんですけど、どうもWebExceptionオブジェクトのResponseプロパティを見るしかないようです。具体的にはこんな感じ。
try { $response = Invoke-WebRequest http://存在しないページなど } catch [System.Net.WebException] { # HTTPステータスコード取得 $statusCode = $_.Exception.Response.StatusCode.value__ # レスポンス文字列取得 $stream = $_.Exception.Response.GetResponseStream() $reader = New-Object System.IO.StreamReader $stream $reader.BaseStream.Position = 0 $reader.DiscardBufferedData() $responseBody = $reader.ReadToEnd() }
せっかくInvoke-WebRequestコマンドレットは、生のレスポンスを利用しやすくHtmlWebResponseObjectという形で返してくれるのに、エラー発生時はその恩恵を受けることができず、泥臭い処理が必要になります。これはかなりいけてないですし、どうせここまで書かないといけないのであれば最初からWebClientクラスを使った方がいいと思います。
httpsで無効な証明書が使われている場合
(12/16追記)
Invoke-WebRequestコマンドレット(およびWebClient)では、httpsで始まるURLからもダウンロード可能ですが、サイトで用いられている証明書に問題がある場合(期限が切れている、暗号化形式に問題がある、いわゆるオレオレ証明書である等)には、「要求は中止されました。SSL/TLSセキュリティで保護されているチャネルを作成できませんでした」というエラーが出てしまいます。
これを回避するには、Invoke-WebRequestコマンドレット実行前に、
[System.Net.ServicePointManager]::ServerCertificateValidationCallback = {$true}
という1文を記述しておきます。
ただし、証明書に問題があるということは、その通信相手が正当かどうか、通信内容が正しく秘匿されているかどうか、保証がされなくなるということですから、その点は念頭においてください。
文字化けの問題
Invoke-WebRequestコマンドレットのもう一つの悩ましい問題、それは文字コードです。実はInvoke-WebRequestコマンドレットには、Webページの文字コードを指定する方法がありません。(多分)
ではレスポンス文字列の文字コードがどのように決まるかというと、サーバーが返すレスポンスヘッダのContent-Typeフィールドで指定されているcharsetです。具体的には、$response.Headers["Content-Type"]の値が例えば"text/html; charset=UTF-8"であれば、$response.Contentの文字コードはUTF-8になります。
このときページ(HTML)を記述している文字コードと、レスポンスヘッダで指定されている文字コードが一致すれば全く問題はないのですが、異なる場合は容赦なく文字化けします。
異なる場合だけでなく、レスポンスヘッダのContent-Typeフィールドに文字コードの指定がない場合はASCIIと見なされるので、日本語のページの場合はやはり文字化けします。
この問題を回避する方法は、私はまだ見つけていません。よって文字化けが起きる場合は、諦めてWebClientを使って文字コードを指定するようにしています…。
WebClientを用いる
以上で述べてきたとおり、Invoke-WebRequestコマンドレットは、ページをさくっと取得して、さくっとパースするのには重宝するのですが、細かい所で融通が利かない印象があります。
そこで細かい処理が必要な場合(と、PowerShell 2.0環境)は、素直にWebClientクラスを用いるのがいいと思います。今回WebClientの使い方も入れようかと思いましたが、長くなったので詳しくは省略します。
基本は以下のような感じでDownloadStringメソッドを使って文字列を取得します。文字コードも指定できます。
$client = New-Object System.Net.WebClient $client.Encoding = [System.Text.Encoding]::UTF8 $content = $client.DownloadString("http://アドレス")
なお、WebClientを用いた場合でも、Invoke-WebRequestと同等のHTMLパースを行う方法は存在するので、それは次回に。
おわりに
今回はまず、Webページから文字列データを取得する部分にフォーカスしてみました。といっても、Invoke-WebRequestの機能を全部網羅したわけではなく、使用頻度が高そうなものと個人的ハマリポイントがあるところだけです。なので詳しくはリファレンスを見て下さい。というかハマリポイントたぶんまだまだ一杯あると思います。
後編では、とってきた文字列データを「パース」して、扱いやすいデータ形式に変換する方法についてまとめようかと思います。
2015/12/01
2015年のPowerShellを軽く振り返ってみる
この記事はPowerShell Advent Calendar 2015の1日目です。
アドベントカレンダーは今年で5回目ですが、例年よりだいぶ参加者が少ないので、敢えて完走を目指さずまったりいきましょう。
とはいえ今年から来年にかけては、PowerShellの変革の年といっても過言ではないかと思います。
今年7月にはWindows 10のリリースとともに、WMF (Windows Management Framework) 5.0 / PowerShell 5.0 (2012R2/8.1向けにはProduction Preview)が登場しました。(私の書いたPS5.0新機能のセッション資料はこちら。)
PowerShell 5.0では特に、"Infrastructure as Code"、すなわちインフラの構成をコードで記述可能にし自動化するための機能である、PowerShell DSC周りが格段にパワーアップしています。DSCの機能増強により、Microsoft Azure等のクラウド、オンプレミスのサーバーはともに大きな恩恵を受けることが期待されます。Azure DSC Extensionも追従する形で凄まじい勢いでバージョンアップしてますね。
PowerShell 5.0の登場に合わせて、各種のPowerShell関係のモジュールやアプリケーションが新登場していますが、これらはいずれもOSS(オープンソースソフトウェア)となりました。
一例を挙げると、DSCで用いるロジック本体となる「DSCリソース」を作製する際に有用なDSCリソースキット、対応リポジトリをプロバイダという形で拡張可能であるパッケージ管理システムPackageManagement、PowerShellモジュールを専用リポジトリであるPowerShell Galleryからコマンド1発で取得可能となるPowerShellGet、PowerShellスクリプトの静的解析を行うスクリプトアナライザー、Windowsのみならず他プラットフォームの一括管理を目指すDSC for Linux等々です。
先日OSS化したばかりの、マルチプラットフォーム対応のコードエディタであるVisual Studio Codeと、PowerShellスクリプトが記述可能となるPowerShell Extensionあたりもトピックとして熱いですね。
Visual Studio 2015には、VSでPowerShellスクリプト開発を行うためのOSSなプラグインであるPowerShell Tools for Visual Studioが標準搭載されたことも記憶に新しいですね。(12/1追記)
逆に、PowerShellのテストスクリプトを記述するためのフレームワーク(DSL)であるPesterや、コンソールの入出力をパワーアップさせるPSReadlineといった、OSSで開発されている既存のPowerShellモジュールが、Windows 10に標準機能として取り込まれるなど、OSSとの関係性については大きく変化したと言えるでしょう。
そして次期Windows Serverである、Windows Server 2016の足音も聞こえてきました。現在はTP4が公開されており、試すことができます。Windows Server 2016の目玉は何といっても、Windows ContainersとNano Serverでしょう。
アプリケーションをコンテナという単位で配置し、自由なすげ替え、あるいは使い捨てが可能な環境を構築するツールであるDockerというOSSに対し、インターフェースの互換性を持たせたWindows版コンテナがWindows Containersです。
そして、コンテナ機能を最大限に活用するためにフットプリントの最小化を目指し、GUIどころかコンソールすら廃した新しいWindows Serverの形態が、Nano Serverです。
Windows ContainersとNano Serverの管理は当然、PowerShellがメインとなります。また、ようやくWindowsにやってくる、SSHクライアントとサーバーはPowerShell上で動くようです。
PowerShellは5.0に進化することで、足回りを強化しました。そして各種OSSと連携して、クラウドとオンプレミスのサーバー群の基礎を支える存在として、ますます重要性を帯びていくことでしょう。
昨今のPowerShellを取り巻く状況は、私の理解ではざっとこんな感じです。この中に興味を持たれたテーマはありませんか? もちろん、新機能以外にも、まだまだ知られていない機能や利用法も埋もれていると思います。
もしそんなテーマがあったら、PowerShell Advent Calendar 2015で共有していただければ嬉しいなあと思います。
というわけで、例年にない感じの初日記事を書いてみました。今回のアドベントカレンダーもどうぞよろしくおねがいします。
2014/12/24
PowerShellで位置情報を取得する
はじめに
この記事はPowerShell Advent Calendar 2014の24日目の記事です。
今回は、Windows 8から追加されたOSの機能である、「Windows 位置情報プラットフォーム」をPowerShellから呼び出して、位置情報(緯度、経度)を取得してみよう、という話になります。
Windows 位置情報プラットフォームとは
Windows 8から、「Windows 位置情報プラットフォーム」という機能が追加され、アプリケーションから現在位置情報(緯度、経度など)をAPIで取得できるようになっています。
Windows 位置情報プラットフォームでは、位置情報をGPSがあればGPSから、なければWi-Fiの位置情報あるいはIPアドレスなどから推定して取得します。すなわち、GPSがない場合でも位置情報を取得できる、いわば仮想GPSの機能がデフォルトで備わっているのがミソです。
(注:Windows 7にも「Windows センサー&ロケーションプラットフォーム」というのがありましたが、OSデフォルト機能としては仮想GPSはありませんでした。今は亡き、Geosense for Windowsというサードパーティー製アプリを追加すると仮想GPS使えたんですけどもね。あとWindows Phone?知らない子ですね…)
PowerShellでWindows 位置情報プラットフォームを利用する
さて、Windows 位置情報プラットフォームをPowerShellで使うには、.NET4.0以上に含まれている、System.Device.Location名前空間配下に含まれるクラスの機能を用います。アセンブリ名としてはSystem.Deviceとなります。
以下のような関数Get-GeoCoordinateを定義します。
Add-Type -AssemblyName System.Device function Get-GeoCoordinate { param( [double]$Latitude, [double]$Longitude ) if(0 -eq $Latitude -and 0 -eq $Longitude) { $watcher = New-Object System.Device.Location.GeoCoordinateWatcher $sourceId = "Location" $job = Register-ObjectEvent -InputObject $watcher -EventName PositionChanged -SourceIdentifier $sourceId $watcher.Start() $event = Wait-Event $sourceId $event.SourceEventArgs.Position.Location Remove-Event $sourceId Unregister-Event $sourceId } else { New-Object System.Device.Location.GeoCoordinate $Latitude,$Longitude } }
関数実行前に、まずAdd-Type -AssemblyName System.Deviceを実行して必要なアセンブリをロードする必要があります。
関数本体ではまず、System.Device.Location.GeoCoordinateWatcherオブジェクトを生成します。このオブジェクトのStartメソッドを実行すると、Windows 位置情報プラットフォームにアクセスして、位置情報の変化を監視します。位置情報の変化を感知すると、PositionChangedイベントが発生し、取得した位置情報を、イベントハンドラの引数にGeoPositionChangedEventArgs<T>オブジェクトとして返します。
さて、PowerShellでは、.NETクラスのイベントを取得するには、Register-ObjectEventコマンドレットを用い、イベントを「購読」します。
イベントが発生するたびに何かの動作をする、というような場合では、Register-ObjectEvent -Action {処理内容}のようにして、イベントハンドラを記述するのが一般的です。が、今回は位置情報の変化の最初の一回(つまり、初期値の取得)さえPositionChangedイベントを捕まえればOKなので、-Actionは使用しません。
代わりにWait-Eventコマンドレットを用い、初回のイベント発生を待機するようにしています。Wait-Eventコマンドレットは、当該イベントを示すPSEventArgsオブジェクトを出力します。
PSEventArgsオブジェクトのSourceEventArgsプロパティには、当該イベントのイベントハンドラ引数の値(ここではGeoPositionChangedEventArgs<T>オブジェクト)が格納されているので、あとはそこから.Position.Locationと辿ることで、位置情報を格納したGeoCoordinateオブジェクトが取得できます。
(注:あとで知ったんですけど、GeoCoordinateWatcherクラスには、同期的に位置情報を取得するTryStartメソッドというのがあって、これを使えばイベント購読は実は不要でした…まぁいっか)
なお、関数のパラメータとしてLatitude(緯度)、Longitude(経度)を指定すると、現在位置ではなく、指定の位置を格納したGeoCoordinateオブジェクトを生成するようにしています。
Get-GeoCoordinate関数の使い方
事前にコントロール パネルの「位置情報の設定」で「Windows 位置情報プラットフォームを有効にする」にチェックを入れておきます。
あとはGet-GeoCoordinateをそのまま実行するだけです。
Latitude : 34.799999 Longitude : 135.350006 Altitude : 0 HorizontalAccuracy : 32000 VerticalAccuracy : NaN (非数値) Speed : NaN (非数値) Course : NaN (非数値) IsUnknown : False
このように現在位置が表示されるかと思います。といっても、緯度、経度が表示されたところでちゃんと取得できてるのかよく分からないので、以下のような簡単な関数(フィルタ)を定義しておきます。
filter Show-GoogleMap { Start-Process "http://maps.google.com/maps?q=$($_.Latitude),$($_.Longitude)" }
このフィルタを使うと、指定の緯度経度周辺の地図を、標準のWebブラウザで開いたGoogleマップ上に表示してくれます。使い方はこんな感じ。
Get-GeoCoordinate | Show-GoogleMap
現在位置が表示されましたでしょうか? 位置測定に用いたソースによってはkmオーダーでズレると思いますが、それでも何となく、自分がいる場所が表示されるのではないかと思います。
なお、先ほども書いたように、パラメータで任意の緯度、経度を指定することも可能です。この関数だけではあんまり意味を成しませんが…
Get-GeoCoordinate 35.681382 139.766084
まとめ
PowerShellでも「Windows 位置情報プラットフォーム」を使って現在位置が取れるよ、という話でした。あんまりPowerShellでSystem.Device.Locationとかを使っているサンプルを見かけないので、何かの参考になれば幸いです。あとPowerShellでのイベントの扱い方についても復習になるかと。
ところでこうやって取得した位置情報を使って、Web APIを呼び出して活用しよう、というようなネタを書くつもりだったんですが、長くなったんでまたの機会としましょう。ではでは。
2014/09/09
[Friendly] 任意ウィンドウのコントロールのテキストを読み書きするコマンドレット
8/23わんくま横浜勉強会で、PowerShellコマンドの書き方というセッションをしたのですが、その際、株式会社Codeerさんが公開されているFriendlyというライブラリを使ったコマンドレットを動作させるデモを行いました。
準備の時間がなくて、突貫工事で作ったサンプルで恐縮ですが、公開することにします。(一応動かしてみたら動いた、レベルのものなのであしからず…)
コード
using System; using System.Diagnostics; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; using System.Management.Automation; using Codeer.Friendly.Windows; using Codeer.Friendly.Dynamic; using System.Windows.Forms; namespace Winscript { [Cmdlet(VerbsCommon.Get, "FormControlText")] public class GetFormControlTextCommand : Cmdlet { [Parameter(Mandatory = false, ValueFromPipeline = false, Position = 1)] public string[] ControlName { get; set; } [Parameter(Mandatory = true, ValueFromPipeline = true, Position = 0)] public Process Process { get; set; } protected override void ProcessRecord() { var _app = new WindowsAppFriend(this.Process); dynamic form = _app.Type<Control>().FromHandle(this.Process.MainWindowHandle); foreach (var c in form.Controls) { if (ControlName == null || ControlName.Contains((string)c.Name)) { WriteObject((string)c.Text); } } } } [Cmdlet(VerbsCommon.Set, "FormControlText")] public class SetFormControlTextCommand : Cmdlet { [Parameter(Mandatory = true, ValueFromPipeline = false, Position = 1)] public string ControlName { get; set; } [Parameter(Mandatory = true, ValueFromPipeline = false, Position = 2)] public string Text { get; set; } [Parameter(Mandatory = true, ValueFromPipeline = true, Position = 0)] public Process Process { get; set; } protected override void ProcessRecord() { var _app = new WindowsAppFriend(this.Process); dynamic form = _app.Type<Control>().FromHandle(this.Process.MainWindowHandle); foreach (var c in form.Controls) { if (ControlName == (string)c.Name) { c.Text = Text; } } } } }
ビルド方法
- Windows 8.1 SDK をインストールする。
- Visual Studio 2010以降でC#のクラスライブラリを新規作成する。
- C:\Program Files (x86)\Reference Assemblies\Microsoft\WindowsPowerShell\3.0 にある.dllを参照設定する。
- 対象フレームワークを.NET 4.5、対象プラットフォームをx64にする。
- 上記のコードを貼り付ける。
- NuGetでFriendlyおよびFriendly.Windowsを追加する。
- ビルドする。
使用方法
上記をビルドして生成したDLLにはGet-FormControlTextと、Set-FormControlTextの2つのコマンドレットが含まれます。
# コマンドレットのインポート Import-Module "dllのフルパス" # 操作対象のプロセスオブジェクト取得 $p = Get-Process WindowsFormsApplication1 # プロセスを指定して、すべてのコントロールのテキストを取得 Get-FormControlText -Process $p # プロセスとコントロール名を指定して、テキストを取得 Get-FormControlText -Process $p -ControlName textBox1 # 位置パラメータなので以下のようにも書ける Get-FormControlText $p textBox1 # パイプラインからプロセスオブジェクトを入力することもできる $p | Get-FormControlText -ControlName textBox1 # プロセスとコントロール名を指定して、テキストを変更する Set-FormControlText -Process $p -ControlName textBox1 -Text Wankuma Set-FormControlText $p textBox1 Yokohama $p | Set-FormControlText -ControlName textBox1 -Text 6
制限事項
フォーム直下に配置されたコントロールしか取得できない(と思います)。
Windows Formアプリケーションにしか対応していない(と思います)。
x64アプリしか操作できない(と思います。x86用はアセンブリを分ける必要がある??)。(←9/9追記)
コントロール名指定はCase sensitiveでワイルドカード不可です。(この辺ただの手抜きですが)
今後の方針?
上のコードをみてもらえればわかると思いますが、ちょっと触ってみたら一応動くものができるくらい、Friendlyは分かりやすいです。皆さんもぜひ使ってみてください。
本来は、テキストじゃなくてコントロールそのものをGetしたりSetしたりInvoke(クリックとか)したりできるようにしたかったんですが、Controlはシリアル化できないオブジェクトなので、Friendlyで実物を持ってきてコマンドレットに出力する、というのは無理でした。何らかのプロキシオブジェクトみたいなのでラップしたりすれば良いかと思います。
それにしてもPowerShellとFriendlyの組み合わせはものすごい可能性を秘めている予感がします。
システム管理方面では…
セッションでもやりましたが、PowerShellコマンドレットベースのアプリケーションを作ると、GUIとCUIのいいところどりが出来る、とはいうものの、コマンドインターフェースがなくGUIオンリーのアプリケーションはまだまだたくさんあるのが現実かと思います。そういうアプリケーションも、PowerShellデフォルトの機能のみではつらいですが、上記のようにFriendlyを併用すれば、GUI操作の自動化が容易になると思います。
開発方面では…
C#でFriendlyを使ったGUIのテストコードを書く以外に、上記のようなFriendlyの機能をラップしたコマンドレットを用意することで、PowerShellスクリプトでもテストコードを書くことができるようになると思います。その際、Pester等のPowerShell用テストフレームワークを併用すると、より一貫したテストコードが記述できるようになるんじゃないかと思います。
いずれは(いつ?)、Friendlyの機能をラップしたコマンドレット群をきちんと設計、実装して、モジュールとして公開したいですね!
2014/04/30
IEを使わずにWebブラウザをダウンロードする・PowerShell編
はじめに
IE6〜11まで、要するに現行のIEすべてを対象とするやばげなゼロデイ脆弱性がみつかり、パッチ公開までIE以外のブラウザを使いましょうという通達が出たり出なかったりしている昨今のようです。
その文脈で、IE以外のWebブラウザをダウンロードするのにIEを使うしかない!もう死ぬしか…みたいな(本気なのか冗談なのか判断が付きかねる)反応を散見します。
実際のところはWebブラウザを探してダウンロードする位はIE使えばいいと思いますが、IE使わないでいかにWebブラウザをダウンロードするか、を考えるのが、Twitter等で一種の大喜利のようになっています。
ftp.exeを使う、wgetなどのコマンドラインツールを使う、ペイントのファイルダイアログを使う(?)等々いろいろな案がありますが、皆なぜPowerShellを使わないんだ。ということで、書きます。
なお、WebブラウザのダウンロードURLはご自分でお調べください。こちらの方の記事が参考になるかと。
Invoke-WebRequestコマンドレットを使う
一番普通のやり方としては、Invoke-WebRequestコマンドレットを使う方法ですね。
Invoke-WebRequest https://アドレス/setup.exe -OutFile setup.exe
これを実行するとファイルがダウンロードされて、カレントディレクトリにsetup.exeというファイルが生成されます。フルパス指定でももちろんOKです。
なお、Invoke-WebRequestコマンドレットはHTMLのDOMパース時のみIEコンポーネントを用いるのですが、-OutFileパラメータ使用時はパースしないのでおそらくIEとは無関係で実行できると思います。(注:IEコンポーネントによるDOMパースを抑制するには、-UseBasicParsingパラメータを付加します)
Invoke-WebRequestコマンドレットはPowerShell 3.0から追加されたコマンドレットなので、3.0が同梱されているWindows 8、4.0が同梱されているWindows 8.1では特に何もせずに利用可能です。
ちなみにInvoke-WebRequestコマンドレットはデフォルトエイリアスとしてiwrが定義されているので、iwrでも呼び出せます。PowerShell 4.0ではそれに加えてwget、curlもエイリアス定義されていたりします。(このエイリアス定義は賛否両論ですけどね)
Windows 7の場合はPowerShellのデフォルトのバージョンは2.0なので、3.0以上を追加で入れる必要があります。Vistaは2.0までしか入らないので残念でした。
Start-BitsTransferコマンドレットを使う
Windows 7以上であればBITS(バックグラウンド インテリジェント転送サービス)の機能がPowerShellコマンドレットから利用できます。BITSはその名の通り、ネットワーク帯域の空き部分を有効活用してファイルを転送するかしこいサービスで、Windows Update等で用いられています。ファイル転送のプロトコルとしてはSMBとHTTP(S)をサポートしてるので、Webサイトからファイルをダウンロードするという用途で使うことができます。
ダウンロードを開始するには、Start-BitsTransferコマンドレットを使います。
Import-Module BitsTransfer Start-BitsTransfer https://アドレス/setup.exe setup.exe
Windows 7標準のPowerShell 2.0だと、Cmdlet Auto Discoveryの機能が働かないため、上記のようにImport-Moduleコマンドレットによる明示的なモジュールロードが必要ですが、PowerShell 3.0以降では不要です。
BitsTransferモジュールには他にもコマンドレットがあり、非同期転送等できたりするので興味のある方はヘルプをみてください。こちらの記事も参考になるかと:PowerShell: ◆Bits転送2
WebClientオブジェクトを使う
今回の大喜利(?)でPowerShellを用いてファイルダウンロードする方法というのもいくつか見かけたのですが、WebClientを使う方法が殆んどだったように思います。まあ今回の記事を書いた動機としては、今はもうWebClient使わなくても標準のコマンドレットでできるよ!ということなんで敢えてここでは書きません。次のツイートを参照して下さい:Twitter / tanakh: IEを使わずにFirefoxをダウンロードする方法、Powe ...
おまけ:chocolateyを使う
あまりPowerShellとは関係ないのですが、そもそもWindowsにはapt-getみたいなパッケージ管理システムはないんかい、という意見をみかけたので紹介します。ChocolateyというNuGetベースのWindows用アプリケーションのパッケージ管理ツールとリポジトリです。
このツール自体のインストールはコマンドプロンプトに、サイトトップに書いてあるコマンドをコピーペーストして実行するだけです。(このコマンド内でPowerShellを呼び出しているので関係あるっちゃある…)
あとはコマンドプロンプトで cinst GoogleChrome とかしてやるとダウンロードとインストールをしてくれると思います。
ところでchocolateyは現在のところコマンドプロンプトベースであり外部ツールですが、次期バージョンのPowerShell 5.0ではOneGetと呼ばれるパッケージ管理システムが追加され、コマンドレットでchocolateyをはじめとする様々なリポジトリからファイルを取得してインストールできるようになる予定なのでご期待ください。
2013/09/23
ITごった煮勉強会vol.2@福井 で「PowerShell Desired State Configuration (DSC) について」というセッションをしました
(※12/22付記。12/21にこのセッションのブラッシュアップ版セッションを行いました。こちら)
9/21に福井県あわら温泉で実施された ITごった煮勉強会vol.2@福井 で、PowerShell 4.0 の新機能である、PowerShell Desired State Configuration (DSC) についてのセッション(30分)をしてきました。以下が発表で使ったpptxの資料となります。
DSC とは Desired (望まれる) State (状態に) Configuration (構成する) の略で、サーバー設定が「望まれる状態」に構成されることを実現するための、Windows Server 2012 R2 / Windows 8.1 で新たに追加されたシステム管理機能です。
PowerShell DSC は、Configuration という新しいキーワードで定義される PowerShell の拡張構文で記述します。
Configuration は、従来の命令型(Imperative)構文 = 「どのように行うか」ではなく、宣言型(Declarative)構文 = 「どういう結果になるべきか」で記述することができます。
Configuration 構文は、例えば、条件分岐して○○のときは○○して…といった手順をプログラミングする必要はなく、「設定ファイル」のように設定項目と設定値を列挙するだけで、DSC 実行後に保証される状態を記述することができるので、プログラミングに明るくないシステム運用者の方にも抵抗なく使うことができると思います。
開発者は従来通りアプリケーションの機能を呼び出すコマンドレットを作成するのに加えて、DSCで用いる「カスタムリソース」も実装することになります。
DSC を用いたシステム構築を行えば、開発者と運用者がより密に連携できるようになるので、継続的デプロイが可能となり、 DevOps 実現のための道具の一つとなるものと思います。
先日、Windows Server 2012 R2 および Windows 8.1 の RTM 版がMSDN /TecnNet Subscription でダウンロード可能になりましたが、目玉機能(?)となる PowerShel DSC についての情報、特に日本語のものがあんまりネット上に見当たらないので、このスライドを参考にしていただければいいかな、と思います。
2013/05/07
5/11 Community Open Day 2013 大阪会場でセッションします
今週末5/11(土)にCommunity Open Day 2013 (COD 2013) というIT系コミュニティが集結するイベントが全国各地で同時開催されます。IT系コミュニティの活動をより広めるという目的で行われているCODは去年に続き2回目の開催となります。
私も大阪会場で、わんくま同盟大阪勉強会代表としてセッションを担当します。内容は以下の通りとなります。
タイトル:
運用自動化に役立つPowerShellモジュールの作成方法内容:
Windows 8およびWindows Server 2012に標準搭載のPowerShell 3.0は、オリジナルのコマンドレット、PSプロバイダを含んだ「モジュール」を作成することで自由に機能拡張することができます。アプリケーションの機能をコマンドレットを用いて実行できるようにしておくと、運用の自動化に役立ちます。
本セッションではVisual Studio 2012を使ってコマンドレットとPSプロバイダを開発し、モジュールを作成する方法について解説します。
当日はデモをまじえてPowerShellモジュール作成のキモをご紹介しようと思っています。
私のセッションの他にも、各コミュニティの方々による興味深いセッションが多数予定されております。
まだ残席ございますので、ご興味ありましたら是非、登録の上お越しくださいませ!
2012/04/04
Windows Developer Days (WDD) でセッションを行います
このたび、来たる4/24・4/25に東京でMicrosoftにより開催される、開発者向けWindows 8紹介イベント「Windows Developer Days」(WDD)にスピーカーとして参加し、PowerShell 3.0 に関するセッションを行うことになりました。
私のセッションはTrack 3 (Server & Cloud session) 1日目の16:00〜16:45 SC-015「非 Windows ユーザーにもお勧め Windows PowerShell 3.0 概説」となります。セッション概要は以下の通りです。
Windows 8 および Windows Server "8" には Windows PowerShell 3.0 を含む Windows 管理フレームワーク 3.0 が組み込まれ、システム管理機能が大幅に強化されました。このセッションでは PowerShell 3.0 を用いた Windows サーバー管理・自動化の概要をデモを交えてご紹介します。
ワークフローを初めとするリモート管理機能のデモを実機で行う予定です。より洗練され高機能化したWindows サーバー管理の手法をご覧いただけるかと思います。セッションタイトル通り、「非 Windows ユーザーにもお勧め」のセッションでして、Windows サーバーもここまでシェル&スクリプト環境が進化し、UNIX系サーバーとは若干異なったWindowsならではのアプローチで便利に利用できるようになったところを是非見ていただこうと思っています。
また開発者向けのイベントということで、開発者の方にもこれから特にサーバーアプリケーションでは主流となる、PowerShellベースのWindows アプリケーションの概念と構築手法についてご提案させていただければと思います。
8セッションが同時進行で行われるのですが、参加者の方でもしご都合が付きましたらぜひ、聞きに来ていただけると嬉しいです。
またWDDは4/18までに参加登録すれば早期割引料金で参加できますので、まだ登録されていない方はご参加をご検討いただければ幸いです。
何気にMicrosoft公式イベントで、社員の方にまじってセッションをするというのは初の経験でドキドキしてます。当日はよろしくお願いします。
2012/02/14
2/25(土)わんくま大阪勉強会#47でPowerShell3.0のセッションをします
2/25(土)に開催されるわんくま同盟 大阪勉強会 #47で、「PowerShell 3.0 概要」と題してPowerShell 3.0のセッションをします。
PowerShell3.0はWindows 8とWindows Server 8に搭載され、従来のコンソールexeの大半がOS付属モジュールのコマンドレットに置きかわります。その数Win8では800以上、Server8では2000を超える量になります。これまでのexeも互換性のために残されますが、今後の主流は間違いなくPowerShellコマンドレットにシフトしていきます。
Windows Server 8では「役割」と「機能」に対応するPowerShellモジュールがそれぞれ用意され、管理用GUIがPowerShellモジュールの機能を呼び出す構造への移行がより一段と進みます。
Windows Server本体のみならず、サーバーアプリケーションでもMicrosoft製品はもちろん、サードパーティ製のものでもPowerShellモジュールが付属しているのが珍しくなくなりました。またOffice365やWindows AzureといったクラウドサービスもPowerShellで管理できるようになってきました。
PowerShellの利用場面の増加に答えるように、PowerShell3.0ではさまざまな改善と機能追加が行われています。今回のセッションではそれらをご紹介します。Windowsを管理する上でPowerShellはもはや必須といえる段階になってきたと思います。この機会にPowerShellを始めてみませんか?
今回は先日MVPを受賞されたちゅきさんのActiveDirectoryの話やmoririringさんによるC#開発中級編の話、TWorksさんによるスマフォやタブレットの開発をHTML5対応JSフレームワークで行う話など、もりだくさんです。お時間がございまいたら2/25はぜひ、わんくま勉強会へお越しください!
2011/04/26
PowerShellでJScript.NETのコードを実行する
PowerShell 2.0ではAdd-Typeコマンドレットを用いてC#など他言語のコードをコンパイルし実行することが可能です。(P/Invokeも可能です)
ほとんど使っている方はいないと思われますが、JScript.NETのコードもコンパイルして実行できます。以下、コード例です。
$code=@" static function writeHello() { System.Console.WriteLine("Hello JScript.NET World!"); } "@ $c = Add-Type -Language JScript -MemberDefinition $code -Name "JSTest" -PassThru $c[1]::writeHello()
JScript.NETのスタティックメソッドを用意してやると、Add-Typeコマンドレットによりそのメソッドを持ったクラス(ここではMicrosoft.PowerShell.Commands.AddType.AutoGeneratedTypes.JSTest)が生成されます。-passThruパラメータを指定することでその型情報が変数に代入できます。あとはJSTestクラスのスタティックメソッドを::演算子で呼び出すのですが、なぜかAdd-Typeが目的のクラスの型以外にJScript.NETのグローバルクラス?の型情報も一緒に出力するので、型情報が配列になっています。よってインデックスを指定してからスタティックメソッドを呼ぶようにします。
ここではスタティックメソッドを実行する例を挙げましたが、インスタンスメソッドも実行できるか試してみました。
$code=@" import System; public class JSTest { public function writeHello() { Console.WriteLine("Hello JScript.NET World!"); } } "@ Add-Type -Language JScript -TypeDefinition $code $o = new-object JSTest $o.writeHello()
ところがこれはNew-Objectのところで「New-Object : "0" 個の引数を指定して ".ctor" を呼び出し中に例外が発生しました: "アプリケーションでエラーが発生しました。"」というエラーになってしまいます。コンストラクタの実行でしくっているようですが…。ちなみに明示的にfunction JSTest()というコンストラクタを定義してやってもだめでした。なんででしょうね?
元記事:http://blogs.wankuma.com/mutaguchi/archive/2011/04/26/198645.aspxCopyright © 2005-2018 Daisuke Mutaguchi All rights reserved
mailto: mutaguchi at roy.hi-ho.ne.jp
プライバシーポリシー