2016/01/03

PowerShellのパイプライン処理

まず、PowerShellのパイプライン処理について軽くおさらいします。

例えば、@、A、Bをそれぞれ何らかのコマンドとしたとき、

@|A|B

というパイプラインがあったら、処理の流れは、

@begin→Abegin→Bbegin→(@process→Aprocess→Bprocess→)×n→@end→Aend→Bend

の順に実行されます。(processブロックで「1入力に対し1出力する」場合以外は必ずしもこうならないですが)

さて、AかBのprocessブロック実行中に、何らかの条件を満たした時、パイプラインのprocessの後続処理を打ち切りたい場合はどうすれば良いでしょうか。

まずはbreakを使った駄目な例

ネットでよく見かける以下のようなコード、すなわち「パイプラインはbreakで処理を打ち切ることができる」というのは実は正しくないのです。

function Select-WhileTest
{
    [CmdletBinding()]             
    param (             
        [parameter(ValueFromPipeline=$true)] 
        [psobject[]]$InputObject,
        [parameter(Position=0)]           
        [scriptblock]$Predicate
    )

    process
    {
        if(!(&$Predicate))
        {
            break
        }
        $InputObject
    }
}

このコードはv2までではそもそも正しく動作しませんが、v3以降では条件によっては正しく動作しているように見えるのが、誤解の元なのかと思います。(というか私も誤解してました。)

例えば、

$result = "初期値"
$result = &{end{foreach($i in (1..5)){$i}}} | Select-WhileTest {$_ -lt 3}
Write-Host "`$resultは $result です。"

のようにすると、

$resultは 1 2 です。

のように、想定した通りの結果が得られます。このように、上流のスクリプトブロックのendブロック内にforeachなどループブロックが存在し、そのループブロック内で下流に値を出力している場合はうまくいきます。(ちなみに、スクリプトブロック直下に記述するのとendブロック内に記述するのは等価。)

しかし、上流にループブロックがない場合、例えば

$result = "初期値"
$result = 1..5 | Select-WhileTest {$_ -lt 3}
Write-Host "`$resultは $result です。"

とすると、コンソールに1と2が改行区切りで表示されますが、ホストに表示されるだけで$resultには値は格納されません。そしてスクリプト化して実行した場合は、Write-Hostが実行されることすらなく、スクリプトが終了してしまいます。

breakだとなぜうまくいかないのか

結局どういうことかというと、パイプライン下流のbreakは、パイプラインを打ち切る処理をするのではなく、単に一つ上流のブロックをbreakする処理に過ぎないのです。

パイプライン上流にループブロックがある場合は、そのループブロックをbreakしますが、それ以外の場合はスクリプトのbegin, process, endのいずれかのブロックがbreakされてしまい、結果としてスクリプトが終了してしまうわけですね。

そして、このSelect-WhileTest関数だと大丈夫ですが、processブロックの中にループブロックを記述し、その中でbreakを書くのは当然ダメです。単にそのループを抜けるだけなので、上流の出力は止まってくれません。

breakではなくcontinueを使う場合も基本は同じ結果です。しかもcontinueは所詮、その名の通り継続処理なので、上流に以下のような無限リストがあると無限ループに陥ってしまいます。

&{begin{$i = 0} process{while($true){$i++; $i}}}|Select-WhileTest {$_ -lt 3}

breakの代わりに、

throw (New-Object System.Management.Automation.PipelineStoppedException)

を実行する方法も見かけますが、これはループブロックがあっても強制的にスクリプトが終了するので余計ダメです。try...catchでエラートラップすればスクリプトの終了は回避できますが、「パイプラインが正常終了せずエラーを出した」扱いであることには代わりないので、やはり出力を変数に格納することができません。

ダミーループを用いる、取りあえずの解決策

前述のbreakを使った方法の問題点のうち、上流にループブロックがないとスクリプトが終了してしまい、出力を変数に代入することもできない問題は、とりあえず解決する方法があります。

以下のように、呼び出す時にパイプライン全体をダミーのループブロックでラップすれば良いのです。

$result = "初期値"
$result = do{
    1..5 | Select-WhileTest {$_ -lt 3}
}until($true)
Write-Host "`$resultは $result です。"

このようにしておけば、breakはパイプラインの外側のdo...untilを抜ける効果になるので、スクリプトが終了する心配も、値を出力しない問題も起こりません。

元々、パイプライン上流にループブロックが存在する場合でも、単にdoループ内の処理が1回走るだけなので、特に問題は起きません。1回だけ処理を実行するダミーループなら、for($i=0; $i -lt 1; $i++){}とかでも良いです。

ただ…この記述を美しいと思う人は多分いないですね。事情を知らないと意味不明ですし。そして、breakを記述する側の関数には、前述の通りのループブロック内では値を出力できないという制限は残ったままになります。

やはりbreakでパイプラインを打ち切るのは、本来想定された動作かと言われるとかなり微妙なところだと思います。(v3で一応動くようになったとはいえ)

この方法についての参考記事:Cancelling a Pipeline - Dreaming in PowerShell - PowerShell.com ? PowerShell Scripts, Tips, Forums, and Resources (ただしv2準拠の内容であることに注意)

ところで、Select-Object -Firstは…

さて、話は変わって、PowerShell 3.0からはSelect-Object -First の処理が変わったことについては、ご存知の方も多いかと思います。

具体的には、v2までは単にパイプライン処理をすべて終了してから、最初のn件を抽出する処理であったn件のパイプライン出力がされた後は、入力をすべてフィルタし出力に流さなくなる動作であったところが、v3からはn件のパイプライン出力がされた時点で、パイプラインの処理を打ち切るようになりました。(1/5修正)

つまり、

$result = 1..5| &{process{Write-Host "Process:$_"; $_}}| Select-Object -First 2
Write-Host "`$resultは $result です。"

というスクリプトは、v2までは

Process:1
Process:2
Process:3
Process:4
Process:5
$resultは 1 2 です。

のようにパイプライン出力は指示通り2件であるものの、上流の処理は結局、全部実行されてしまっています。

一方v3以降では、

Process:1
Process:2
$resultは 1 2 です。

のように、きちんと上流の処理を打ち切ってくれています。

つまり、ここまで述べてきたパイプライン処理の打ち切りは、実はv3以降のSelect-Object -Firstでは実現できているということです。これと同じことを我々も自作関数の中でやりたいわけです。

ではSelect-Object -Firstは具体的にどういう処理をしているかというと、StopUpstreamCommandsExceptionという例外をthrowすることでパイプライン処理の打ち切りを実現しています。この例外はまさに名前の通り、パイプライン上流の処理を中止するための例外です。この例外を自作関数でthrowしてやればうまくいきそうです。

しかし、この例外は非publicな例外クラスであることから、New-Objectコマンドレットなどでインスタンス化することはできません。リフレクションを駆使する必要がでてきます。
参考:PowerShell 3.0からはじめるTakeWhile - めらんこーど地階

(1/5追記)参考2:パイプラインの処理を途中で打ち切る方法のPowerShell版 - tech.guitarrapc.cóm(Add-TypeでC#経由でリフレクションしてます。)

頑張ればできなくはないですが、もっと楽な方法はないものか…と思ってあきらめかけたところ、いい方法を思いついたので紹介します。

Select-Object -Firstを利用する方法

Select-Object -Firstでできることが我々には(簡単には)できない。ならばどうするか。Select-Object -Firstを使えばいいじゃない。という発想です。

function Select-While
{
    [CmdletBinding()]             
    param (             
        [parameter(ValueFromPipeline=$true)] 
        [psobject[]]$InputObject,
        [parameter(Position=0)]           
        [scriptblock]$Predicate
    )

    begin
    {
        $steppablePipeline = {Select-Object -First 1}.GetSteppablePipeline()
        $steppablePipeline.Begin($true)
    }

    process
    {
        if(!(&$Predicate))
        {
            $steppablePipeline.Process($InputObject)
        }
        $InputObject
    }

    end
    {
        $steppablePipeline.End()
    }
}

scriptblockにはGetSteppablePipelineというメソッドが存在し、このメソッドによりSteppablePipelineオブジェクトが取得できます。これは何かというと、要は「スクリプトブロック内のbegin, process, endを個別に実行する」ための機能です。
参考:PowerShell: ◆パイプライン入力・パラメータ入力対応のGridView出力関数を作る(私自身も以前この記事で知りました。)

{Select-Object -First 1}というスクリプトブロックは、1回目に実行するprocessブロック内でStopUpstreamCommandsExceptionを出してくれます。

よって、自作関数のprocessブロック内のパイプライン処理を打ち切りたい箇所で、SteppablePipelineオブジェクトのProcessメソッドを使うことで、{Select-Object -First 1}のprocessブロックの処理を呼び出してやればいいわけです。

このようにして作成したSelect-While関数を以下のように実行してみると、

# 上流にループあり
$result1 = &{end{foreach($i in (1..5)){$i}}} | Select-WhileTest {$_ -lt 2}
Write-Host "`$result1は $result1 です。"

# 上流にループなし
$result2 =  1..5 | Select-While {$_ -lt 3}
Write-Host "`$result2は $result2 です。"

# 上流に無限リスト
$result3 = &{begin{$i = 0} process{while($true){$i++; $i}}} | Select-While {$_ -lt 4}
Write-Host "`$result3は $result3 です。"

結果は

$result1は 1 です。
$result2は 1 2 です。
$result3は 1 2 3 です。

となり、少なくとも今まで述べてきた諸問題はすべて解消していることが分かると思います。

このSelect-While関数は、スクリプトブロックで指定した条件を満たさなくなったときに、パイプライン処理を打ち切ってくれるものですが、この「Steppable Select -First 方式」を使えば他の自作関数でも、割と気楽に呼べるんじゃないかなと思います。ループブロック内で呼び出すことももちろん可能です。

ただし問題点はある

これはSelect-Object -FirstというかStopUpstreamCommandsExceptionあるいはPowerShellのパイプライン機構の仕様に由来する問題であると思われるので、どうにもならないことではあるんですが、一点だけ注意事項があります。

$result = 1..5| &{
    begin
    {
        Write-Host "Begin"
    }
    process
    {
        Write-Host "Process:$_"
        $_
    }
    end
    {
        Write-Host "End"
    }
}| Select-While {$_ -lt 2}

Write-Host "`$resultは $result です。"

これの結果は

Begin
Process:1
Process:2
$resultは 1 です。

となり、なんとendブロックが実行されていません。Select-While {$_ -lt 2} の代わりに Select-Object -Firstを使っても、同様にendは実行されません。

つまり、StopUpstreamCommandsExceptionというのはパイプライン処理を打ち切って、そこまでの出力値を正しくパイプライン出力として出してくれますが、やってくれるのはそこまでで、最後のendブロック処理はしてくれません。

これは十分注意が必要な点で、自作関数内でbeginブロックで確保したリソースをprocessブロックで利用して、endブロックで解放する…という、いかにも書いてしまいそうなパターンは、実はNGなんですね。何も上のようにマニアックなことをしなくても、単に下流でSelect-Object -Firstを使うだけでアウトです。

じゃあ、リソースの取り回しはどうするのが良いの、って話もありますが、それはまたの機会にしましょう。

(1/5追記)あえとすさんの記事が参考になります。:パイプライン処理の後始末をしよう - 鷲ノ巣 ただ、この方法ではパイプライン下流でthrowされた場合はトラップできないぽいですね。コマンドレットクラスの場合はIDisposable実装で良さそうです。

ここからは私見ですが、StopUpstreamCommandsExceptionが後付けかつ非パブリックなところとか、パイプラインを合法的に脱出するステートメントが今に至るまで用意されていないところとか、パイプラインを何とかして途中で打ち切っても、endは実行されないところとかを見ていると、そもそもPowerShellではパイプライン処理の中断というのは、あまり想定してない操作なのかなぁ、という気がしてきています。

上記のような裏技を使って回避するのも一案ではあるとは思いますが、そもそも「パイプライン処理の中断はイレギュラー」と考えて、そういう処理は避けて、必要に応じて別のアプローチを取ることも考えた方がいいのかもしれません。

2011/11/14

TechNet マガジン October 2011内のWindows PowerShell: 空白文字を入れてくださいという記事に対する意見です。

PowerShellスクリプトを記述するときは適宜空白文字やインデントを入れて見やすくしましょう、という趣旨の記事なんですが、その趣旨には同意するものの、どうも実際にインデントを入れたスクリプトの例がいけてない気がしました。

ここでインデントや改行などを適切に追加して体裁を整えたとされるコードは次のようなものです。

(ブログのスタイルに起因する見え方の違いが考えられるので、比較のためにオリジナルも再掲させていただきます)

function Get-PCInfo {
[CmdletBinding()]
param(
        [Parameter(Mandatory=$True,
ValueFromPipeline=$True,
ValueFromPipelineByPropertyName=$True)]
        [string[]]$computername
    )
    PROCESS {
        Write-Verbose "Beginning PROCESS block"
foreach ($computer in $computername) {
            Write-Verbose "Connecting to $computer"
            try {
                $continue = $true
                $cs = Get-WmiObject -EV mybad -EA Stop `
-Class Win32_computersystem `
-ComputerName $computer
            } catch {
                $continue = $false
                $computer | 
Out-File -FilePath oops.txt -append
Write-Verbose "$computer failed"
                $mybad | ForEach-Object { Write-Verbose $_ }
            }
            if ($continue) {
                $proc = Get-WmiObject win32_processor `
-ComputerName $computer | 
                    select -first 1
                $obj = new-object -TypeName PSObject
             $obj | add-member NoteProperty ComputerName $computer
             $obj | add-member NoteProperty ProcArchitecture $proc.addresswidth
             $obj | add-member NoteProperty Domain $cs.domain
             $obj | add-member NoteProperty PCModel $cs.model
                $obj.psobject.typenames.insert(0,'MyPCInfo')
                write-output $obj
            }
        }
    }
}

最初見た時、全体的に何がなんだか分からなかったのですが、よくよく見てみると一応ルールはあるようで、一つの文を改行して複数行に記述する場合は、二行目以降は文頭から詰めて記述する、というルールに従っているようです。

こういう書き方はかえって読みづらいと感じてしまうのは私だけでしょうか? 確かに、Webページや書籍などで一行がスペースに収まらないときに強制的に改行して表示する場合にこのような体裁になることはありますが、これははっきり言って読みづらいです。

せっかく自分で改行を入れるわけですから、改行したときも読みやすくしたほうがいいでしょう(そもそも強制改行されて読みづらくなるというのを防ぐというのも、自分で改行を入れる意義の一つなわけですから)。

あとparam()やforeach{}のインデント位置はそもそもなぜそうなのかよくわかりませんね(単なる編集ミスだろうか?)。

この辺を踏まえて、私流にインデントを入れるとこんな感じです。

function Get-PCInfo
{
    [CmdletBinding()]
    param
    (
        [Parameter(
            Mandatory=$True,
            ValueFromPipeline=$True,
            ValueFromPipelineByPropertyName=$True
        )]
        [string[]]$computername
    )
    
    process
    {
        Write-Verbose "Beginning PROCESS block"
        foreach ($computer in $computername)
        {
            Write-Verbose "Connecting to $computer"
            try 
            {
                $continue = $true
                $cs = Get-WmiObject -EV mybad -EA Stop `
                      -Class Win32_computersystem -ComputerName $computer
            }
            catch
            {
                $continue = $false
                $computer | 
                    Out-File -FilePath oops.txt -append
                Write-Verbose "$computer failed"
                $mybad | ForEach-Object { Write-Verbose $_ }
            }
            if ($continue)
            {
                $proc = Get-WmiObject win32_processor `
                        -ComputerName $computer |
                            select -first 1
                $obj = new-object -TypeName PSObject
                $obj | add-member NoteProperty ComputerName $computer
                $obj | add-member NoteProperty ProcArchitecture $proc.addresswidth
                $obj | add-member NoteProperty Domain $cs.domain
                $obj | add-member NoteProperty PCModel $cs.model
                $obj.psobject.typenames.insert(0,'MyPCInfo')
                write-output $obj
            }
        }
    }
}

こんな感じでPowerShellも基本的には他の言語のコード整形の流儀に準じればいいと思います。唯一PowerShellで特徴的なのは複数行に渡るパイプラインの記述方法になると思いますが、そこも特に深く考えずに一段インデントを深くする程度でいいのではないかと思います。

あと「一貫性」の節で、「{」を改行の前に入れるか後に入れるかは統一させよとありますが、基本的にはそれでいいと思います。ただ改行の後に「{」を入れるスタイル(私の書いた例)でも、改行後に「{」や「(」を入れるとコードの意味が変わったりエラーになったりする場合が出てくるので、その場合はわざわざ継続文字「`」を入れてやらずとも、その部分だけは改行前に入れてやってもいいかなと思います。

具体的にはこのコードでいうと「[Parameter( 」のところなどですね。あとスクリプトブロックをパラメータに取るコマンドレットの場合なんかもそうです。

@(1..12)|ForEach-Object {
    Write-Host $_
    Write-Host ($_ * $_)
}

こういうのですね。この場合ForEach-Objectコマンドレットの-processパラメータ(ここではパラメータ名は省略されている)にスクリプトブロックを指定しているのですが、「{」はスクリプトブロックリテラルの開始文字なので、改行後に入れると正しく動作しません。

PowerShell ISEはまだVisual Studioなどに比べると編集機能が貧弱で、構文を元に自動的に整形してくれたりしないので、ユーザーが自分ルールで整形していかないといけないです。しかし基本的には他の言語と同様な、素直な整形を施してやれば特に読みづらくなるということもないかなと思います。

元記事:http://blogs.wankuma.com/mutaguchi/archive/2011/11/14/212009.aspx

2007/12/16

Get-ChildItemはパラメータのディレクトリ配下にあるFileInfoオブジェクトとDirectoryInfoの配列を返すのでそのLengthプロパティをとれば個数が求まります。たしかにそうなんですけど、hogehogeにファイルがただ一つある場合、配列ではなく一つのFileInfoオブジェクトが返されます。なので、そのLengthプロパティ(バイト数)を取ってきてしまうのです。せめてエラーになればいいんですが、ArrayとFileInfoで同じLengthプロパティを持つための悲劇です。

これを防ぐには、@(Get-ChildItem hogehoge).Lengthとします。ファイルが一個の場合でも強制的に配列にしますので戻り値は1となります。

これではまったー。フォルダ配下のすべてのフォルダにあるファイル数をそれぞれ列挙するスクリプトで@をつけなかったばかりに・・・

PS D:\script> dir -rec |%{if((Get-Item $_.fullname).PSISContainer){[string]@(dir $_.fullname).length + "   " + $_.Fullname}}|more

[string]にキャストしてる理由は、PowerShellが演算子の左の型に右の型をキャストするためです。キャストしないと"    "という文字列をintに変換しようとしてエラーになります。

こういうときに連想配列使いたいですが連想配列って値でソートできないんですよねぇ。(まぁテクはありますが)

元記事:http://blogs.wankuma.com/mutaguchi/archive/2007/12/16/113134.aspx


Copyright © 2005-2018 Daisuke Mutaguchi All rights reserved
mailto: mutaguchi at roy.hi-ho.ne.jp
プライバシーポリシー

Twitter

Books