なぜ、わたしは集計ミスをしてしまうのか。<データ分析の失敗例>

集計ミスの話_アイキャッチ

失敗の話って…探してもあんまり出てきませんよね。そりゃあ言いたくないですよね。

でも、大事なことなので。誰かの役に立つかもしれないので。みっともないけど、わたしは書きます…!!!

※あくまでデータ処理の部分の話で、お仕事の具体的な内容や詳細は出てきません。また、失敗例で出てくる数字や会話などは、実際のものと少し変えています。

集計ミスをしてしまうと、どうなるのでしょうか。

正しい評価ができなくなる。意思決定を間違えてしまう。巡り巡って誰かにマイナスの影響を与えてしまう。データを出した自分への信頼が失われてしまう。…いろんな悪いことが起きます。

落ち込む会社員の様子

だからデータを扱う者として、責任をもって、常に正確な集計結果を出さなければなりません。データのプロとして。

どんな集計ミスをやらかした?

joinする対象を間違えた(SQL)

落ち込むプログラムのキャラクター
そんなミスするなんて、SQLちゃん(?)もがっかりだよね…。

これはですね、あれもこれもとデータを準備したり集計したりしていたときに、似たようなテーブルがいくつもできちゃっていたんです。

似た名前のテーブルで、同じカラムはあるが中身は少し違うもの。それを取り違えた結果、結果が一部NULLになって集計した数字が正しいものよりも少なくなってしまいました。

本来はIDが出るはずなのに、間違えたテーブルには紐付け先の相手がいなくて、NULLになっちゃったんですよね。最悪。

また別の集計をしているときに、「あれ、この集計結果は同じ数字になるはずなんだけどな?」と思って確認したらミスが発覚しました。ううう。

6個で1セットの商品があったのに、1個としてカウントしちゃった(SQL)

こちらはよくある話かもしれません。数量としては「1」で入ってるけど、中身は複数個のセットなので、個数をカウントするときは複数個分でカウントしないといけないもの。

それを理解していたつもりでしたが、その処理を入れておらず、他の商品と同様に「1」個として集計しちゃいました。この商品だけは、個数を集計するときは「6」としてカウントしないといけなかったのに…。

追加の処理が必要なことを、聞いてたけど忘れてた(SQL)

定期的に集計するものに関して、「この分だけ別名でデータが入ってるので、それも集計してください」という指示があったけど、作業時に記憶からすっぽり抜けていたものです。

毎回これで実行して、出てきたのをまとめるだけ。そんな作業だったので、流れ作業でいつも通りやって終わり。あとで「これ合ってます?」と指摘されて、いろいろ調べてるときに「あっ、そういえば…!」と思い出す始末でした。最低。わたしは何のプロなんだ。

データの形式の指定があったのに、加工し忘れた(SQL)

上の例と似たようなもの。データを受領してわたしが加工するときに、「ここはこのデータ型で、指定の表記に直してください(元のデータは日本語表記)」とお願いされていました。が、他の処理だけやって、これは忘れててそのまま渡してしまいました。

機械学習で返ってきた結果がおかしくなったらしく、「あっ、入れたデータが”0″じゃなくて”女性”になってますね」と指摘を受けて発覚。変換するの忘れてた…。疲れてたから、ひとりでやってたからダブルチェックできてなくて、とか言い訳にもならないわ!!!指定されてたこともできてないなんて、どうかしてる!!!

欠損があったのに、気づかないまま提出した(データに問題あり)

そんなに複雑ではない集計で、さらっとSQLを書いて、実行して集計完了!…で、提出後に「IDが1〜50まであって、この○番目分だけ存在しないのですが」と返ってきました。よく見てから出せよわたし。欠けてるよ。そこだけ無いじゃん。

確認してみたら、そもそも集計対象のデータに、その欠けている分が入っていませんでした。データそのものがおかしかったわけです。でもわたしは、「できました!」って出しちゃってたんですよね。うーん。

目視でカウントして、見落とした(Excel)

ちょっと集計条件がややこしくって、SQLで書くのが面倒なので、数も少ないしExcel上で目視でカウントしちゃったもの。対象に色を付けて、条件に合うのはこれとこれで…って。

同じことをまた別の日にやったとき、「あれ、前やったときと数字が違うぞ…?」となってミス発覚。そんな雑な集計するからよ…わたし…。

ツールで出した数字を、写し間違えた(資料作成時)

PowerPointで資料を作成していて、その中にツールを使って出した集計結果を次々書き写していました。

しかし後日見てみると、あれ、ツールで出ている数字と資料の数字が違う…写し間違えだ! なんで! 確認しなかったの??? したの?? 確認してこれ???

集計ミスの原因は?

基本的には、「確認が不十分だった」「不注意だった」ということだとは思うんですよね。

指差し確認をしている女性
ひとつひとつ、ちゃんと確認した?

でも、本当にそうなのかな? 失敗の原因って一般的にはどういうものがあるのかな?と思ったので、少し調べてみました。

で、いくつか本を読んでみたところ、わかりやすかったのがこちら。

『最新図解 失敗学』Amazonで詳細を見る

この本によると、失敗原因は「(1)未知」「(2)無知」「(3)不注意」「(4)手順の不順守」「(5)誤判断」「(6)調査・検討の不足」「(7)制約条件の変化」「(8)企画不良」「(9)価値観不良」「(10)組織運営不良」の10原因に分類できるとのこと。(畑村洋太郎,『最新図解 失敗学』,ナツメ社, 2015年)

なるほど、と。わたしはミスなんてだいたい不注意でしょ、くらいに考えていましたが、詳しく見ていくとこれくらいあるんですね。

この10原因の中で、データを整形・集計しているときによく発生しそうなのは、「無知」「不注意」「調査・検討の不足」このあたりかなと思います。

無知

間違った集計をしないで済む方法があるのに、それを知らないでやらかしてしまうパターン。これはもう勉強して、経験を積むしかないと思います。

勉強中に寝落ちした女性
寝落ちしてる場合じゃない!勉強しろ!

不注意

これに関しては、自力でなんとかなる部分・自力では難しい部分があるかもしれません。

自力でなんとかするなら、「一度ではなく二度確認する(かつ、その確認時間を確保する)」「チェックリストを作成して漏れなく確認する」など。あとは、寝不足や疲労がたまっているときにもミスしやすいので、「しっかり寝る・休む」も大事ですよね。頭がぼーっとしているときに集計するのはマズいです。

自力でどうしてもミスに気づけないなら、「自分が書いたSQLを誰かに確認してもらう」「複数人で集計を担当する」などが望ましいと思います。しかし、基本的には一人で集計を担当するパターンがほとんどです。

肩を組んでいる会社員
複数人でチェックすれば安心!(理想)

ちなみにこの不注意に関しては、経験を積むとかなり解消されるのではないかと考えています。

例えば、わたしは前職がコピーライターだったんですけど、新人時代はしょっちゅう誤字脱字をやらかしていました。「なんで間違いに気づかないんだ」「毎回誤字があるコピーライターなんて使い物にならない」と怒られてばかりで。でもはじめの頃はどうしても気づけないんですよね。なんでだろう、っていつもくやしくて、どうしようもなく落ち込む日々。

でも経験を積むうちに、一度文章を読めば誤字脱字を見つけて、言葉の誤用にも気がつくようになりました。目が育ったというか、誤字脱字センサーの感度がすごく上がった感じです。それに、そもそも文章を書く時点で、誤字脱字をほとんど出さなくなりました。

虫眼鏡を持つ男性会社員
見えるぞ! 集計ミスの芽が!!!

おそらくデータ整形・集計でも同じで、きっと経験を積めば積むほど、集計ミスのセンサーが良くなってくるのだと。実際にデータアナリストになったばかりの頃よりも、今のほうがいろんなミスを経験してきた分、いろんな間違いに気付きやすくなっています。違和感を覚えやすい、というのが感覚として一番近いかな、と。「なんか気持ち悪いな」「ここが気になるな」と思ったら、たいていそこにミスがあります。

調査・検討の不足

これは、時間が足りなかったり、他の案件で忙しかったりするときに起きやすいです。十分に情報をインプットしないまま集計を実行してしまう、理解が不十分なまま進めてしまう、そして引き起こされる失敗。

忙しく仕事をしている白衣の男性
とりあえず1つでもはやく処理しなきゃ…という状況でも、ちょっと落ち着こう。状況を整理しよう。

そういうときほど、自分に「落ち着け」と言いたい。焦って、パニックになって集計して、いいことはひとつも無いですから。目の前のことでいっぱいいっぱいなときほど、作業に優先順位をつけて、調整できるものは少しでも後ろ倒しさせてもらうとかもアリだと思います。

曖昧なこと・わからないことが無いスッキリした状態で集計を進める、「これどうだっけ?」と思ったら自分で適当に判断せずに必ず確認する、が大事ですね。

受け身で仕事をする

これは今まで出てきた10原因だと、不注意に含まれるかなと思います。あえて別で挙げたのは、わたし個人の場合だとこれがけっこう大きな要因になっているから。

会社でいやいや働く人
こんな作業やりたくない…さっさと終わらないかな…の姿勢がマズい!

言われたままに、イヤイヤ作業する、といった場合です。こんなときはミス多発注意報。モチベーションの問題なんでしょうか。受け身で仕事をしてたな、その場しのぎで流そうとした作業だったな、という場合はたいてい何かミスがあるんです。

だから最近は、気乗りしない仕事だったとしても、「この仕事で何か得られるものはないだろうか? なんでもいいからひとつ成長しよう」と考えて、なるべく受け身ではなく自発的に取り組めるよう意識を変えています。

まとめ:どうすれば正しい集計結果を出せるのか?

無知や不注意、調査・検討の不足などいろんな原因で集計ミスは発生します。経験を積めば、十分な時間を確保すれば、体制を充実させればほとんど防げるようにはなるでしょう。

その上で、「自分は集計ミスをするかもしれない」といつも気を引き締めることが大事だと思っています。

やる気いっぱいな男性会社員
健康で集中力バッチリ、あとやる気もしっかり、で正確な集計を!

今まで経験したこと、学んだこと、あらゆることを総動員して集計する。自分を、データを、集計結果を常に疑って、正しく出そうと努力する。そして何よりも、元気で健康な状態で仕事をすること。これらを大切にすれば、きっと集計ミスは限りなくゼロに近づくでしょう。

わたしもがんばります!