【ControlNet】画像生成AIイラストの変形した手や指を、手描きで加筆修正し生成するやり方♪Stable Diffusion webUI[automatic1111]

なぎのブログとYoutubeマナブちゃんねる
9 Apr 202306:49

TLDRAIが描くイラストの変形した手や指を手書きで修正する方法が紹介されています。Stable Diffusion WebUIにControlNetを追加することで、細かい修正をAIが自動で適用し、手間を省くことができます。背景色やウェイトの調整、プロンプトの追加などが説明され、手順を詳しく解説しています。

Takeaways

  • 🎨 控制网(ControlNet)可以用于修正由Stable Diffusion生成的插画中的手和手指等变形部分。
  • 🖌️ 即使没有绘画技巧,也可以通过简单的修正指示让AI进行细节修正。
  • 🔧 在Stable Diffusion Web UI中添加控制网,可以让AI学习并修正手和指的形状,以及服装和发型。
  • 📹 观看相关视频可以学习如何设置Stable Diffusion Web UI和引入控制网。
  • 🔗 视频描述中提供了相关链接,以便进一步了解Stable Diffusion和控制网。
  • 🖼️ 通过Image-to-Image标签页上传需要修正的AI插画,并使用相同的提示词。
  • 👁️ 控制网界面允许上传修正线条图,AI将根据这些线条图进行修正。
  • 🎨 背景色对AI的理解和修正有影响,通常黑色背景更容易被AI识别。
  • ⚙️ 可以调整权重滑块来控制修正线条图对生成结果的影响程度。
  • 🌸 通过添加或调整提示词,可以改变插画的背景和风格,如在背景中加入樱花。
  • 📝 博客中总结了所谓的'咒语',即提示词的写法,方便复制粘贴使用。

Q & A

  • ステーブルディフュージョンWEBUIはどのようなツールですか?

    -ステーブルディフュージョンWEBUIは、AIが生成したイラストを手書きで修正するためのツールです。

  • 画像の指や手足の数が崩れることがある理由は何ですか?

    -AIが画像を生成する際、特に細部や手足の数などの情報が正確でないことにより、崩れることがあります。

  • コントロールネットを使用することの利点は何ですか?

    -コントロールネットを使用することで、AIが苦手な手や指の形の修正、洋服や髪型の修正を簡単に行うことができます。

  • コントロールネットを有効にするために、最初に行う設定は何ですか?

    -コントロールネットを有効にするために、まず「enable」のチェックボックスにチェックを入れて有効にします。

  • 修正したい線画をアップロードする際の注意点は何ですか?

    -修正したい線画は、AIに伝わるレベルまで線画が下手すぎないように、適切な線画をアップロードする必要があります。

  • AIが背景をどのように理解するのか、特に注意すべき点は何ですか?

    -AIは背景を白として考えることが難しいため、基本的には黒い背景の方が伝えやすいということがあります。

  • コントロールネットの入力色を反転させるには、何を設定する必要がありますか?

    -入力色を反転させるには、「インバー」と「インプットカラー」にチェックを入れる必要があります。

  • プリプロセッサやモデルを設定する際、何を調整することができます?

    -プリプロセッサやモデルを設定する際には、修正のための線画をどの程度影響を持たせるかを調整することができます。

  • プロンプトを調整して背景を桜並木に変えた際、どのような効果がありましたか?

    -プロンプトを調整して背景を桜並木に変えると、色味が引っ張されて背景が桜並木のように見え始めたとともに、デザインに近いデザインが得られました。

  • 何度生成を繰り返すことで、どのような効果が得られますか?

    -何度生成を繰り返すことで、徐々にデザインが近づいてくると思われます。プロンプトの調整やジェネレートを何度か試行することで、より良い結果を得ることができます。

Outlines

00:00

🖌️ Fixing AI Art Imperfections with Stable Diffusion and ControlNet

This video explains how to correct common imperfections in AI-generated illustrations using Stable Diffusion's WEBUI equipped with ControlNet. The presenter discusses how this tool enables users to easily fix issues like incorrect limb counts or clothing and hairstyle errors in AI artworks. Even those without artistic skills can make these adjustments since the AI handles the finer details; users only need to provide a minimal level of guidance. The video also outlines how to set up the Stable Diffusion WEBUI and integrate ControlNet, encouraging viewers to watch related videos and subscribe to the channel for more content on AI and web technologies.

05:01

🌸 Enhancing Backgrounds in AI-Generated Images

In the second part, the video explores more advanced uses of ControlNet to adjust the backgrounds of AI-generated images, demonstrating how changes to the prompts, like adding a cherry blossom motif, can significantly alter the composition. The presenter suggests multiple generations to refine the output and shares tips on how to avoid common pitfalls like overly altering prompts which might distort the image. The conclusion encourages viewers to subscribe and check out additional resources provided in the video description for further learning.

Mindmap

Keywords

💡ControlNet

ControlNetは、AIが生成した画像を手書きで修正するための一種の技術です。この技術を使うことで、AIが苦手とする手や指の形などの細かい部分を正確に修正することができます。ビデオスクリプトでは、ControlNetを用いてStable Diffusion webUIで画像を修正する方法について説明しています。

💡Stable Diffusion webUI

Stable Diffusion webUIは、AIが画像を生成するためのウェブベースのインターフェースです。このインターフェースを通じて、ユーザーはAIに指示を出して、画像を生成させることができます。スクリプトでは、ControlNetをStable Diffusion webUIに追加することで、AIが生成した画像を手書きで修正する方法が説明されています。

💡AIイラスト

AIイラストとは、人工知能によって生成されたイラストのことです。AIは、人間が与えるプロンプトやガイドに基づいて、独自のアルゴリズムを用いて画像を生成します。しかし、AIが生成する画像は時として手や足の数などが崩れてしまうことがあるため、手書きで修正する必要が生じることがあります。

💡手書き

手書きとは、人の手によって書かれたまたは描かれたものを指します。コントロールネットを用いたAIイラストの修正では、手書きで加筆することでAIが生成した画像の誤りを修正することができます。手書きを加えることで、より正確な修正が可能であり、AIの能力を補完する効果があります。

💡コントロールネットの表記

コントロールネットの表記とは、Stable Diffusion webUIのインターフェースに表示される、コントロールネットを使用するための設定項目のことを指します。この表記を操作することで、AIが生成する画像に対する手書きの修正を指示することができます。

💡イメージトゥーイメージ

イメージトゥーイメージとは、AIが生成する画像をもとに、手書きで修正を加えた後に再びAIに入力して、より正確な画像を生成することを指します。このプロセスでは、手書きで加えた修正がAIに伝わり、元の画像に基づいて新しい画像が生成されます。

💡プロンプト

プロンプトとは、AIに与える刺激や指示を指します。AIが画像を生成する際、プロンプトとしてテキストを入力することで、AIはそのテキストをもとに画像を生成します。スクリプトでは、修正したい画像を再生成する際にも、プロンプトを使います。

💡ネガティブプロンプト

ネガティブプロンプトとは、AIが画像を生成する際に無視すべき要素を指示するテキストです。これにより、AIは指定された要素を画像から除外して生成します。スクリプトでは、ネガティブプロンプトを使用することで、不必要な要素を除去した画像を生成できます。

💡ウエイト

ウエイトとは、AIが生成する画像に対する手書き修正の影響度を調整するための設定です。ウエイトを高めることで、手書きの修正が画像生成に大きな影響を与えるようになります。逆に、ウエイトを低減することで、手書きの修正の影響を小さくすることができます。

💡背景

背景とは、イラストや画像の背景部分のことです。AIが画像を生成する際、背景色は重要な要素となります。スクリプトでは、AIに伝えるために、背景色を黒にすることが推奨されています。また、背景を桜並木に変えることで、色味や雰囲気を加えることができます。

💡ジェネレート

ジェネレートとは、AIが指示に基づいて新しい画像を生成することを指します。スクリプトでは、手書きで修正した画像を再びAIに入力して、より正確な画像を生成することをジェネレートと呼んでいます。何度もジェネレートを行うことで、最終的に満足のいく画像が得られる可能性が高まります。

Highlights

ControlNetを利用してAIが生成した画像の変形を手書きで修正する方法が紹介されています。

Stable Diffusion webUIを使っている場合、手書きで修正した插画をAIがきれいに直すことができる場合が多いです。

手書きでの修正は絵心が必要ではなく、細かい修正をAIに伝えるだけです。

ControlNetを追加することで、手や指の形の修正、洋服や髪型の修正ができます。

Stable Diffusion webUIのインターフェースにControlNetの表記が表示されるようになると便利です。

AIが作ったイラストを修正する際には、イメージトゥーイメージのタブを利用しましょう。

修正したいAIイラストをアップロードし、修正したい部分をプロンプトとネガティブプロンプトで指定します。

コントロールネットの設定では、enableをチェックしてから修正したい線画をアップロードします。

入力色の反転が必要であれば、ControlNetの設定でインバートインプットカラーにチェックを入れます。

プリプロセッサやモデルの設定を適宜調整して、修正効果を最大限に引き出すことができます。

複数枚の生成を試みることで、修正した場所がよりよく反映されることがあります。

ウエイトの調整によって、線画の修正効果と背景のバランスを調整できます。

プロンプトの調整によって、背景や色味などの要素を加えることができます。

何度か生成を試みることで、近いデザインを得ることができます。

次回の動画では、自作の線画イラストをペイントさせたり、長いネガティブプロンプトを書かなくても済む方法について解説します。

ブログやYouTubeでControlNetやStable Diffusionに関する情報やチュートリアルが多数用意されています。

プロンプトの書き方についても、ブログでまとめられており、コピペしやすい形式で提供されています。