Stable Diffusion 自動で手を直す
TLDRStable Diffusionを使って絵を描く際に発生する手の崩れ問題に対して、自動修整機能が適用されています。この動画では、WEBUIとコンフィGUIの両方で手の自動修整を試してみます。ControlNetとAfterReTailorを組み合わせて手の形を保ちながら書き直し、Depth Libraryを用いて手の指を綺麗に修正する方法が紹介されています。さらに、AfterReTailorの数を増やすことで、より正確な修整が可能に。この技術は、手の修正に困むクリエイターにとって大きな助けとなります。
Takeaways
- 🖌️ ステイブルディフュージョンは、絵を描く際に手の崩れ問題を改善するために開発された技術です。
- 📝 ネガティブプロンプトから始まった手の修正技術が、現在どのように進化しているかをWEBUIとコンフィGUIの両方で確認します。
- 🎨 AIが描く手が変形することがあるが、細かい調整が必要な場合でも、手の数や親指の位置などを気になじる必要がありません。
- 🔍 自動手の修正機能は、手を検知し正しい形状に沿って修正することで、絵を自然に見せることができます。
- 🔧 WEBUIでの手の修正は、コントロールネットとアフターリテイラーを用いて、手の修正モデルをダウンロードして使用します。
- 🛠️ コントロールネット用の手を書き直すモデルは、Hangelsからダウンロードし、モデルフォルダに置きます。
- 🎛️ アフターリテイラーを有効にし、検出モデルを用いて手の修正を行い、インテントやノインストレングスを調整することで、絵の品質を向上させることができます。
- 🔎 コンフィGUIでは、カスタムノードを使用して、顔や手などの詳細な修正を行うことができます。
- 🌐 セットノードとゲットノードを使って、モデルクリップの情報を発信と受信を行い、手の修正を正確に行うことができます。
- 📚 動画の説明欄から、使用したワークフローをダウンロードでき、手動で組み立てることも可能です。
- 💬 手の修正はAI技術の進化とともに改善され続けていますが、完璧な結果はまだ達成されていないと述べています。
Q & A
ステイブルディフュージョンはどのような問題を改善するために開発されましたか？
-ステイブルディフュージョンは、絵画において変な手になってしまうという問題を改善するために開発されました。
コンフィUIとは何ですか？
-コンフィUIは、Stable DiffusionのカスタムUIで、より高度な機能や設定を利用できるインターフェースです。
コントロールネットとは何ですか？
-コントロールネットは、Stable Diffusionにおいて絵画の特定の部分を修正するために使用される技術です。
アフターリテイラーとは何ですか？
-アフターリテイラーは、Stable Diffusionにおいて、絵画の生成後に手の修正を行うための機能です。
手の修正に使用される「デプスマップ」は何ですか？
-デプスマップは、手の修正において、手の形状を正しく捉えるために使用される深度情報を含むマップです。
Stable DiffusionのWEBUIとコンフィUIの違いは何ですか？
-WEBUIは、Stable Diffusionの標準のウェブベースのインターフェースで、ユーザーフレンドリーであり、簡単に設定できる一方、コンフィUIはより高度な機能を提供し、より細かい調整が可能です。
Stable Diffusionで手の修正を行うためには、どのような手順が必要ですか？
-手の修正を行うためには、まずコントロールネット用のモデルを準備し、アフターリテイラーを有効化し、必要なパラメーターを調整する必要があります。
Stable Diffusionの設定で「インテント」と「コントロールネットウェイト」はどのような役割を果たしますか？
-インテントは、絵画の生成において強化するべき部分を、コントロールネットウェイトは、修正された部分の重要性を指定するパラメーターです。
複数のアフターリテイラーを同時に使用するにはどうすればいいですか？
-複数のアフターリテイラーを使用するには、設定タブのアフターディテイラーのページから、MAXモデルズの数字を増やすことで同時に使えるアフターリテイラーの数を増やせます。
Stable Diffusionのカスタムノードとは何ですか？
-カスタムノードは、コンフィUIにおいて、顔や手などの検出や修正を行うための特別なノードです。
コンフィUIのワークフローを理解するためには、どのようなリソースを参考にすべきですか？
-コンフィUIのワークフローを理解するためには、公式の説明文やチュートリアル、またこの動画などの参考資料を参考にすることが役立ちます。
Outlines
🖌️ Introduction to Stable Diffusion and Hand Drawing Correction
This paragraph introduces the concept of using Stable Diffusion for drawing and the common issue of distorted hands in AI-generated art. It discusses the negative prompt's role in causing hand deformities and the current state of hand correction in web UI and configuration UI. The speaker mentions their personal experience with AI-generated art and the level of attention paid to details like finger count and thumb position. The paragraph also touches on the process of manually correcting hands by redrawing them using a design tent and rewriting the area, highlighting the tediousness of the task. The introduction of an automatic hand correction feature is teased, which aims to detect and correct hand shapes using depth maps and a neural network.
🤖 Implementing Automatic Hand Correction with AI
The speaker delves into the process of implementing automatic hand correction in Stable Diffusion using web UI. They describe the preparation required, such as installing control net models and after re-tailor models. The paragraph outlines the steps for downloading and installing the necessary models, including the Control SD15 and After Re-tailor models. The speaker explains how to enable the after re-tailor feature, adjust the detection model, and prevent quality degradation. They also discuss the impact of control net weight and intent on the automatic correction process. The paragraph concludes with a brief mention of the results of using the automatic hand correction feature and the potential for further improvement.
🔄 Enhancing Automatic Hand Correction with Multiple Instances
This paragraph explores the technique of using multiple instances of the after re-tailor feature to enhance the automatic hand correction process. The speaker explains how to increase the number of usable after re-tailors by adjusting settings and provides a method for using two instances of the feature simultaneously. They discuss the configuration settings for the second instance and emphasize the importance of applying settings consistently across both instances. The paragraph also touches on the workflow and the complexity of connecting nodes in the configuration UI, highlighting the use of custom nodes to facilitate hand and face corrections.
🎨 Custom Nodes and Configuration UI Workflow
The speaker provides an in-depth explanation of custom nodes and their application in the configuration UI for advanced control over the AI's output. They introduce the concept of Set Nodes and Get Nodes, which allow for the transmission of data between nodes like signals. The paragraph details the installation process of various custom nodes, such as the ConfUI Impact Pack, ConfUI Control Net Processor, and the Ultimate SD Scale. The speaker also explains how to use these nodes to improve hand and face corrections, as well as how to save and reload the UI settings. The paragraph concludes with a brief overview of the workflow, from setting checkpoints and VAE to generating the final image.
🌐 Conclusion and Encouragement for AI Art Experimentation
In the concluding paragraph, the speaker summarizes the main points discussed in the video, emphasizing the ongoing theme of hand correction in AI art. They acknowledge the progress made in the field but also recognize that achieving perfection is challenging. The speaker encourages viewers to experiment with the workflow and custom nodes to create unique and personalized AI-generated art. The paragraph ends with a call to action for viewers to download the workflow from the description, subscribe to the channel, and engage with the content by leaving comments and questions.
Mindmap
Keywords
💡Stable Diffusion
💡ネガティブプロンプト
💡コントロールネット
💡アフターリテイラー
💡デプスマップ
💡エボミックス
💡チェックポイント
💡KJNOS4confUI
💡カスタムノード
💡ワークフロー
Highlights
スタブルディフュージョンを使用して絵を描くことで、手が変形することがあるという問題に対する改善がなされています。
過去から言われている問題である、ネガティブプロンプトによる手の崩れの修正が、今ではどのようになっているかをWEBUIとコンフィGUIの両方で確認します。
お姉ちゃんAIで絵を描くと、手が変な形になってしまうことがあるが、あまり気にせずに進めていました。
指の数や親指の位置など、細かい部分に気を取ると、手の修正が難しくなると感じています。
自動で手を修正する機能を試してみます。手を検知し、正しい形状を維持するDepth Mapを生成し、ロネットで書き直します。
WEBUIで手を自動修正する準備として、Control NetとAfter ReTailorコントロールネット用モデルをインストールします。
After ReTailorを有効にし、検出モデルを使用して手の修正が自動的に行われます。
手の修正に必要なAfter ReTailorの数を増やす方法と、設定画面でのアフターディテイラーのページの設定方法が紹介されています。
コンフィGUIでは、より複雑な設定が可能で、カスタムノードを使用して手の修正を進める方法が説明されています。
Set NodeとGet Nodeを使用して、モデルクリップを設定し、手の修正を発信するプロセスを作り出します。
カスタムノードの追加方法と、コンフィGUIマネージャーの使い方についても説明がされています。
最終的に手の修正が完了し、修正前と修正後の絵が比較されます。
手の修正は永遠のテーマであり、完璧にはならないが、進化は続けています。
このチャンネルでは、スタブルディフュージョンやボイスボックスなどのAIツールの使い方を簡単に解説しています。
高い評価とチャンネル登録が希望され、質問があればコメントからお知らせください。