Треугольник помещается внутри другого треугольника

Барицентрическими координатами! Подробно:

пусть треугольник "огибающая" имеет вершины A, B, C; без потери общности вы можете поместить вершину A в начало координат и выровнять сторону AB с осью +X. Используйте длины ребер треугольника огибающей, чтобы найти угол в вершине A, т. е. угол между сторонами AB и AC. Используя этот угол, вы определяете новую систему координат (u, v); в этой системе координат координаты вершин A=(0,0), B=(1,0) и C=(0,1).

теперь возьмите другой треугольник с вершинами A', B', C' и найдите сначала координаты XY 3 вершин для каждого случая: (A'b', B'c', A'c'), выровненные с координатной осью +X. Для каждого такого выравнивания преобразуйте две другие вершины в УФ-систему координат, определяемую треугольником огибающей. Если случается,что обе другие вершины имеют координаты (u,v) с 0

угол между двумя сторонами можно получить через теорему синуса для плоских треугольников; хотя вы должны быть немного осторожны,если угол в вершине тупой (> PI/2), так как функция синуса симметрична вокруг PI/2 на интервале [0, PI]. Чтобы проверить, является ли угол тупым, вам также нужно использовать теорему Косинуса, хотя вам не нужно вычислять сам Косинус: если |AB|^2 + |AC|^2 > |BC|^2, угол в A тупой.

Я думаю, что это подводит итог.

//23/08/11 13:56
//determine if a triangle will fit inside a second triangle
#include<iostream>
#include<cmath>
#include<algorithm>
using namespace std;
const double pi= 3.1414926;
const double tri=180;//deg in triangle
double find_B_ang(double a,double b,double c);
double find_C_ang(double a,double b,double c);
double movetri_r , tc_ghosthor_B;
int main()
{double a=0.0,b=0.0,c=0.0,x=0.0,y=0.0,z=0.0;
double A=0.0,B=0.0,C=0.0,A1=0.0,B1=0.0,C1=0.0;// L&R base angles
double te_vert_B=0.0,te_hor_B=0.0,te_hor_C=0.0;
double tc_vert_B=0.0,tc_hor_B=0.0,tc_hor_C=0.0;
//points B and B1 are considered co-incedent
cout<<"\n\ndetermine if a triangular card will fit inside\n"
    <<"a triangular envelope\n";
//envelope dimensions    
cout<<"\nenter lengths of the sides of envelope (space between)\n";
cout<<"ensure longest of them is less than sum of other two\n";
do
{
   cin>>a>>b>>c;//the e sides
   if(c>a)swap(a,c);//sort sides in decending order
   if(b>a)swap(a,b);
   if(c>b)swap(b,c);
   if(a >(b+c))
   cout<<"WRONG...b+c must be greater than a";
}while(a >(b+c));


cout<<"\nthe sides of the envelope are "<<a<<','<<b<<','<<c<<endl;
B=find_B_ang(a,b,c);
C=find_C_ang(a,b,c);
te_vert_B=c*sin(B*pi/tri);//apex to base vertical line
te_hor_B=te_vert_B/tan(B*pi/tri);//B to vertical line
te_hor_C=a-te_hor_B;//C to vertical line

cout<<"-------------------------------------------\n";
//card dimensions
do
{
cout<<"\nenter lengths of sides of card (space between) \n"; 
cout<<"ensure longest of them is less than sum of other two\n";
do
{
   cin>>x>>y>>z;//the c sides
   if(z>x)swap(z,x);//sort sides in decending order
   if(y>x)swap(y,x);
   if(z>y)swap(y,z);
   if(x>(y+z))
   cout<<"WRONG...y+z must be greater than x\n";
}while(x>(y+z));

cout<<"\nthe sides of card are "<<x<<','<<y<<','<<z<<endl;//x is base
B1=find_B_ang(x,y,z);
C1=find_C_ang(x,y,z);
tc_vert_B=z*sin(B1*pi/tri);//apex to base vertical line
tc_hor_B=tc_vert_B/tan(B1*pi/tri);//B to vertical line
tc_hor_C=x-tc_hor_B;//C to vertical line
tc_ghosthor_B=tc_vert_B/tan(B*pi/tri);
movetri_r= abs(tc_ghosthor_B-tc_hor_B);    
cout<<"------------------------------------------------\n";
//determine and advise if card fits within envelope    
if(B1<B && tc_vert_B <(tc_hor_C + a-x)*tan(C*pi/tri))cout<<"\ntrue";
else if(B1<B && tc_hor_B< te_hor_B && tc_vert_B<te_vert_B)cout<<"true";
else if(B1>B && movetri_r<a-x && tc_vert_B<te_vert_B)cout<<"true";
else cout<<"\nfalse";
} while(x>0);
cout<<"\npress any key...";
cin.ignore();
cin.get();
return 0;
}
double find_B_ang(double a,double b,double c)
{
 double X=0.0;
 X=((a*a)+(c*c)-(b*b));
 X/=2*a*c;
 X=acos(X);
 X*=tri/pi;
 return X; //degrees
}
double find_C_ang(double a,double b,double c)
{
 double X=0.0;
 X=((a*a)+(b*b)-(c*c));
 X/=2*a*b;       
 X=acos(X);
 X*=tri/pi;
 return X;//degrees
} 

может попробовать отсюда -http://www.springerlink.com/content/t10266u5832477w7/. Кажется, что проблема до сих пор не решена, поэтому лучше всего пойти с некоторыми эвристиками, чтобы получить простые случаи (например, проверки вписанных / описанных кругов, выравнивание границ и т. д.) и надеяться на лучшее.